大数据分析，Hadoop够用吗？Facebook数据专家说No
|
“Hadoop是一个框架，不是一个解决方案”——他认为在解决大数据分析的问题上人们误认为Hadoop可以立即有效工作，而实际上“对于简单的查询，它是可以的。但对于难一些的分析问题，Hadoop会迅速败下阵来，因为需要你直接开发Map/Reduce代码。出于这个原因，Hadoop更像是J2EE编程环境而不是商业分析解决方案。” 所谓框架意味着你一定要在之上做个性化和业务相关的开发和实现，而这些都需要成本。 Hadoop的子项目Hive和Pig 都不错，但不能逾越其架构的限制。”——Joe提出“Hive 和Pig 都是帮助非专业工程师快速有效使用Hadoop的完善工具，用于把分析查询转换为常用的SQL或Java Map/Reduce 任务，这些任务可以部署在Hadoop环境中。”其中Hive是基于Hadoop的一个数据仓库工具，它可以帮助实现数据汇总、即时查询以及分析存储在Hadoop兼容的文件系统的大型数据集等。而Pig是并行计算的高级数据流语言和执行框架。但作者认为“Hadoop的Map/Reduce框架的一些限制，会导致效率低下，尤其是在节点间通信的情况（这种场合需要排序和连接）。” Joe总结道：“Hadoop是一个用来做一些非常复杂的数据分析的杰出工具。但是具有讽刺意味的是，它也是需要大量的编程工作才能得到这些问题的答案。” 这一点不止在数据分析应用方面，它其实反映了目前使用开源框架时候不得不面对的选型平衡问题。 当你在选型开源框架或代码的时候，既要考虑清楚它能够帮到你多少，节省多少时间和成本，提高多少效率。也要知道由此而产生多少新增的成本，比如工程师的学习成本、开发和维护成本，以及未来的扩展性，包括如果使用的框架升级了，你和你的团队是否要做相应的升级；甚至还要有安全性方面的考虑，毕竟开源框架的漏洞也是众所周知的。 1.?分布式消息系统Apache Kafka那些事儿 2. 深入理解git，从研究.git目录开始 3. 艰难的重构：10大常见的重构误区? 4. 性能提升70%，Netflix的网站提速最佳实践 ? 5. Git常用命令总结 6. 15个你必须知道的Facebook开源项目 7.?深入研究Android推送技术 8.?iOS开发神器Injection for Xcode：成吨的提高开发效率 （编辑：PHP编程网 - 湛江站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
