【问题标题】:Any benefit of using MapReduce instead of Spark today?今天使用 MapReduce 代替 Spark 有什么好处?
【发布时间】:2019-03-19 13:11:34
【问题描述】:

我正在为测试/PoC 目的设置一个 Hadoop 集群。今天有什么事情不能用 Spark 作为处理引擎吗?在我看来,Spark 已经取代了 MR,围绕 Hadoop 构建的所有其他工具/抽象也与 Spark 兼容(Hive、Sqoop、Flume、HBase、Pig ......)——还有其他限制吗? 据我了解,即使对于批处理作业,Spark 至少与 MR 一样快,如果您想在未来扩展您的用例(流式传输),那么无论如何您都需要适应 Spark。

我之所以这么问,是因为到目前为止,大多数介绍和教程都在教您有关 Hadoop 和 MapReduce 的知识。

【问题讨论】:

    标签: apache-spark hadoop mapreduce


    【解决方案1】:

    很简单,不,现在没有理由使用 MapReduce。 Spark 更快、更容易使用、有更多的持续开发、更多的连接器、更多的用户、更多的优化......

    在教程中使用 MapReduce 是因为许多教程已经过时,还因为 MapReduce 演示了在所有分布式系统中处理数据的底层方法。在我看来,任何想要使用“大数据”的人都应该(至少在概念上)了解 MapReduce。

    【讨论】:

    • 不完全同意最终聚合是否适合内存 spark 始终是正确的选择,就好像您实际上拥有大数据量(更大的数据集)并且处理是线性 MR它的位置
    • 处理是线性的,这是我在评论中提出的观点
    • 输入大小似乎最高为 500gb,我建议 MR 从 100TB(可能是 20-50)开始
    猜你喜欢
    • 2015-01-08
    • 2011-09-29
    • 1970-01-01
    • 1970-01-01
    • 2018-12-24
    • 2021-02-20
    • 2011-01-11
    • 1970-01-01
    • 2013-03-06
    相关资源
    最近更新 更多