【发布时间】:2019-03-19 13:11:34
【问题描述】:
我正在为测试/PoC 目的设置一个 Hadoop 集群。今天有什么事情不能用 Spark 作为处理引擎吗?在我看来,Spark 已经取代了 MR,围绕 Hadoop 构建的所有其他工具/抽象也与 Spark 兼容(Hive、Sqoop、Flume、HBase、Pig ......)——还有其他限制吗? 据我了解,即使对于批处理作业,Spark 至少与 MR 一样快,如果您想在未来扩展您的用例(流式传输),那么无论如何您都需要适应 Spark。
我之所以这么问,是因为到目前为止,大多数介绍和教程都在教您有关 Hadoop 和 MapReduce 的知识。
【问题讨论】:
标签: apache-spark hadoop mapreduce