【发布时间】:2014-11-11 15:05:21
【问题描述】:
在我的设置中,Hadoop 和 Spark 都在同一个网络上运行,但在不同的节点上。我们可以将 Spark 与您现有的 Hadoop 集群一起运行,只需将其作为单独的服务启动即可。它会显示性能上的任何改进吗?
我有数千个大约 10 GB 的文件加载到 HDFS 中。
我有 8 个节点用于 Hadoop,1 个主节点和 5 个工作节点用于 Spark
【问题讨论】:
标签: hadoop apache-spark
在我的设置中,Hadoop 和 Spark 都在同一个网络上运行,但在不同的节点上。我们可以将 Spark 与您现有的 Hadoop 集群一起运行,只需将其作为单独的服务启动即可。它会显示性能上的任何改进吗?
我有数千个大约 10 GB 的文件加载到 HDFS 中。
我有 8 个节点用于 Hadoop,1 个主节点和 5 个工作节点用于 Spark
【问题讨论】:
标签: hadoop apache-spark
只要worker在同一个节点上,我们就有了Locality的优势。您也可以与 hadoop 一起启动您的服务。
【讨论】: