【问题标题】:Understanding Spark alongside Hadoop了解 Spark 与 Hadoop
【发布时间】:2014-11-11 15:05:21
【问题描述】:

在我的设置中,Hadoop 和 Spark 都在同一个网络上运行,但在不同的节点上。我们可以将 Spark 与您现有的 Hadoop 集群一起运行,只需将其作为单独的服务启动即可。它会显示性能上的任何改进吗?

我有数千个大约 10 GB 的文件加载到 HDFS 中。

我有 8 个节点用于 Hadoop,1 个主节点和 5 个工作节点用于 Spark

【问题讨论】:

    标签: hadoop apache-spark


    【解决方案1】:

    只要worker在同一个节点上,我们就有了Locality的优势。您也可以与 hadoop 一起启动您的服务。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-02-17
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-12-26
      • 1970-01-01
      相关资源
      最近更新 更多