【问题标题】:Does spark on mesos support data locality?mesos 上的 spark 是否支持数据局部性?
【发布时间】:2018-02-11 08:53:48
【问题描述】:

mesos 上的 spark 是否支持数据本地化?假设 mesos 代理在 datanode 上运行。

【问题讨论】:

  • Spark UI 告诉您任务的位置

标签: hadoop apache-spark mesos


【解决方案1】:

数据局部性支持根本不依赖于集群管理器。它仅取决于数据的来源。因此,如果您谈论 HDFS 数据节点,那么答案是肯定的——它确实支持数据局部性。

【讨论】:

    猜你喜欢
    • 2015-02-22
    • 1970-01-01
    • 1970-01-01
    • 2015-10-10
    • 2017-12-18
    • 2019-04-24
    • 2015-05-10
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多