【问题标题】:Does apache storm do resource management job in the cluster by itslef?apachestorm自己做集群中的资源管理工作吗?
【发布时间】:2015-10-06 08:14:10
【问题描述】:

我是 Apache Storm 的新手,经过一些搜索和阅读教程后,我不明白 容错负载平衡 和其他资源管理器职责是如何工作的放在 Storm 集群中?它应该配置在 YARN 之上还是它自己做资源管理工作?它有它的 HDFS 部分,还是应该首先在集群中配置现有的 HDFS?

【问题讨论】:

    标签: hadoop hdfs hadoop-yarn apache-storm


    【解决方案1】:

    Storm 可以自行管理其资源可以在 YARN 之上运行。如果您有一个共享集群(即运行其他系统,如 Hadoop、Spark 或 Flink),则使用 YARN 应该是避免资源冲突的更好选择。

    关于 HDFS:Storm 独立于 HDFS。如果你想在 HDFS 之上运行,你需要自己设置 HDFS。此外,Storm 提供 Spouts/Bolt 来访问 HDFS:https://storm.apache.org/documentation/storm-hdfs.html

    【讨论】:

    • 一个相关的小问题:如果我不想在 HDFS 上运行 Storm,它会做复制和其他由 HDFS 本​​身管理的事情吗? (它有自己的分布式文件系统吗?)
    • Storm 没有自己的分布式文件系统或分布式存储。
    猜你喜欢
    • 1970-01-01
    • 2023-04-09
    • 1970-01-01
    • 2022-01-27
    • 1970-01-01
    • 2020-03-07
    • 1970-01-01
    • 2017-02-02
    • 1970-01-01
    相关资源
    最近更新 更多