【发布时间】:2015-10-06 08:14:10
【问题描述】:
我是 Apache Storm 的新手,经过一些搜索和阅读教程后,我不明白 容错、负载平衡 和其他资源管理器职责是如何工作的放在 Storm 集群中?它应该配置在 YARN 之上还是它自己做资源管理工作?它有它的 HDFS 部分,还是应该首先在集群中配置现有的 HDFS?
【问题讨论】:
标签: hadoop hdfs hadoop-yarn apache-storm
我是 Apache Storm 的新手,经过一些搜索和阅读教程后,我不明白 容错、负载平衡 和其他资源管理器职责是如何工作的放在 Storm 集群中?它应该配置在 YARN 之上还是它自己做资源管理工作?它有它的 HDFS 部分,还是应该首先在集群中配置现有的 HDFS?
【问题讨论】:
标签: hadoop hdfs hadoop-yarn apache-storm
Storm 可以自行管理其资源或可以在 YARN 之上运行。如果您有一个共享集群(即运行其他系统,如 Hadoop、Spark 或 Flink),则使用 YARN 应该是避免资源冲突的更好选择。
关于 HDFS:Storm 独立于 HDFS。如果你想在 HDFS 之上运行,你需要自己设置 HDFS。此外,Storm 提供 Spouts/Bolt 来访问 HDFS:https://storm.apache.org/documentation/storm-hdfs.html
【讨论】: