hadoop程序在运行应用程序时是否可以自动添加节点

Question

我是初学者程序员和 hadoop 学习者。 我正在使用 5 台 PC（具有双核 cpu 和 ram 2G）测试 hadoop 完整分发模式 在启动 maptask 和 hdfs 之前，我知道我必须配置文件（IP 上的 etc/hosts、主机名和 hadoop 文件夹/conf/masters、slaves 文件）所以我完成了该文件的配置

在我公司的研讨会上辩论时，我的老板和负责人坚持认为即使hadoop应用程序运行状态，如果hadoop需要更多节点或集群，hadoop会自动添加更多节点 是否可以？在我学习hadoop集群的时候，很多hadoop书籍和社区网站都坚持认为在配置和运行应用程序之后，我们不能添加更多的节点或集群。 但是我的老板对我说，亚马逊说在运行的应用程序上添加节点是可能的。 真的吗？ 堆栈溢出社区的hadoop高手，请告诉我真相。

Answer 1

是的，确实有可能。

Here 是 hadoop wiki 中的解释。

Amazon 的 EMR 还可以让人们在一个已经运行的集群中即时添加 100 个节点，并且一旦机器启动，它们就会被主节点委派任务（未启动的映射器和/或减速器任务）。

所以，是的，它很有可能并且正在使用，而不仅仅是理论上。