使用命令行启动和停止 hadoop 生态系统的最佳方法是什么？

Question

我知道我们可以通过多种方式启动 hadoop 生态系统，

1. start-all.sh & stop-all.sh 说不推荐使用 start-dfs.sh 和 start-yarn.sh。

2. start-dfs.sh, stop-dfs.sh and start-yarn.sh, stop-yarn.sh

3. hadoop-daemon.sh namenode/datanode and yarn-deamon.sh resourcemanager

编辑：我认为每个命令都必须有一些特定的用例。

Answer 1

start-all.sh & stop-all.sh : 用于一次性启动和停止 hadoop 守护进程。在主机上发出它将启动/停止集群所有节点上的守护进程。如您所见，已弃用。

start-dfs.sh、stop-dfs.sh 和 start-yarn.sh、stop-yarn.sh : 同上，但在所有节点上分别启动/停止 HDFS 和 YARN 守护进程从主机。现在建议在 start-all.sh 和 stop-all.sh 上使用这些命令

hadoop-daemon.sh namenode/datanode 和 yarn-deamon.sh 资源管理器： 手动启动单个机器上的单个守护进程。您需要转到特定节点并发出这些命令。

用例：假设您已经向集群添加了一个新的 DN，并且您只需要在这台机器上启动 DN 守护程序，

bin/hadoop-daemon.sh start datanode

注意：如果你想从一台机器上启动所有节点上的所有守护进程，你应该启用 ssh。

希望这能回答您的问题。

Answer 2

来自 Hadoop page，

start-all.sh 

这将在您的机器上启动 Namenode、Datanode、Jobtracker 和 Tasktracker。

start-dfs.sh

这将启动 HDFS，Namenode 运行在您运行命令的机器上。在这样的机器上，您需要start-mapred.sh 来单独启动作业跟踪器

start-all.sh/stop-all.sh 必须在 主节点上运行

您将在单节点集群上使用start-all.sh（即，您将在同一节点上拥有所有服务。namenode 也是数据节点并且是主节点）。

在多节点设置中，

您将在主节点上使用start-all.sh，并在从属节点上启动必要的操作。

或者，

在您希望 Namenode 运行的节点上使用start-dfs.sh。这将启动 HDFS，其中 Namenode 在您运行命令的机器上运行，Datanodes 在从属文件中列出的机器上运行。

在您计划运行 Jobtracker 的机器上使用 start-mapred.sh。这将启动 Map/Reduce 集群，其中 Jobtracker 运行在您运行命令的机器上，Tasktrackers 运行在从属文件中列出的机器上。

hadoop-daemon.sh 如 Tariq 所述，用于每个单独的节点。主节点不会在从属节点上启动服务。在单节点设置中，这将与start-all.sh 相同。在多节点设置中，您必须访问每个节点（主节点和从节点）并在每个节点上执行其中。

看看 this start-all.sh 它调用 config 然后是 dfs 和 mapred

Answer 3

开始

start-dfs.sh (starts the namenode and the datanode)
start-mapred.sh (starts the jobtracker and the tasktracker)

停止

stop-dfs.sh
stop-mapred.sh