【问题标题】:How does master node start all the process in a hadoop cluster?master节点如何启动hadoop集群中的所有进程?
【发布时间】:2017-03-18 10:59:05
【问题描述】:

我已经使用普通的 Hadoop 建立了 5 个虚拟机的 Hadoop 集群。集群详情如下:

192.168.1.100 - 配置为运行 NameNode 和 SNN 守护程序
192.168.1.101 - 配置为运行 ResourceManager 守护进程。
192.168.1.102 - 配置为运行 DataNode 和 NodeManager 守护进程。
192.168.1.103 - 配置为运行 DataNode 和 NodeManager 守护程序。
192.168.1.104 - 配置为运行 DataNode 和 NodeManager 守护程序。

我在每个虚拟服务器中都保存了主从文件。

大师:

192.168.1.100
192.168.1.101

从属文件:

192.168.1.102
192.168.1.103
192.168.1.104

现在当我从NameNode 机器运行start-all.sh 命令时,它如何能够启动所有守护进程?我无法理解?没有安装适配器(或者我不知道),所有机器中都存在简单的 hadoop jar,所以NameNode 机器如何能够启动所有机器(虚拟服务器)中的所有守护进程。

谁能帮我理解这个?

【问题讨论】:

    标签: hadoop virtualbox hadoop2 resourcemanager namenode


    【解决方案1】:

    namenode 通过 SSH 连接到从站并运行从站服务。 这就是为什么您需要在从属服务器上的 ~/.ssh/authorized_keys 中的公共 ssh 密钥,以便为运行 Hadoop 名称节点的用户提供其私有对应项。

    【讨论】:

    • 非常感谢您的信息;因此 Namenode 通过 ssh 连接到从属节点并执行命令以运行从属进程。这种理解正确吗?
    • @CuriousMind 没错,就是这样。这就是为什么您通过 ENV 变量在 hadoop_env.sh 中放置某些选项(该文件来自从属服务器)。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-01-27
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多