【发布时间】:2018-09-23 07:40:07
【问题描述】:
我已经使用伪分布式模式安装了 Hadoop 3.1.1。我尝试访问 Hadoop Web 界面,NameNode(Server's public IP:9870) 和 JobHistoryServer(public IP:19888) UI 都打开了,但是 DataNode(public IP:9864)、ResourceManager(public IP:8088) UI 被阻止了。
但是,当我输入命令jps 时,DataNode 和 ResourceManager 仍在工作。此外,日志文件中没有任何特殊的错误消息。
我想知道是什么问题。
大师:
localhost
奴隶:
localhost
hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>(Hadoop Home Dir)/hdata/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>(Hadoop Home Dir)/hdata/dfs/datanode</value>
</property>
<property>
<name>dfs.datanode.http.address</name>
<value>localhost:9864</value>
</property>
</configuration>
core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>(Hadoop Home Dir)/hdata</value>
</property>
</configuration>
mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.web-proxy.address</name>
<value>localhost:8089</value>
</property>
</configuration>
ResourceManager 日志:
2018-09-23 17:09:07,192 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting ResourceManager
STARTUP_MSG: host = ubuntu-1cpu-40gb_ssd-2gb_ram-2tb_bw/127.0.1.1
STARTUP_MSG: args = []
STARTUP_MSG: version = 3.1.1
【问题讨论】:
-
什么是操作系统?
-
@SoheilPourbafrani 这是 Ubuntu 18.04 LTS。
-
你能分享一下resourceManager的日志吗?
-
您也可以尝试将值为
localhost:8088的属性yarn.resourcemanager.webapp.address添加到yarn-site.xml文件并删除属性yarn.web-proxy.address。 -
如果 XML 中的任何值为
localhost,则说明您没有使用伪分布式模式。它必须是hostname -f的值。与所有从属和主文件类似。另外,(Hadoop Home Dir)应该是真实的文件路径
标签: hadoop