Hadoop 3.1.2：执行 start-all.sh 后 jps 输出仅列出 jps答案

【问题标题】：Hadoop 3.1.2: jps output lists only jps after executing start-all.shHadoop 3.1.2：执行 start-all.sh 后 jps 输出仅列出 jps
【发布时间】：2019-09-23 22:43:16
【问题描述】：

我是 Hadoop 新手，并且在 Ubuntu 16.04 上以独立模式安装了 hadoop 3.1.2。当我尝试使用 start-all.sh 启动守护进程时，该命令说它正在启动不同的守护进程。但是，当我检查 jps 时，除了 jps 之外别无他法

(sparkVenv) applied@nadeem-Inspiron-5558:~$ start-all.sh
WARNING: Attempting to start all Apache Hadoop daemons as applied in 10 seconds.
WARNING: This is not a recommended production deployment configuration.
WARNING: Use CTRL-C to abort.
Starting namenodes on [nadeem-Inspiron-5558]
Starting datanodes
Starting secondary namenodes [nadeem-Inspiron-5558]
Starting resourcemanager
Starting nodemanagers
(sparkVenv) applied@nadeem-Inspiron-5558:~$ jps
21729 Jps
(sparkVenv) applied@nadeem-Inspiron-5558:~$

这是namenode日志的一部分

**************************************************** *************/
2019-05-06 15:36:43,116 INFO org.apache.hadoop.hdfs.server.namenode.NameNode：为 [TERM、HUP、INT] 注册的 UNIX 信号处理程序
2019-05-06 15:36:43,252 信息 org.apache.hadoop.hdfs.server.namenode.NameNode: createNameNode []
2019-05-06 15:36:43,515 INFO org.apache.hadoop.metrics2.impl.MetricsConfig：从 hadoop-metrics2.properties 加载的属性
2019-05-06 15:36:43,635 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl：计划的指标快照周期为 10 秒。
2019-05-06 15:36:43,636 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl：NameNode 指标系统已启动
2019-05-06 15:36:43,671 信息 org.apache.hadoop.hdfs.server.namenode.NameNodeUtils：fs.defaultFS 是 file:///
2019-05-06 15:36:43,816 错误 org.apache.hadoop.hdfs.server.namenode.NameNode：无法启动 namenode。
java.lang.IllegalArgumentException：NameNode 地址的 URI 无效（检查 fs.defaultFS）：file:/// 没有权限。
在 org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:697)
在 org.apache.hadoop.hdfs.DFSUtilClient.getNNAddressCheckLogical(DFSUtilClient.java:726)
在 org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:688)
在 org.apache.hadoop.hdfs.server.namenode.NameNode.getRpcServerAddress(NameNode.java:529)
在 org.apache.hadoop.hdfs.server.namenode.NameNode.loginAsNameNodeUser(NameNode.java:660)
在 org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:680)
在 org.apache.hadoop.hdfs.server.namenode.NameNode.(NameNode.java:937)
在 org.apache.hadoop.hdfs.server.namenode.NameNode.(NameNode.java:910)
在 org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1643)
在 org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1710)
2019-05-06 15:36:43,819 INFO org.apache.hadoop.util.ExitUtil：退出状态为 1：java.lang.IllegalArgumentException：NameNode 地址的 URI 无效（检查 fs.defaultFS）：file:/// 有没有权限。
2019-05-06 15:36:43,821 信息 org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
/************************************************* ***********
SHUTDOWN_MSG：在 nadeem-Inspiron-5558/127.0.1.1 关闭 NameNode
****************************************************** **********/

【问题讨论】：

标签： hadoop ubuntu-16.04

【解决方案1】：

您已经在日志中遇到了问题，您的 NameNode 由于 core-site.xml "fs.defaultFS" 配置中的问题而无法启动。

希望这会有所帮助。

【讨论】：

【解决方案2】：

发现core-site.xml和hdfs-site.xml都是空的。
增加了https://hadoop.apache.org/docs/r3.2.0/hadoop-project-dist/hadoop-common/SingleCluster.html提到的伪分布式模式和格式化namenode的配置。
之后，守护进程开始执行 start-all.sh

【讨论】：