【问题标题】:localhost: ERROR: Invalid HADOOP_MAPRED_HOME while running start-dfs.sh本地主机:错误:运行 start-dfs.sh 时 HADOOP_MAPRED_HOME 无效
【发布时间】:2021-12-05 10:38:54
【问题描述】:

我是初学者,尝试设置 Hadoop 和单节点集群,并在尝试运行 start-dfs.sh 时收到以下错误。

duser@aisling-VirtualBox:~$ start-dfs.sh
Starting namenodes on [localhost]
localhost: ERROR: Invalid HADOOP_MAPRED_HOME
Starting datanodes
localhost: ERROR: Invalid HADOOP_MAPRED_HOME
Starting secondary namenodes [aisling-VirtualBox]
aisling-VirtualBox: ERROR: Invalid HADOOP_MAPRED_HOME
2021-10-18 11:51:11,568 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

我的 .bashrc 文件中的配置如下所示:

    #HADOOP VARIABLES START
    export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
    export HADOOP_INSTALL=/usr/local/hadoop
    export PATH=$PATH:$HADOOP_INSTALL/bin
    export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END

我不确定错误可能是什么,非常感谢任何帮助!

【问题讨论】:

    标签: java ubuntu hadoop


    【解决方案1】:

    在您的 mapred-site.xml 中编辑它

     <configuration>
        <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
        </property>
        <property>
          <name>mapreduce.application.classpath</name> 
          <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*
          </value>
         </property>
      </configuration>
    

    【讨论】:

    • 您的答案可以通过额外的支持信息得到改进。请edit 添加更多详细信息,例如引用或文档,以便其他人可以确认您的答案是正确的。你可以找到更多关于如何写好答案的信息in the help center
    猜你喜欢
    • 1970-01-01
    • 2020-05-27
    • 2021-07-12
    • 1970-01-01
    • 2016-02-15
    • 1970-01-01
    • 2021-11-17
    • 2019-11-05
    相关资源
    最近更新 更多