【问题标题】:Getting error when trying to run Hadoop 2.4.0 (-bash: bin/start-all.sh: No such file or directory)尝试运行 Hadoop 2.4.0 时出错(-bash:bin/start-all.sh:没有这样的文件或目录)
【发布时间】:2014-05-02 21:37:59
【问题描述】:

我正在执行以下操作以在我的 Mac 上安装和运行 Hadoop:

首先我安装 HomeBrew 作为包管理器

ruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)"

然后我使用 Brew 命令安装 Hadoop:

brew install hadoop

然后是:

cd /usr/local/Cellar/hadoop/1.1.2/libexec

export HADOOP_OPTS="-Djava.security.krb5.realm= -Djava.security.krb5.kdc="

然后我通过将以下内容添加到适当的 .xml 文件来配置 Hadoop:

核心站点.xml

<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>

hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

mapred-site.xml

<property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
</property>

然后我启用 SSH 到本地主机:

System Preferences > Sharing > “Remote Login” is checked.

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

然后我格式化 Hadoop 文件系统:

bin/hadoop namenode -format

然后启动 Hadoop(或者至少尝试一下......这是我得到错误的地方)

bin/start-all.sh

我收到错误 -bash: bin/start-all.sh: No such file or directory。

我在设置过程中做的一件“奇怪”的事情是,由于 2.4.0 中不再有 mapred-site.xml 文件,我只是将 mapred-site.xml.template 文件复制到我的桌面,并重命名了它到 mapred-site.xml,并将新副本放入文件夹中。我也尝试在没有任何 mapred-site.xml 配置的情况下运行,但仍然出现此错误。

【问题讨论】:

    标签: hadoop configuration installation


    【解决方案1】:

    AFAIK,brew 默认安装 hadoop-2.4.0。
    见这里https://github.com/Homebrew/homebrew/blob/master/Library/Formula/hadoop.rb
    而在 hadoop2.x 中,bin 文件夹中没有 start-all.sh 文件。它已移至sbin。您还需要更多配置。这些链接可能有用:
    http://codesfusion.blogspot.in/2013/10/setup-hadoop-2x-220-on-ubuntu.html
    https://hadoop.apache.org/docs/r2.2.0/

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-10-11
      • 2012-10-28
      • 2017-01-20
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多