【发布时间】:2014-05-02 21:37:59
【问题描述】:
我正在执行以下操作以在我的 Mac 上安装和运行 Hadoop:
首先我安装 HomeBrew 作为包管理器
ruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)"
然后我使用 Brew 命令安装 Hadoop:
brew install hadoop
然后是:
cd /usr/local/Cellar/hadoop/1.1.2/libexec
export HADOOP_OPTS="-Djava.security.krb5.realm= -Djava.security.krb5.kdc="
然后我通过将以下内容添加到适当的 .xml 文件来配置 Hadoop:
核心站点.xml
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
然后我启用 SSH 到本地主机:
System Preferences > Sharing > “Remote Login” is checked.
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
然后我格式化 Hadoop 文件系统:
bin/hadoop namenode -format
然后启动 Hadoop(或者至少尝试一下......这是我得到错误的地方)
bin/start-all.sh
我收到错误 -bash: bin/start-all.sh: No such file or directory。
我在设置过程中做的一件“奇怪”的事情是,由于 2.4.0 中不再有 mapred-site.xml 文件,我只是将 mapred-site.xml.template 文件复制到我的桌面,并重命名了它到 mapred-site.xml,并将新副本放入文件夹中。我也尝试在没有任何 mapred-site.xml 配置的情况下运行,但仍然出现此错误。
【问题讨论】:
标签: hadoop configuration installation