如何在 OS X 上运行 Hadoop？

【问题标题】：How to run Hadoop on OS X?如何在 OS X 上运行 Hadoop？
【发布时间】：2014-03-13 11:10:34
【问题描述】：

我有一个 macbook Pro。我想我成功安装了 hadoop-streaming，但我不知道它安装在哪里，以及 hdfs 在哪里。我已经安装了单节点版本。我正在使用python编写代码。我将 mapper.py 和 reducer.py 放在我的桌面上，我还在桌面上放置了一个大文本文件，我将在上面运行程序。我正在关注本教程http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/ 问题是我不知道在本教程的“将本地示例数据复制到 HDFS”部分中输入什么路径。我成功地单独运行了 python 文件，并且使用了与教程相同的代码。我使用 brew 安装了 Hadoop。

谢谢

【问题讨论】：

标签： python macos path hadoop-streaming

【解决方案1】：

which hadoop

或

echo $HADOOP_HOME

将为您提供安装 hadoop 的路径（如果您已完成所有安装步骤）

您应该在要传输的文件所在的目录中键入以下命令。或者你可以定义整个路径……

hadoop fs -copyFromLocal /local/path/file.txt /hdfs/path/file.txt

hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir

更多示例可用@[Hadoop Shell 命令]:https://hadoop.apache.org/docs/r0.18.3/hdfs_shell.html#put

【讨论】：