【问题标题】：Installing Hadoop over 5 hard drives on a desktop在桌面上安装超过 5 个硬盘的 Hadoop
【发布时间】：2014-11-29 03:31:58
【问题描述】：

我一直在安装 Hadoop。我遵循了 Udemy 课程的一些说明，并在笔记本电脑上以伪分布式模式安装了 Hadoop。这相当简单。

之后，我开始怀疑是否可以在台式计算机上设置 Hadoop。于是出去买了一个空机箱，放入一个 64 位、8 核 AMD 处理器，以及一个 50GB SSD 硬盘和 4 个便宜的 500GB 硬盘。我在 SSD 驱动器上安装了 Ubuntu 14.04，并将虚拟机放在其他驱动器上。

我设想使用我的 SSD 作为主设备并使用我的 4 个硬盘作为节点。同样，一切都生活在同一个案例中。

不幸的是，我一直在到处搜索，但找不到任何描述以这种方式设置 Hadoop 的教程、指南、书籍等。似乎我发现 Hadoop 的详细安装的大部分内容要么是简单的伪分布式设置（我已经完成），要么说明直接跳转到大型商业应用程序。很明显，我仍在学习基础知识，但我想在这种介于两者之间的地方玩。

以前有没有人这样做过，和/或遇到过任何描述如何以这种方式设置 Hadoop 的文档/教程/等？非常感谢您的帮助。

【问题讨论】：

听不懂，简单描述一下？
未来参考：mail-archives.apache.org/mod_mbox/hadoop-common-user/…

标签： hadoop installation

【解决方案1】：

您可以在位于同一系统中不同驱动器的不同 VM 中运行 hadoop。
但您需要为所有主从节点分配相同的配置
还要确保所有虚拟机都具有不同的 ip 地址。
您可以通过连接您的主计算机到 LAN 来获得不同的 IP 地址，或者您需要禁用 VM 机器中的某些功能才能获得不同的 IP 地址。

【讨论】：

【解决方案2】：

如果您在pseduo模式下完成了hadoop安装，那么请按照以下步骤操作，这可能会对您有所帮助。

多节点：

使用主机文件中的以下设置配置网络中的主机。这必须在所有机器上完成[在 namenode 中也是如此]。

sudo vi /etc/hosts

在文件中添加以下行：

你的ip1大师

yourip2 slave01

你的ip3 slave02

yourip4 slave03

yourip5 slave04

[保存并退出 - 输入 ESC 然后 :wq ]

更改名称节点和数据节点的主机名。

sudo vi /etc/主机名

对于主机 [namenode] – master

对于其他机器——slave01和slave02和slave03和slave04和slave 05

重新启动机器以获取与应用网络相关的设置。

sudo 关闭 -r 现在

将密钥从主节点复制到所有数据节点，这样有助于访问机器而无需每次都请求权限。

    #ssh-copy-id –i ~/.ssh/id_rsa.pub hduser@slave01
    #ssh-copy-id –i ~/.ssh/id_rsa.pub hduser@slave02
    #ssh-copy-id –i  ~/.ssh/id_rsa.pub hduser@slave03
    #ssh-copy-id –i  ~/.ssh/id_rsa.pub hduser@slave04

现在我们要配置 hadoop 配置设置，所以导航到“conf”文件夹。

cd ~/hadoop/etc

编辑 hadoop 目录中的 slaves 文件。

vi ~/hadoop/conf/slaves

并添加以下内容：

master

slave01

slave02

slave03

slave04

现在更新 localhost 以掌握 core-site.xml、hdfs-site.xml、mapred-site.xml 和 yarn-site.xml

现在将 hadoop/etc/hadoop 文件夹中的文件从主机复制到从机。

然后在所有机器上格式化你的namenode。

并启动 hadoop 服务。

我给了你一些关于如何配置 hadoop 多节点集群的线索。

【讨论】：

【解决方案3】：

从未尝试过，但如果您输入ifconfig，那么它会在硬盘驱动器中的所有vm machines 上为您提供same ipaddress。所以这可能不是更好的选择..
您可以使用此分步指南HERE免费尝试在Amazon EC2上创建Hadoop集群
或视频指南HERE
希望对您有所帮助！

【讨论】：