具有 ubuntu 和 Windows 的 Hadoop 集群答案

【问题标题】：Hadoop cluster with ubuntu and Windows具有 ubuntu 和 Windows 的 Hadoop 集群
【发布时间】：2012-06-19 04:09:15
【问题描述】：

我有三台笔记本电脑（使用 ubuntu），我正在联网以充当 hadoop 的集群。我也有一台仅限 Windows 的机器，是否可以将其添加到集群并使其充当节点？可行吗？有没有人遇到过这样的问题？

【问题讨论】：

找到了这个link，它展示了如何使用 cygwin 在 Windows 上安装 hadoop。一个人评论说他已经建立了一个包含 windows 和 linux 机器的混合集群。所以我猜是有可能的。

标签： windows ubuntu hadoop cluster-computing

【解决方案1】：

如果你有windows环境，我建议你使用VirtualBox和任何Linux作为Guest OS。

您可以在此基础上构建您的 Hadoop 集群。有许多适用于 Linux 的安装过程，您不会出错。

我们正是以这种方式将其用于开发目的。 Hadoop 集群的性能与功能无关。

它还允许您微调您的 dev ops，因为您可以拆开新的虚拟机重新开始。

以这种方式构建的最简单方法是：

安装VirtualBox
安装Vagrant
使用社区提供的盒子：http://www.vagrantbox.es/
为 yum 包引导虚拟机
从 NAT 接口移动到桥接以太网接口
使用 SCM 安装 Hadoop：http://www.cloudera.com/products-services/tools/
启动您的集群

【讨论】：

【解决方案2】：

是的，这是可能的。在 ubuntu 机器上，Hadoop 安装应该很简单，您只需要按照常规步骤进行即可。由于 Hadoop 在 Linux 环境中运行，因此您需要在 Windows 机器上安装 Cygwin，这是一个类似于 Linux 的 Windows 环境，它使您能够在 Windows 机器上安装和运行基于 Linux 的应用程序（如 hadoop）。

这是 Cygwin 安装的链接：http://www.cygwin.com/install.html

【讨论】：