【问题标题】:Setting up 2 node Hadoop Cluster in heterogeneous environment i.e one 64 bit machine and another 32 bit machine?在异构环境中设置 2 节点 Hadoop 集群,即一台 64 位机器和另一台 32 位机器?
【发布时间】:2014-05-03 03:26:48
【问题描述】:

为了我的学习,我计划创建一个 2 节点 Cloudera Hadoop 集群。我有一台 32 位的 Windows XP 机器,现在我买了一台 64 位的 Windows 8 机器(因为现在所有机器大多都是 64 位的)。

所以我有两个选择:

  1. 在 64 位机器(即 i5 处理器和 8 GB RAM)中创建虚拟集群。但是,我不确定它是否会挂起(我并没有尝试处理数百万条记录。我的座右铭是简单地处理少量文件并检查 Hadoop 功能,同时从 Oracle 转储一些数据并随意使用)。
  2. 我可以在 64 位和 32 位机器之间创建一个物理 Hadoop 集群。但我的问题是,它是否可行(我可以在两台机器之间创建 Hadoop 集群:一台 32 位和另一台 64 位)?如果有,流程是什么?我对网络没有太多想法。

我还有一个基本问题,运行 2 节点虚拟集群的基本 RAM 和处理器配置应该是什么,并且操作简单,例如加载少量数据和检查功能?

【问题讨论】:

  • 可能是的:但可能不值得麻烦。留在win8服务器。

标签: hadoop cluster-computing bigdata cloudera windows-clustering


【解决方案1】:

这取决于您使用的 hadoop 版本,如果版本支持 32 位,那么它将无法与 64 位机器一起工作,但如果它支持 64 位,那么它将在该机器上运行。除此之外,您还应该检查您的 jdk 版本安装。如果两台机器都有 32 位 jdk,那么支持 32 位的 hadoop 版本可能会与机器无关。

我不确定,但它应该完全取决于 jdk,因为它将位于操作系统的顶部。

1. install 32 bit jdk on both the machines.
2. install older 32 bit hadoop version on both the machines.

我认为这对你很有效,并且

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2010-10-06
    • 1970-01-01
    • 2012-10-24
    • 1970-01-01
    • 2015-08-31
    • 2015-04-16
    • 1970-01-01
    相关资源
    最近更新 更多