用于 4 个服务器集群的 apache hadoop、hbase 和 nutch 组件分发答案

【问题标题】：apache hadoop, hbase and nutch components distribution for 4 servers cluster用于 4 个服务器集群的 apache hadoop、hbase 和 nutch 组件分发
【发布时间】：2014-10-30 07:22:31
【问题描述】：

我有 4 个系统。我想抓取一些数据。为此，我首先需要配置集群。我对组件的放置感到困惑。

是否应该将所有组件（hadoop、hive、hbase、nutch）放在一台机器上，并将其他机器作为节点添加到 hadoop 中？
我是否应该将 hbase 放在一台机器上，nutch 放在另一台机器上，hadoop 放在第三台机器上，然后添加第四台机器作为 hadoop 的从机？
HBase 应该处于伪分布式模式还是完全分布式。
如果我以完全分布式模式运行 hbase，我应该在 hbase 中添加多少个 slave。

什么应该是最好的方法。请逐步指导（对于 hbase 和 hadoop）

【问题讨论】：

标签： apache hadoop hive hbase nutch

【解决方案1】：

假设您有 4 个节点 n1、n2、n3 和 n4。您可以在分布式模式下安装 hadoop 和 hbase。如果您使用的是 Hadoop 1.x -

n1 - hadoop master[Namenode and Jobtracker]
n2, n3 and n3 - hadoop slaves [datanodes and tasktrackers]

对于 HBase，您可以选择 n1 或任何其他节点作为主节点，由于主节点通常不是 CPU/内存密集型，所有主节点可以在测试设置时部署在单个节点上，但是在生产中拥有每个主节点是件好事部署在单独的节点上。

Lets say n2 - HBase Master, remaining 3 nodes can act as regionservers.

Hive 和 Nutch 可以驻留在任何节点上。希望这可以帮助;对于测试设置，这应该很好。

更新-

对于 Hadoop 2.x，由于您的集群规模较小，可以跳过 Namenode HA 部署。 Namenode HA 需要两个节点，每个节点用于一个活动和备用节点。

zookeeper quorum 再次需要奇数个节点，因此至少需要三个节点。

日志仲裁同样需要至少 3 个节点。

但对于集群来说，这个小 HA 可能不是主要问题。所以你可以保留

n1 - 名称节点

n2 - ResouceManager 或 Yarn

其余节点可以作为datanode，尽量不要在yarn节点上部署其他任何东西。

HBase、Hive 和 Nutch 的其余部署将保持不变。

【讨论】：

我的hadoop版本是2.x
这是您的测试设置吗？
不，它不仅是为了测试，也是为了实际使用
对不起，我错误地将赏金授予无法撤消的第二个答案。谢谢

【解决方案2】：

在我看来，您应该以完全分布式模式安装 Hadoop，这样作业可以以并行方式运行并且速度更快，因为 MapReduce 任务将分布在 4 台机器上。当然，Hadoop 的主节点应该运行在一台机器上。

如果需要处理大量数据，单机安装HBase，3机安装Hadoop是个不错的选择。

您可以使用 Cloudera Manager 和 Hortonworks 等非常友好的 GUI 工具/平台轻松完成上述所有操作。它们将帮助您更好地控制和维护集群，但它们还提供健康监控、集群分析以及集群中发生的每个错误的电子邮件通知。

Cloudera 管理器 http://www.cloudera.com/content/cloudera/en/products-and-services/cloudera-enterprise/cloudera-manager.html

霍顿工厂 http://hortonworks.com/

在这两个链接中，您可以找到有关如何构建集群的更多指导

【讨论】：

问题不全面