【问题标题】:Hadoop on cluster configuration /InstallationHadoop 集群配置/安装
【发布时间】:2013-10-29 21:51:33
【问题描述】:

您好我有一个小疑问,我已经开始使用我的好奇心,但现在我有以下问题 我的场景是这样的——我有 10 台机器连接在 LAN 中,我需要在一个系统中创建名称节点,并在剩余的 9 台机器中创建数据节点。那么我需要在所有 10 台机器上安装 Hadoop 吗?

例如 我有 (1.. 10) 台机器,其中 machine1 是服务器,机器 (2..9) 是从属设备[数据节点],所以我需要在所有 10 台机器上安装 hadoop强>?

我在商品机器上的 Hadoop 集群网络上进行了很多搜索,但我没有得到任何与安装相关的东西 [即配置]。其中一些给出了如何在自己的系统上而不是在集群环境中配置和安装 Hadoop

谁能帮帮我?并给我详细的想法或文章建议的链接来完成上述过程

谢谢

【问题讨论】:

    标签: hadoop


    【解决方案1】:

    是的,您需要在每个节点中安装 Hadoop,并且每个节点都应该启动适合其角色的服务。此外,每个节点上的配置文件必须连贯地描述集群的拓扑结构,包括各种常用资源(例如,namenode)的位置/名称/端口。从头开始手动执行此操作很容易出错,特别是如果您以前从未这样做过并且您不确切知道您要做什么。也可以决定 Hadoop 的特定分布(HortonWorks、Cloudera、HDInsight、英特尔等)

    我建议使用现有的众多部署解决方案之一。我最喜欢的是Puppet,但我相信Chef 也可以。

    另一种(也许更好?)替代方法是使用 Ambari,它是一种 Hadoop 专用部署和管理解决方案。见Deploying and Managing Hadoop Clusters with AMBARI

    一些 Puppet 资源可帮助您入门:Using Vagrant, Puppet, Testing & Hadoop

    【讨论】:

      【解决方案2】:

      【讨论】:

        【解决方案3】:
        1. 是的,所有计算机上都需要有 hadoop
        2. 集群环境请通过video

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 2013-11-26
          • 2018-04-25
          • 2015-10-09
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 2012-11-01
          • 1970-01-01
          相关资源
          最近更新 更多