【问题标题】:hadoop api configuration on the client machine客户端机器上的hadoop api配置
【发布时间】:2011-10-18 15:57:24
【问题描述】:

超菜鸟。我有一台带有 cdh3u1 伪发行版的服务器机器,以及一台带有使用 cdh3u1 API 的 java 应用程序的客户端机器。

如何配置客户端与服务器通信?我已经搜索了几个小时,找不到“客户端配置”文件在哪里。 “hdfs-default”、“core-default”和“mapred-default”以及它们的“-site”对应物在我看来都像服务器(namenode和datanode)配置。

它只是“多用途客户端服务器”配置,我应该在这些文件中挑选适合客户端的属性吗?他们是谁?可能在这里遗漏了一些重要的东西......

谢谢,伊多

【问题讨论】:

    标签: hadoop hdfs


    【解决方案1】:

    确保客户端机器可以访问hadoop服务器机器ip。如果您为 hadoop 服务器(cdh3 vm)使用 virtualbox,则添加一个“仅限主机”网络接口(请参阅此处的详细信息:host-only networking with virtualbox。我假设您的 hadoop 服务器的静态 IP 是 192.168.56.101 和你可以从你的客户端ping它。

    在服务器和客户端机器上为你的 hadoop 服务器机器配置一个主机名。如果您想将您的 hadoop 服务器命名为“local-elephant”,请在两台机器的 /etc/hosts 中添加以下行:192.168.56.101 local-elephant

    在服务器机器上转到 /etc/hadoop/conf 将以下属性的值从“localhost”更改为“local-elephant”:在 core-site.xml 中 fs.default.name 的值和在 mapred-site.xml 中的值。 xml mapred.job.tracker 的值。

    在客户端计算机中,在您的 java 应用程序的类路径中创建 core-site.xml 和 mapred-site.xml。在这些文件中只放置fs.default.namemapred.job.tracker 属性。

    【讨论】:

      猜你喜欢
      • 2014-04-10
      • 1970-01-01
      • 2017-12-14
      • 1970-01-01
      • 2011-08-02
      • 1970-01-01
      • 2017-02-18
      • 2018-07-21
      • 1970-01-01
      相关资源
      最近更新 更多