通过Cloudera Manager 5安装后如何连接HDFS集群答案

【问题标题】：How to connect to the HDFS cluster after installing through Cloudera Manager 5通过Cloudera Manager 5安装后如何连接HDFS集群
【发布时间】：2014-12-18 09:47:05
【问题描述】：

我刚刚使用 Cloudera Manager 5(CM5) 安装了一个 HDFS 集群，其默认设置位于三个节点（n1.example.com、n2.example.com 和 n3.example.com）中。节点的虚拟化在 Parallels (Mac OSX 10.10.1 Yosemite) 中完成。我可以在任何节点中使用“sudo -h hdfs”查看 HDFS 系统。

现在，我正在尝试使用默认 ID/密码/端口 hdfs/(blank)/8020 从主机操作系统 (Mac OSX) 上的 ETL 工具访问 HDFS 系统。但我得到“拒绝连接”。我已附上 ETL 的屏幕截图。

所以，我已经在 n2 节点上安装了 ETL 工具（Pentaho Kettle），并尝试使用来自服务器的 localhost 进行连接，但仍然无法使用“连接被拒绝”错误。当我使用诸如“sudo -u hdfs hadoop fs “-ls”/之类的命令时，它可以正常工作。

我错过了什么吗？

仅供参考，我已经在这三个节点中禁用了防火墙，因为它们实际上是在我的虚拟机环境中作为测试运行的。

谢谢！

【问题讨论】：

标签： hadoop hdfs pentaho kettle cloudera-cdh

【解决方案1】：

原来是 ETL 配置问题。开源 Pentaho 数据集成工具 Kettle 附带 Apache Hadoop 2.0 作为默认插件，需要替换它才能使用我的 CDH 发行版。

也就是说，我需要修改文件 data-integration/plugins/pentaho-big-data-plugin/plugin.properties 以替换现有的行：

active.hadoop.configuration=cdh51

以下是 Pentaho 网站的详细信息： http://wiki.pentaho.com/display/BAD/Configuring+Pentaho+for+your+Hadoop+Distro+and+Version.

【讨论】：