无法使用 PDI 步骤连接到 HDFS答案

【问题标题】：Unable to connect to HDFS using PDI step无法使用 PDI 步骤连接到 HDFS
【发布时间】：2014-09-22 11:33:35
【问题描述】：

我已在 Windows 8 系统的 Ubuntu 14.04 VM 中成功配置 Hadoop 2.4。 Hadoop 安装工作非常好，而且我可以从我的 Windows 浏览器查看 Namenode。下图：

所以，我的主机名是：ubuntu 和 hdfs 端口：9000（如果我错了，请纠正我）。

核心站点.xml：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://ubuntu:9000</value>
</property>

问题出在从我的 Pentaho 数据集成工具连接到 HDFS 时。附图如下。 PDI 版本：4.4.0 使用的步骤：Hadoop 复制文件

请帮助我使用 PDI 连接到 HDFS。我需要为此安装或更新任何 jar 吗？如果您需要更多信息，请告诉我。

【问题讨论】：

标签： hadoop hdfs pentaho data-integration

【解决方案1】：

PDI 4.4 afaik 不支持 Hadoop 2.4。在任何情况下，您必须在文件中设置一个属性才能使用特定的 Hadoop 配置（您可能会在论坛中看到“Hadoop 配置”被称为“shim”等）。在 data-integration/plugins/pentaho-big-data-plugin/plugin.properties 文件中有一个名为 active.hadoop.configuration 的属性，默认设置为“hadoop-20”，指的是 Apache Hadoop 0.20。 x 分布。您需要将其设置为 Pentaho 附带的“最新”发行版，或者按照我的博客文章中的描述构建自己的 shim：

http://funpdi.blogspot.com/2013/03/pentaho-data-integration-44-and-hadoop.html

即将推出的 PDI 版本 (5.2+) 将支持包含 Hadoop 2.4+ 的供应商发行版，因此请密切关注 PDI Marketplace 和 pentaho.com :)

【讨论】：

哦，马特明白了。谢谢！！将定义。尝试更改配置。
嗨，马特，我遇到了同样的问题，但似乎在 PDI 版本 v8.1 中，他们没有为 Hadoop 2.7.* 提供默认填充程序支持。
就您的解决方案而言，对于active.hadoop.configuration的编辑，如何编写hadoop版本2.7.4，因为hadoop 0.20被写为“hadoop-20”，正如您所指出的在解决方案中，hadoop 2.7.4 版会是“hadoop-274”吗？那么这里的命名约定是什么。
我没有跟上 PDI 版本或他们有哪些垫片。如果他们有 2.7.x 垫片，它应该是其他人所在的地方，不确定这些天的命名约定是什么。 Palu 指出 2.7.x 的 8.1 中不支持 shim。