【问题标题】:Mule - Copy the directory from HDFSMule - 从 HDFS 复制目录
【发布时间】:2018-03-20 20:31:43
【问题描述】:

我需要从HDFS (Hadoop distributed file system) 复制包含子文件夹和文件的目录 (/tmp/xxx_files/xxx/Output) 头。我正在使用HDFS connector,但它似乎不支持这个。

它总是出现如下错误:

org.apache.hadoop.ipc.RemoteException(java.io.FileNotFoundException): Path is not a file: /tmp/xxx_files/xxx/Output/

我没有看到任何选项是用于复制指定路径内的文件/目录的 HDFS 连接器。它总是希望复制文件名。

是否可以使用 MuleSoft 的 HDFS 连接器复制包含子文件夹和文件的目录头?

【问题讨论】:

  • 能否请您添加一些您的流 XML?

标签: mule hdfs


【解决方案1】:

正如HSFS connector on the official MuleSoft website 的技术文档所述,代码托管在连接器的 GitHub 站点上:

Hadoop 分布式文件系统 (HDFS) 的 Anypoint 连接器 用作应用程序之间的双向网关。它的来源 存储在 HDFS 连接器 GitHub 站点。

它没有说明的是,GitHub 网站上也有 a more detailed technical documentation

在这里您还可以找到different examples 如何使用连接器进行基本文件系统操作。

官方 MuleSoft 文档中的链接似乎已损坏。

您可以在此处找到存储库:

https://github.com/mulesoft/mule-hadoop-connector

这些操作在HdfsOperations java class 中实现。 (另见FileSystemApiService class

如您所见,您期望的功能并未实现。它不支持开箱即用。

如果不使用 HDFS 连接器,您无法从 HDFS 复制包含子文件夹和文件的目录头。

【讨论】:

    猜你喜欢
    • 2018-05-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-12-22
    • 2019-11-14
    相关资源
    最近更新 更多