【问题标题】:How to download Hadoop files (on HDFS) via FTP?如何通过 FTP 下载 Hadoop 文件(在 HDFS 上)?
【发布时间】:2018-05-28 10:53:37
【问题描述】:

我想实现一个能够下载位于远程 Hadoop 集群上的大型 CSV 文件的 SSIS 作业。当然,在 Hadoop 系统上只有一个常规的 FTP 服务器不会暴露 HDFS 文件,因为它使用本地文件系统。

我想知道是否有位于 HDFS 之上的 FTP 服务器实现。我更喜欢这种方法,而不是必须将文件从 HDFS 复制到本地 FS,然后让 FTP 服务器提供服务,因为我需要分配更多的存储空间。

【问题讨论】:

  • 一种选择是安装保险丝。这会将 HDFS 挂载到本地目录,然后您只需执行本地 FS 到 FTP 文件传输。

标签: hadoop ssis hdfs bigdata


【解决方案1】:

我从一个按预期工作的开源项目派生:https://github.com/jamesattard/maroodi

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-05-03
    • 2012-08-18
    • 2020-05-25
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-07-19
    相关资源
    最近更新 更多