【发布时间】:2018-05-28 10:53:37
【问题描述】:
我想实现一个能够下载位于远程 Hadoop 集群上的大型 CSV 文件的 SSIS 作业。当然,在 Hadoop 系统上只有一个常规的 FTP 服务器不会暴露 HDFS 文件,因为它使用本地文件系统。
我想知道是否有位于 HDFS 之上的 FTP 服务器实现。我更喜欢这种方法,而不是必须将文件从 HDFS 复制到本地 FS,然后让 FTP 服务器提供服务,因为我需要分配更多的存储空间。
【问题讨论】:
-
一种选择是安装保险丝。这会将 HDFS 挂载到本地目录,然后您只需执行本地 FS 到 FTP 文件传输。