【问题标题】:HDFS file FTP from cluster to another machineHDFS 文件 FTP 从集群到另一台机器
【发布时间】:2015-04-19 15:00:40
【问题描述】:

我想创建一个 Oozie 工作流,将 HDFS 文件从 HDFS 集群传输到另一台服务器。

由于 Oozie 可以在系统中的任何节点上运行命令或脚本,是否可以在其中一个节点上运行 shell 脚本或 SFTP 并将文件传输到目标服务器。

【问题讨论】:

    标签: hadoop hdfs sftp oozie oozie-coordinator


    【解决方案1】:

    我认为通过从远程服务器对 HDFS 文件执行 http GET (open operation) 可以轻松完成此任务(您可以为此使用 curl)。

    无论如何,如果你想通过 Oozie 来做,我认为你可以创建一个脚本来负责将所需文件从 HDFS 移动到本地文件系统,然后执行 scp 以便将文件移动到本地文件系统到远程文件系统。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-07-08
      • 1970-01-01
      • 2014-05-23
      • 2013-06-20
      • 1970-01-01
      • 2018-08-10
      相关资源
      最近更新 更多