【发布时间】:2015-04-19 15:00:40
【问题描述】:
我想创建一个 Oozie 工作流,将 HDFS 文件从 HDFS 集群传输到另一台服务器。
由于 Oozie 可以在系统中的任何节点上运行命令或脚本,是否可以在其中一个节点上运行 shell 脚本或 SFTP 并将文件传输到目标服务器。
【问题讨论】:
标签: hadoop hdfs sftp oozie oozie-coordinator
我想创建一个 Oozie 工作流,将 HDFS 文件从 HDFS 集群传输到另一台服务器。
由于 Oozie 可以在系统中的任何节点上运行命令或脚本,是否可以在其中一个节点上运行 shell 脚本或 SFTP 并将文件传输到目标服务器。
【问题讨论】:
标签: hadoop hdfs sftp oozie oozie-coordinator
我认为通过从远程服务器对 HDFS 文件执行 http GET (open operation) 可以轻松完成此任务(您可以为此使用 curl)。
无论如何,如果你想通过 Oozie 来做,我认为你可以创建一个脚本来负责将所需文件从 HDFS 移动到本地文件系统,然后执行 scp 以便将文件移动到本地文件系统到远程文件系统。
【讨论】: