如何使用 Oozie 将远程文件复制到 HDFS？

Question

我必须将远程文件复制到 HDFS。我想使用 Oozie，因为我需要每天在特定时间运行这项工作。

Answer 1

Oozie 可以帮助您创建工作流程。使用 oozie，您可以调用能够将文件从源复制到 HDFS 的外部操作，但 oozie 不会自动执行此操作。

以下是一些建议：

1. 使用自定义程序将文件写入 hdfs，例如使用 SequenceFile.Writer。
2. Flume 可能会有所帮助。
3. 使用像 camel-hdfs 这样的集成组件将文件移动到 hdfs。
4. ftp 文件到 hdfs 节点，然后从本地磁盘复制到 hdfs。

调查可能适合您的情况的更多选项。