自动将文件从本地复制到 Hadoop答案

【问题标题】：Copy files from local to Hadoop automatically自动将文件从本地复制到 Hadoop
【发布时间】：2017-03-14 18:08:22
【问题描述】：

我想每小时将更新的文件从本地文件系统复制到 Hadoop，因为我想放入 cron。是否有任何 hadoop 命令可用于将更新的文件从本地复制到 Hadoop？

【问题讨论】：

在最简单的情况下，您可以制作一个 shellscript 来删除旧文件并使用 hadoop fs -rm fileName 和 hadoop fs -put sourceFile destinationPath 放置新文件
"是否有任何 hadoop 命令" - 是的，这是您用来手动复制文件的命令。您是否尝试过编写 cron 作业？
谢谢，但是我们怎么知道文件是否更新了，或者我们需要多久运行一次你上面提到的命令来复制最新的文件。

【解决方案1】：

您可以使用各种数据提取工具，例如 Flume、Nifi 等。

如果您需要有关这些工具的任何帮助，请告诉我。

【讨论】：

【解决方案2】：

类似于下面的代码？在包含您的文件的文件夹中

files=$(find . -type f -mmin -60)

for f in $files
do
  hadoop fs -cp $f /hadoopdest
done

可能是创建文件的另一个循环：

files_c=$( find . -type f -cmin -60)

【讨论】：