如何查看 hdfs 目录并将到达 hdfs 的最新文件复制到本地？

Question

我想在bash/python 中编写一个脚本，以便脚本复制到达hdfs 目录的最新文件。我知道我可以在本地使用inotify，但是如何在hdfs? 中实现它 你能分享一下它的示例代码吗？当我在谷歌搜索它时，它给了我很长的代码。除了inotify（如果它太复杂的话）还有其他更简单的方法

Answer 1

不雅的hack：

使用 FUSE 挂载 hdfs，然后定期使用find <mountpoint> -cmin n 获取最近 n 分钟内创建的文件列表。

然后使用find <mountpoint> -anewer对其进行排序。