【发布时间】：2014-12-27 06:32:55
【问题描述】：
我有一个 HDFS 目录，文件将从多个来源连续复制（流式传输）。
如何构建用于监控 HDFS 目录的拓扑，即无论何时在该目录中创建新文件时都应该对其进行处理。
【问题讨论】：
标签： hadoop hdfs apache-storm
【发布时间】：2014-12-27 06:32:55
【问题描述】：
您希望监控 HDFS 文件/目录的更改。
看看这个问题，它指向 Oozie 和 HBase 中的现有支持： How to know that a new data is been added to HDFS? 当这些工具检测到新文件时，您可以将项目发送到拓扑中进行处理。
或者您可以在storm中编写自己的自定义逻辑，列出并检查是否定期在HDFS中添加新文件。查看 Storm 中的刻度元组支持。
【讨论】：