【发布时间】：2021-09-29 18:49:05
【问题描述】：
我想在 kafka HdfsSinkConnector 任务完成时触发 impala 刷新作业。是否可以在任务完成或以任何其他方式触发/调用我的其他程序时收到通知？
【问题讨论】：
标签： hdfs apache-kafka-connect confluent-platform impala
【发布时间】：2021-09-29 18:49:05
【问题描述】：
HDFS 有一个 inotify 功能，它基本上将这些日志条目转换为可以使用的事件。
https://issues.apache.org/jira/browse/HDFS-6634
这是一个基于 Java 的示例：https://github.com/onefoursix/hdfs-inotify-example
或者，与其让 Oozie 监控许多目录并浪费资源，脚本可以每分钟左右执行 'hdfs dfs -ls -R /folder|grep|sed' 但这仍然不是基于事件的，所以它取决于多快您需要的反应与实现/使用 inotify API 的难易程度
【讨论】：