如何使用 kafka 生产者从文件中仅读取新更改答案

【问题标题】：How to read only new changes from a file using kafka producer如何使用 kafka 生产者从文件中仅读取新更改
【发布时间】：2017-10-17 04:40:45
【问题描述】：

我目前正在使用 Windows 机器，并且能够使用 Kafka 生产者和消费者通过命令提示符读取整个文件。我只需要获取文件中的最新更改，并且需要将其用作 Apache flink 的输入。我尝试使用this link，但由于 kafka 客户端 jar 不匹配问题，我无法使用它。

在我目前的方法中，当我每次加载整个文件时调用我的生产者，我们每次都需要运行它以查看文件发生的更改。我想过使用线程和一些使用 java 代码比较文件差异的方法，但有没有什么只能由 Kafka 做。

【问题讨论】：

【解决方案1】：

我最近遇到了类似的问题（但在 Linux 中）并通过以下方式解决了它：

tail -f somefile.log | kafka-console-producer.sh ...

在你的情况下，你可以尝试一些 Windows 替代 Linux 的尾巴：13 Ways to Tail a Log File on Windows & Linux

【讨论】：