【发布时间】：2019-06-18 17:08:07
【问题描述】：
架构： 文件 -> imfile -> omkafka -> 具有单个分区的 Kafka 主题 -> 消费者
文件的内容是静态的。它根本没有改变。我假设 omkafka 以有序的方式将数据推送到 kafka 代理。但事实并非如此。
有没有办法配置rsyslog按顺序发送文件？
如果生产者将消息推送到单个分区，则消息的顺序由 Kafka 保证。因此，似乎 omkafka 模块的顺序搞砸了。
【问题讨论】：
-
除非连接丢失，否则不应重新排序，因为您拥有现代版本的 librdkafka (>=v0.11.6)。
-
我确实有最新版本的 librdkafka。我能够通过 1 获得正确的排序。将最大飞行中请求配置为 1。我后来还发现我的消费者是多线程的；所以我将它配置为使用单线程。我能够保留消息的顺序。
标签： apache-kafka rsyslog