Kafka Connect：运行连接器和消费者后未更新 test.sink.txt

Question

我尝试使用以下步骤将数据输入到 Kafka 连接测试主题。我能够使用主题一次，并且在第二次尝试使用新文件时，我无法使用数据。输出文件test.sink.txt 未更新

1. echo -e "foo\nbar" > test.txt

2. bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

3. bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic connect-test --from-beginning

   -rw-rw-r-- 1 kafka kafka     8 Jan 27 20:41 test.txt
   -rw-rw-r-- 1 kafka kafka     0 Jan 27 20:42 test.sink.txt
   

Answer 1

在这里回答了类似的问题：Kafka connect tutorial stopped working

Kafka 文件源连接保留文件的最后读取位置。 当您删除文件而不将偏移量重置为 0 时，连接器会等待新数据从头开始显示特定字符​​数。

如果您使用独立模式，删除 /tmp/connect.offsets 将解决问题。