卡夫卡连接 FileStreamSink 不完全一次

Question

我正在考虑将 FileStreamSink Kafka Connect 连接器用于某些存储作业，但据我了解，使用此文件连接器时不可能有恰好一次的语义（我可以将记录写入文件，然后在提交之前崩溃卡夫卡）。 在转向另一种解决方案之前（例如 s3 sink 连接器提供 EOS），我只想确保我是对的并且 FileStreamSink 不提供 EOS。

有人可以确认吗？

Answer 1

这是正确的，它没有。 FileStream 连接器实际上仅用于演示/PoC，它们并非设计为“生产级”，具有人们可能期望的此类功能（例如 EOS）。

正如你所说，S3 sink does support EOS。