使用 FileStreamSink 连接器将 Kafka 数据写入二进制文件答案

【问题标题】：Write Kafka data to binary file using FileStreamSink connector使用 FileStreamSink 连接器将 Kafka 数据写入二进制文件
【发布时间】：2020-02-25 05:19:11
【问题描述】：

我正在尝试使用 FileStreamSink 连接器备份 Kafka 数据。我知道有更好的选择，但我的公司已经有文件备份基础设施（基于 NetApp），所以我想将 Kafka 数据转储到二进制文件并备份文件。

由于存储在 Kafka 中的数据是加密的，所以我们没有要使用或转换的模式。我尝试使用此设置，但似乎效果不佳： key.converter=org.apache.kafka.connect.converters.ByteArrayConverter value.converter=org.apache.kafka.connect.converters.ByteArrayConverter

您对这个案例有什么建议吗？谢谢。

【问题讨论】：

标签： java apache-kafka backup apache-kafka-connect

【解决方案1】：

在Kafka connect - string cannot be casted to struct查看我的回答

但是，本质上，FileStreamSink 只能写入记录的字符串值，并不用于生产用途，而是作为编写自己的接收器连接器的示例，然后需要您实现源连接器来读取该二进制文件数据回到主题

如果您不想实现自己的连接器，那么您需要实现一些其他消费者或考虑将您的数据镜像到辅助的备份 Kafka 集群。

如其他地方所述，仅备份主题不会备份其配置或与该主题关联的任何消费者组

【讨论】：

感谢您的回答。令我惊讶的是，Kafka 没有连接器来转储到二进制文件，因为所有数据都是 Kafka 已经是二进制格式。
Kafka 是开源的。随时进行 PR ;)