Kafka Connect FileStreamSink 连接器在输出文件中不包含 KEY答案

【问题标题】：Kafka Connect FileStreamSink connector does not include the KEY in the output fileKafka Connect FileStreamSink 连接器在输出文件中不包含 KEY
【发布时间】：2020-10-17 06:01:54
【问题描述】：

尝试使用简单的文件接收器连接器从主题中提取数据。生成的文件不包含事件键，我找不到启用它的设置。最终目标是使用源连接器加载文件并生成相同的示例数据，事件 KEY 非常重要。

谢谢

{
    "name": "save-seed-data",
    "config": {
        "connector.class": "org.apache.kafka.connect.file.FileStreamSinkConnector",
        "tasks.max": "1",
        "name": "save-seed-data", 
        "topics": "FIRM",
        "file": "/tmp/FIRM.txt",
        "key.converter": "org.apache.kafka.connect.storage.StringConverter",
        "key.converter.schemas.enable": "false",
        "value.converter": "org.apache.kafka.connect.storage.StringConverter",
        "value.converter.schemas.enable": "false"  
    }
}

【问题讨论】：

标签： apache-kafka apache-kafka-connect

【解决方案1】：

由于the source code only references the value，不确定您在输出中的哪个位置找到了密钥。

不过，您可以下载并使用消息转换将键移到值中。

https://github.com/jcustenborder/kafka-connect-transform-archive

另外值得一提的是，FileStream Source Connector 不解析数据。每一行，还有only goes into the value

一般来说，使用kafkacat 从文件中转储/加载数据要简单得多。

【讨论】：