用于 Kafka 到 HDFS 的 Kafka 流答案

【问题标题】：Kafka Stream for Kafka to HDFS用于 Kafka 到 HDFS 的 Kafka 流
【发布时间】：2021-08-20 18:17:59
【问题描述】：

我有一个 Flink 作业，它从 Kafka 主题中读取数据并将其写入 HDFS。检查点存在一些问题，例如在停止 Flink Job 后，某些文件仍处于挂起模式，以及写入 HDFS 的检查点也存在其他问题。我想尝试将 Kafka Streams 用于从 Kafka 到 HDFS 的相同类型的管道。我发现了下一个问题——https://github.com/confluentinc/kafka-connect-hdfs/issues/365 你能告诉我如何解决它吗？你能告诉我 Kafka Streams 在哪里保存文件以供恢复吗？

【问题讨论】：

标签： apache-kafka apache-kafka-streams

【解决方案1】：

Kafka Streams 仅在同一集群的主题之间进行交互，不与外部系统交互。

Kafka Connect HDFS2 连接器在内部偏移主题中维护偏移。它的旧版本在文件名中保留偏移量并使用预写日志来确保文件传递

【讨论】：