【问题标题】:Can Kafka Stream app read from Kinesis stream?Kafka Stream 应用程序可以从 Kinesis 流中读取吗?
【发布时间】:2019-07-29 09:11:44
【问题描述】:

我需要编写一个从 Kinesis 流中读取数据并将数据存储到 Kafka 主题的 Java 应用程序。我不能使用连接器,我必须使用 Kafka Streams,因为涉及到很多逻辑。 Kafka Stream 可以直接从 Kinesis 流中读取,还是我必须先将数据存储到 Kafka 主题才能被 Kafka Stream 读取?

我阅读了很多关于 Kafka Streams 的内容,但我从未见过 Kafka Stream 从除 Kafka 主题之外的其他内容中读取的示例。

【问题讨论】:

    标签: java apache-kafka apache-kafka-streams amazon-kinesis


    【解决方案1】:

    Kafka Streams 仅连接到单个 Kafka 集群和读/写主题。它无法读取或写入任何其他系统。

    如果我们想将数据导入 Kafka(或从 Kafka 导出),您可以使用 Kafka Connect。对于简单的数据转换,Connect 提供了您可以使用的所谓“单消息转换”(SMT)。对于更复杂的转换,您需要先导入未修改的数据,然后使用 Kafka Streams 进行相应的转换。

    【讨论】:

    • 非常感谢 Matthias 的详尽回答!
    猜你喜欢
    • 1970-01-01
    • 2022-06-24
    • 2019-03-16
    • 2021-09-03
    • 2019-09-10
    • 1970-01-01
    • 2018-07-28
    • 2021-02-15
    • 1970-01-01
    相关资源
    最近更新 更多