【问题标题】:how to design Kafka Connect that is Sink as well as Source如何设计既是 Sink 又是 Source 的 Kafka Connect
【发布时间】:2017-03-27 18:18:53
【问题描述】:

我正在开发一个订阅主题、转换消息、将转换后的消息推送回另一个主题的 Kafka-Connector。

到目前为止,我将其实现为 SinkTask 类,每个任务都执行 ETL,实例化发布者对象,将消息写回另一个主题。

有没有更简洁的方法来实现它?我相信这是一个常见的用例,即连接器既是接收器也是源。

【问题讨论】:

    标签: apache-kafka apache-kafka-connect


    【解决方案1】:

    这不是 Kafka Connect 的基本用例。如果您已经在使用 Kafka 0.10.x,那么新的 Kafka Streams API 就是专门为这类事情创建的。

    【讨论】:

    • 谢谢。我坚持使用较旧的 Kafka,所以我没有注意到 Kafka Streams 解决了这一需求。
    猜你喜欢
    • 1970-01-01
    • 2016-09-27
    • 2017-07-21
    • 1970-01-01
    • 1970-01-01
    • 2019-11-08
    • 2018-10-20
    • 2018-09-29
    • 2013-08-23
    相关资源
    最近更新 更多