【问题标题】:settings needed for kafka-connect framework to achieve exactly once semanticskafka-connect 框架实现恰好一次语义所需的设置
【发布时间】:2017-01-21 10:14:36
【问题描述】:

我的印象是,在 Kafka-Connect 中,您可以在 .properties 文件中指定一些参数来开启完全一次语义。

我一直找不到这些设置;但我找到了其他方法来实现这一点,例如
https://github.com/koeninger/kafka-exactly-once/blob/master/blogpost.md
甚至更老的,
https://cwiki.apache.org/confluence/display/KAFKA/FAQ

是否可以通过更改 kafka connect 中的设置来实现恰好一次的语义?

【问题讨论】:

    标签: apache-kafka-connect


    【解决方案1】:

    Kafka Connect 在框架范围内不支持完全一次语义。有一些单独的连接器(例如 Confluent 提供的 HDFS 连接器)提供恰好一次的语义。不过,目前还不是框架级别的配置。

    【讨论】:

    • 你能提供 Confluent 的 HDFS 连接器的链接吗?我使用的是 kafka connect 的 hdfs 连接器。
    • 这是连接器集线器的链接,以防您对其他人感兴趣。您会在顶部找到 Confluent 提供的 hdfs 连接器。 confluent.io/product/connectors
    猜你喜欢
    • 2020-10-04
    • 2020-05-12
    • 2020-05-04
    • 1970-01-01
    • 2017-01-14
    • 1970-01-01
    • 1970-01-01
    • 2019-02-27
    • 2010-09-29
    相关资源
    最近更新 更多