【问题标题】:Get output record partition within Kafka Streams在 Kafka Streams 中获取输出记录分区
【发布时间】:2021-10-14 14:15:11
【问题描述】:

我有一个 KStream,它根据一些内部逻辑将输出记录分支并写入不同的主题。有什么方法可以从 KStream 内部知道输出消息的分区吗?输出主题的分区数量与输入主题不同。

【问题讨论】:

  • IIRC,输入和输出主题需要匹配的分区计数(或者可能仅用于连接)。你打算用分区号做什么?

标签: apache-kafka apache-kafka-streams


【解决方案1】:

使用高级 DSL 时,您无权访问记录元数据(该元数据保存记录来自的特定分区上的键/值对)。因此,您将无法使用 KStream 实现来实现目标。

如果需要,您可以使用低级处理器 API,这将允许访问元数据。否则,您可以添加 ConsumerInterceptor 的实现,并将分区值映射到消息,然后再发送给消费者。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2018-10-08
    • 2021-03-02
    • 1970-01-01
    • 2017-10-31
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多