来自 Kafka 主题的 KSQL 流保持相同的分区值答案

【问题标题】：KSQL stream from Kafka Topic Maintain same partition values来自 Kafka 主题的 KSQL 流保持相同的分区值
【发布时间】：2021-08-11 08:00:06
【问题描述】：

我正在从 kafka 主题创建一个 ksql 流。源主题有 50 个分区，目标流也有 50 个分区，但问题是源分区 1 会在目标流中随机分区（例如分区 10）。

架构：创建流 SCHEMA_BASE ( ID VARCHAR, 时间戳 VARCHAR，城市 VARCHAR，分区 INTEGER) WITH ( KAFKA_TOPIC = 'SPARK_EVENTS', VALUE_FORMAT = 'JSON', TIMESTAMP_FORMAT = 'yyyy-MM-dd''T''HH:mm:ss.SSSSSSS''Z''', TIMESTAMP = '时间戳' );

流：创建流 spark_event_streams 作为选择 ID，时间戳，城市，分割从 SCHEMA_BASE 按分区分区；

有没有办法强制目标流使用精确分区？？

【问题讨论】：

您在将数据生成到主流时是否使用了自定义分区器？ SPARK_EVENTS 主题中的键是什么？似乎您的主流没有被 PARTITION 分区

标签： apache-kafka confluent-platform ksqldb

【解决方案1】：

ksqlDB 不支持自定义分区，并且 ksqlDB 始终使用默认分区器，如果消息键为 null，则执行循环策略。

我提交了https://github.com/confluentinc/ksql/issues/7984 可能会使用新功能扩展 ksqlDB。

【讨论】：