在 ksqldb 中使用现有的 kafka 主题和 avro答案

【问题标题】：using existing kafka topic with avro in ksqldb在 ksqldb 中使用现有的 kafka 主题和 avro
【发布时间】：2020-08-30 23:53:32
【问题描述】：

假设我有一个主题，让我们说“some_topic”。本主题中的数据使用 avro 使用模式注册表进行序列化。架构主题名称与主题名称相同 - 'some_topic'，没有 '-value' 后缀

我想做的是创建一个新主题，比如说“some_topic_new”，其中数据将使用相同的架构进行序列化，但某些字段将被“无效”

我正在尝试评估这是否可以使用 ksqldb 完成并有两个问题：

是否可以基于现有主题并使用现有架构创建流/表？也许像create table some_topic (*) with (schema_subject=some_topic, ...) 这样的东西。因此新表的字段将自动从现有架构中获取
在创建新的流/表时是否可以避免使用“-value”后缀创建新模式？

【问题讨论】：

标签： apache-kafka confluent-schema-registry ksqldb confluent-platform

【解决方案1】：

当您在 ksqlDB 中基于另一个流创建流时，您可以让它继承架构。请注意，虽然它不会共享相同的架构，但定义将是相同的。

CREATE STREAM my_stream 
    WITH (KAFKA_TOPIC='some_topic', VALUE_FORMAT='AVRO');

CREATE STREAM my_stream_new 
    WITH (KAFKA_TOPIC='some_topic_new', VALUE_FORMAT='AVRO') AS 
    SELECT * FROM my_stream;

【讨论】：