【问题标题】:kafka streams joinWindow and auto create a avrò schemakafka 流 joinWindow 并自动创建 avrò 模式
【发布时间】:2018-01-13 08:34:07
【问题描述】:

当我使用 kafka 流加入 windows 时,自动创建一个 avro 架构

像这样 " * KSTREAM-JOINTHIS-0000000125-store-changelog-value"**

我想知道,为什么这样可以创建avro schema?

这是我的代码:

Serde<FactCallProviderMessage> specificAvroSerdeForCallProviderMessage = ProcessStreamUtil.getAndRegisterSerde(isKeySerde);
        KStream<String, FactCallProviderMessage> callProviderMessageKStream = builder.stream(
                callProviderMessageTopic /* input topic */,
                Consumed.with(Serdes.String(), specificAvroSerdeForCallProviderMessage));


public static <T extends SpecificRecord> Serde<T> getAndRegisterSerde(boolean isKeySerde) {
        Serde<T> specificAvroSerde = new SpecificAvroSerde<T>();
        specificAvroSerde.configure(Collections.singletonMap(
                AbstractKafkaAvroSerDeConfig.SCHEMA_REGISTRY_URL_CONFIG,
                MyConfig.getSchemaRegistryUrl()),
                isKeySerde);
        return specificAvroSerde;
    }

【问题讨论】:

    标签: avro apache-kafka-streams confluent-schema-registry


    【解决方案1】:

    Kafka Stream 为有状态操作员创建所谓的更改日志主题,例如在后台加入以在 Kafka 集群中以容错方式备份状态。

    如果您对输入消息使用 Avro 格式,您的输入消息将以 Avro 格式写入此更改日志主题。因此,在写入时将为此更改日志主题注册相应的架构。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2020-11-08
      • 2018-12-21
      • 1970-01-01
      • 2018-08-17
      • 2021-09-08
      • 1970-01-01
      • 2019-08-12
      • 1970-01-01
      相关资源
      最近更新 更多