【问题标题】:Kafka Streams: how to write to a topic?Kafka Streams:如何写入主题?
【发布时间】:2016-06-29 17:54:49
【问题描述】:

在 Kafka Streams 中,产生/写入流的规范方式是什么?在 Spark 中,有一个自定义接收器,它作为来自任意数据源的长时间运行的适配器。 Kafka Streams 中的等价物是什么?

具体来说,我不是在问如何从一个主题转换到另一个主题。文档对此非常清楚。我想了解如何编写我的工人,这些工人将在一系列转换到 Kafka 中进行第一次写入。

我希望能够做到

builder1.<something>(<some intake worker like a spark reciver)
       .to(topic1)
       .start()

builder2.from(topic1)
        .transform(<some transformation function>)
        .to(topic2)
        .start()

但是现有的文档都没有显示这一点?我错过了什么吗?

【问题讨论】:

    标签: apache-kafka apache-kafka-streams


    【解决方案1】:

    取决于您使用的是 Kafka Streams DSL 还是处理器 API:

    • Kafka Streams DSL 您可以使用KStream#to() 将KStream 物化为主题。这是将数据具体化为主题的规范方法。或者,您可以使用KStream#through()。这也会将数据具体化为主题,但也会返回结果 KStream 以供进一步使用。那么#to() 和#through() 之间的唯一区别是,如果您希望将生成的物化分区作为KStream,它会为您节省KStreamBuilder#stream()。

    • 处理器 API 通过将数据转发到接收器处理器,您可以将数据具体化到分区。

    无论哪种方式,需要注意的重要一点是,在您使用上述方法之一写入分区之前,数据不会具体化到主题。 map()、filter() 等不实现数据。数据保留在处理器任务/线程/内存中,直到通过上述方法之一实现。


    制作成 Kafka Streams:

    Properties producerConfig = new Properties();
    producerConfig.put(BOOTSTRAP_SERVERS_CONFIG, "127.0.0.1:2181");
    producerConfig.put(ACKS_CONFIG, "all");
    producerConfig.put(RETRIES_CONFIG, 0);
    Producer<Integer, Integer> producer = new KafkaProducer<>(producerConfig, new IntegerSerializer(), new IntegerSerializer<>());
    

    然后:

    Arrays.asList(1, 2, 3, 4).forEach(integer -> producer.send(new ProducerRecord<>("integers", integer, integer)))
    

    你需要:

    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>${version.kafka}</version>
    </dependency>
    

    【讨论】:

    • 那不是我问的。比如说,一个整数的文字数组,你将如何将该数组具体化为一个主题?
    • 你会使用KafkaProducer
    【解决方案2】:

    我想了解如何编写我的工人,这些工人将在一系列转换为 kafka 的过程中进行第一次写入。

    初始写入(= 输入数据)不应通过 Kafka Streams 完成。 Kafka Streams 假设输入数据已经在 Kafka 中。

    因此,您的预期工作流程不适用:

    builder1.<something>(<some intake worker like a spark reciver)
       .to(topic1)
       .start()
    

    相反,您可以使用 Kafka Connect 之类的工具将数据导入 Kafka(例如,从数据库到 Kafka 主题)或使用“普通”的 Kafka 生产者客户端(Java、C/C++、Python...)将输入数据写入Kafka。

    Kafka Streams 中还没有用于引导输入数据的“钩子”。我们正在考虑更好地集成 Kafka Connect 和 Kafka Streams,因此这种情况在不久的将来可能会得到改善。

    【讨论】:

      【解决方案3】:

      您可以在 Linux 上尝试以下命令:

      bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topicName --property "parse.key=true"property "key.separator=:";
      
      1. parse.key 设置为 true 时允许从控制台接受输入作为键和值对。

      2. key.separator 将设置为键值对的分隔符。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2018-03-07
        • 1970-01-01
        • 1970-01-01
        • 2019-06-20
        • 2019-07-25
        • 2020-01-08
        • 2019-04-23
        • 1970-01-01
        相关资源
        最近更新 更多