如何在 Apache Beam 中使用 KafkaIO 指定 kafka 代理答案

【问题标题】：how to specify kafka brokers with KafkaIO in Apache Beam如何在 Apache Beam 中使用 KafkaIO 指定 kafka 代理
【发布时间】：2020-06-20 17:48:13
【问题描述】：

我正在尝试设置 KafkaIO 管道，但我不知道如何指定代理。指定经纪人名称和端口似乎并没有这样做。我从来没有指定我的 kafka 集群在哪里：

       pipeline
            .apply(KafkaIO.<Long, String>read()
                    .withBootstrapServers("broker.id__1:9092")
                    .withTopic("pageviews")

这给了我错误：

        Exception in thread "main" org.apache.beam.sdk.Pipeline$PipelineExecutionException: org.apache.kafka.common.KafkaException: Failed to construct kafka consumer
        at org.apache.beam.sdk.Pipeline.run(Pipeline.java:323)
...
    Caused by: org.apache.kafka.common.config.ConfigException: No resolvable bootstrap urls given in bootstrap.servers

我的 Kafka 集群在本地运行，并且 broker id 正确。

我错过了什么？指定经纪人的正确方法是什么？

【问题讨论】：

标签： java apache-kafka apache-beam apache-beam-kafkaio

【解决方案1】：

原来是这样的

withBootstrapServers("localhost:9092")

【讨论】：