【问题标题】:Unable to push messages on to Kafka topic deployed in a docker container from another docker container无法从另一个 docker 容器将消息推送到部署在 docker 容器中的 Kafka 主题
【发布时间】:2021-04-25 00:36:39
【问题描述】:

在 windows 机器上,我创建了一个启动并运行的 Kafka 容器。我可以使用以下生产者 java 代码将消息发布到 Kafka 主题。

public static void main(String[] args) {

        // Assign topicName to string variable
        String topicName = "ms-txnclassification-inbox-topic";

        // create instance for properties to access producer configs
        Properties props = new Properties();

        // Assign localhost id
        props.put("bootstrap.servers", "kafka:29092");

        // Set acknowledgements for producer requests.
        props.put("acks", "all");

        // If the request fails, the producer can automatically retry,
        props.put("retries", 1);

        // Specify buffer size in config
        props.put("batch.size", 16384);

        // Reduce the no of requests less than 0
        props.put("linger.ms", 1);

        // The buffer.memory controls the total amount of memory available to the
        // producer for buffering.
        props.put("buffer.memory", 33554432);

        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        
        try (KafkaProducer<String, String> producer = new KafkaProducer(props)){
        for (int i = 0; i < 2; i++) {
            try {
                ProducerRecord<String, String> message1 = new ProducerRecord<>(topicName, Integer.toString(100), Integer.toString(100));
                producer.send(message1);
                System.out.println("Value sent " + i);
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
        } catch (Exception e) {
            System.out.println("Failed to deliver message");
        }
        System.out.println("Message sent successfully");

    }

在我将此代码打包成 jar 文件并将其部署到容器中的同时,我无法将消息发布到同一个 Kafka 主题。令人惊讶的是,代码也没有抛出任何错误或异常。

我为发布消息的容器创建的 Dockerfile:

FROM openjdk:8-jre
COPY KafkaTopicTest.jar /app/KafkaTopicTest.jar

一旦这个 docker 容器启动并运行,我手动运行 jar 文件。

java -jar KafkaTopicTest.jar com.temenos.transactionClassificationExecutable.loadTesting.ProducerTesting

注意:当我在容器中 ping kafka 时,我得到了成功的响应。

# ping kafka
PING kafka (127.0.0.1) 56(84) bytes of data.
64 bytes from localhost (127.0.0.1): icmp_seq=1 ttl=64 time=0.042 ms
64 bytes from localhost (127.0.0.1): icmp_seq=2 ttl=64 time=0.079 ms
64 bytes from localhost (127.0.0.1): icmp_seq=3 ttl=64 time=0.076 ms
^C
--- kafka ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2113ms
rtt min/avg/max/mdev = 0.042/0.065/0.079/0.016 ms
#

不知道哪里出错了!!

【问题讨论】:

  • 看起来您是从自身 ping kafka,而不是另一个容器。不知道应该显示什么......你是什么意思“手动运行 JAR”?

标签: java docker apache-kafka kafka-producer-api


【解决方案1】:

我假设您在本地测试代码?如果是这样,kafka:29092 应该不起作用,但 localhost:29092 可能会起作用,具体取决于您的 Kafka 配置和端口映射...

从您所展示的内容来看,您的 Dockerfile 将在没有运行 JAR 的 CMD 或 ENTRYPOINT 的情况下运行后退出,因此如果您正在执行 docker run -ti &lt;image&gt; bash,然后运行 ​​JAR,我认为没有理由应该这样做'不工作(虽然,我认为你应该手动刷新生产者)

如果“手动运行 JAR 文件”意味着您正在执行 docker build,非交互式 docker 运行,然后立即 java -jar,那么您仍然在 Windows 中,并从那里运行 JAR,因此 @如前所述,987654326@ 无法解析。

您的代码也可能不会返回任何有关生产的错误,因为它需要调用 producer.flush(),因为 2 条消息不足以创建批处理。添加一个 finally 块来执行此操作,除非您希望 try-with-resources 为您调用它。

此外,如果您不使用 Docker Compose,则必须为容器定义一个共享网络,以便通过该网络进行通信

【讨论】:

  • 感谢您的回复,是的,我在本地运行docker文件,kafka:29092的工作方式与我在windows系统的hosts文件中定义的kafka一样。
  • 按照建议,我什至添加了 producer.flush() 仍然无法正常工作。
  • 如果您设置了容器的广告侦听器,则不应编辑主机文件。无论如何,您没有显示容器是同一网络的一部分
猜你喜欢
  • 2020-01-30
  • 2020-02-09
  • 2016-12-25
  • 2019-09-04
  • 1970-01-01
  • 2017-01-26
  • 1970-01-01
  • 1970-01-01
  • 2022-01-04
相关资源
最近更新 更多