在 python 中使用来自不同容器的 Kafka 消息

Question

下面是我的 docker-compose 文件：

   version: "3"
    services:
      app:
        image: app
        restart: always
        ports:
          - "8001:8081"
        depends_on:
          - kafka
          - zookeeper
          - consumer
        environment:
          - KAFKA_HOST = kafka

  zookeeper:
    image: "wurstmeister/zookeeper:latest"
    ports:
        - "2181:2181"
    hostname: zookeeper   

  kafka:
    image: "wurstmeister/kafka:2.12-2.2.0"
    ports:
      - "9092:9092"
    hostname: kafka
    links: 
     - zookeeper:zookeeper
    environment:
      KAFKA_CREATE_TOPICS: "Topic01:2:2" #TOPIC:PARTITON:REPLICATION
      KAFKA_ZOOKEEPER_CONNECTION_TIMEOUT_MS: "60000"
      KAFKA_AUTO_CREATE_TOPICS_ENABLE: "true"
      KAFKA_ZOOKEEPER_CONNECT: "zookeeper:2181"
      KAFKA_LISTENERS: 'PLAINTEXT://:9092'
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://kafka:9092'

    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

  consumer:
    image: consumer:latest
    build:
      context: ./consumer
    ports:
      - "8283:8283"

使用app 图像的容器生成文本流，并且能够生成消息。

通过在kafka容器内导航验证：

docker exec -it <CONTAINER ID of Kafka Image> /bin/bash

当我在容器内手动运行以下脚本时

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic Topic01 --from-beginning

我可以看到正在生成的文本块。

但是当我尝试从图像consumer 的容器中读取相同的数据时，它给了我空白，

尝试的方法：

docker exec 在消费者容器中，并运行以下 python 代码：

from kafka import KafkaConsumer
consumer = KafkaConsumer('Topic01', bootstrap_servers='kafka:9092')
for messages in consumer:
        print(messages)

它什么也不打印。

是我的docker-compose文件错误还是python代码的错误？

Answer 1

根据 Kafka 的监听器文档：

Listener List - 我们将侦听的 URI 的逗号分隔列表和侦听器名称。如果侦听器名称不是安全协议，还必须设置 listener.security.protocol.map。将主机名指定为 0.0.0.0 以绑定到所有接口。 将主机名留空以绑定到默认界面。合法监听列表示例：PLAINTEXT://myhost:9092,SSL://:9091 CLIENT://0.0.0.0:9092,REPLICATION://localhost:9093

您将KAFKA_LISTENERS 设置为PLAINTEXT://:9092，因此它绑定到默认接口，这可能无法从您的Kafka 容器外部访问（同时它与使用localhost 的控制台消费者一起工作）。试一试，将KAFKA_LISTENERS指定为PLAINTEXT://0.0.0.0:9092，检查您的消费者是否开始消费消息。