Kubernetes集群-无法从多VM k8s集群中另一个pod中运行的spring boot服务访问pod中运行的Kafka代理答案

【问题标题】：Kubernetes cluster - Cannot access Kafka broker running in a pod from spring boot service running in another pod in multi VM k8s clusterKubernetes集群-无法从多VM k8s集群中另一个pod中运行的spring boot服务访问pod中运行的Kafka代理
【发布时间】：2020-08-19 20:36:32
【问题描述】：

我有一个在多 VM 环境中运行的 Kafka 代理（私有云 - 使用我们自己的 Kubernetes 集群 - 4 节点集群）。

我创建了一个 Spring Boot 应用程序，该应用程序具有一个发布者，该发布者必须将消息发布到 Kafka 代理内的 Kafka 主题。我在同一个 Kubernetes 集群中运行了两个容器（Kafka 代理和 Spring Boot 应用程序）。

我无法通过在发布者的 bootstrap.servers 中提供 Kafka 的服务名称来访问 Kafka 代理（在同一个 k8s 集群中运行）：端口 id

Spring boot 的发布者配置：

 props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka-svc:9092");- -> not working

集群信息：

kafka-broker yaml 文件：

    apiVersion: extensions/v1beta1
    kind: Deployment
    metadata:
      name: kafka-deploy
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: kafka
      template:
        metadata:
          labels:
            app: kafka
        spec:
          containers:
          - env:
            - name: KAFKA_PORT
              value: "9092"
            - name: KAFKA_ADVERTISED_PORT
              value: "9092"
            - name: KAFKA_ADVERTISED_HOST_NAME
              value: kafka-svc
            - name: KAFKA_CREATE_TOPICS
              value: "test:1:1"
            - name: KAFKA_ZOOKEEPER_CONNECT
              value: zookeeper-svc:2181
            - name: KAFKA_BROKER_ID
              value: "1"
            name: kafka
            image: wurstmeister/kafka
            ports:
            - containerPort: 9092
    ------
       apiVersion: v1
       kind: Service
       metadata:
         name: kafka-svc
       spec:
         type: NodePort
         ports:
         - port: 9092
           targetPort: 9092
           name: http
           protocol: TCP
         selector:
           app: kafka
           kafka-broker-id: "1"

当我尝试将字符串消息推送到 Kafka 主题时，出现以下异常：

"2020-08-18 13:28:04.525  INFO 1 --- [nio-8080-exec-1] o.a.kafka.common.utils.AppInfoParser     : Kafka startTimeMs: 1597757284523
2020-08-18 13:29:04.539 ERROR 1 --- [nio-8080-exec-1] o.s.k.support.LoggingProducerListener    : Exception thrown when sending a message with key='null' and payload='TEST' to topic test:

org.apache.kafka.common.errors.TimeoutException: Topic test not present in metadata after 60000 ms.

2020-08-18 13:29:04.544 ERROR 1 --- [nio-8080-exec-1] o.a.c.c.C.[.[.[/].[dispatcherServlet]    : Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is org.springframework.kafka.KafkaException: Send failed; nested exception is org.apache.kafka.common.errors.TimeoutException: Topic test not present in metadata after 60000 ms.] with root cause

【问题讨论】：

标签： spring-boot kubernetes apache-kafka kafka-producer-api kubernetes-pod

【解决方案1】：

您似乎需要创建 test 主题才能发布任何内容。

您可以查看该主题在您的 Kafka 集群中是否可用。例如来自 Kafka 代理 pod 之一：

bin/kafka-topics.sh --bootstrap-server localhost:9092 --zookeeper zookeeper-svc:2181 --topic test --describe

或者你可以在你的 Spring Boot 应用上创建它：

package io.stockgeeks.kafka.config;

import org.apache.kafka.clients.admin.NewTopic;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.config.TopicBuilder;

@Configuration
public class KafkaTopicConfiguration {
  
  @Bean
  public NewTopic topicExample() {
    return TopicBuilder.name("test")
      .partitions(6)
      .replicas(3)
      .build();
  }
}

✌️

【讨论】：