【问题标题】:How to expose kafka for external access after build kafka cluster on kubernetes?在 kubernetes 上构建 kafka 集群后如何公开 kafka 以供外部访问?
【发布时间】:2019-05-12 07:46:19
【问题描述】:

我按照这个公会https://github.com/kubernetes/contrib/tree/master/statefulsets/kafka 在 kubernetes 上构建 kafka 集群,它适用于从 kubernetes 发送/生成消息。当我尝试使用 NodePort 公开 kafka 集群时,kafka 客户端尝试从地址 10.xx.xx.xx:30092

将失败:

apiVersion: v1
kind: Service
metadata:
  name: kafka-nodeport
  labels:
    app: kafka
spec:
  type: NodePort
  ports:
  - port: 9092
    nodePort: 30092
    name: server
  selector:
    app: kafka

为什么会发生这种情况以及如何公开 kafka 服务?

【问题讨论】:

  • 您遇到什么错误?顺便说一句,您是否尝试通过 <NodeIP>:<NodePort> 访问?
  • 当尝试向 NodeIP:NodePort 发送消息时,客户端会报错:org.apache.kafka.common.errors.TimeoutException: Expiring 33 record(s) for test-0: 1502 ms has自批次创建以来已过去加上逗留时间。

标签: kubernetes apache-kafka


【解决方案1】:

Kafka Statefulsets 需要无头服务才能访问代理。您可以将无头服务更改为 Type=NodePort 并设置 externalTrafficPolicy=Local。这绕过了服务的内部负载平衡,并且只有在该节点上有 Kafka pod 时,才能在该节点端口上发往特定节点的流量。

apiVersion: v1
kind: Service
metadata:
  name: kafka-nodeport
  labels:
    app: kafka
spec:
  externaTrafficPolicy: Local
  type: NodePort
  ports:
  - port: 9092
    nodePort: 30092
    name: server
  selector:
    app: kafka    

例如,我们有两个节点 nodeA 和 nodeB,nodeB 正在运行一个 kafka pod。 nodeA:30092 不会连接,但 nodeB:30092 会连接到 nodeB 上运行的 kafka pod。

希望这会有所帮助。

【讨论】:

  • 试一下,但是从kubernetes外的机器访问nodeB:30092就不行了
  • 由于我们设置了externalTrafficPolicy=Local,您可以从端口所在的nodeIP(而不是所有节点IP)访问一个pod。设置 externalTrafficPolicy=Local 的原因是 kafka 需要 headless 服务,它关闭了 k8s 的内部负载均衡器,但是你不能使用 Nodeport 暴露 headless 服务
【解决方案2】:

你必须做两件事:

1) 创建 NodePort 类型的服务资源(就像您所做的那样)或 Ingress 资源。

2) 在 Kafka 中设置以下两个属性: ADVERTISED_HOST 和 ADVERTISED_PORT。

Kafka 将使用节点的 ip 地址注册到 Zookeeper,在容器网络中,它是它使用的内部 ip 地址,因此我们必须设置这些属性来告诉 Kafka 注册它们。

希望对您有所帮助!

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2023-03-14
    • 2019-11-25
    • 2017-02-13
    • 2017-06-11
    • 2021-01-12
    • 2018-07-23
    • 2020-10-30
    相关资源
    最近更新 更多