到目前为止的解决方案对我来说还不够满意,所以我将发布我自己的答案。我的目标:
- 仍应尽可能通过 StatefulSet 动态管理 Pod。
- 为生产者/消费者客户端为每个 Pod(即 Kafka 代理)创建一个外部服务并避免负载平衡。
- 创建内部无头服务,以便每个 Broker 可以相互通信。
从Yolean/kubernetes-kafka 开始,唯一缺少的就是将服务暴露在外部,这样做有两个挑战。
- 为每个 Broker pod 生成唯一标签,以便我们可以为每个 Broker pod 创建一个外部服务。
- 告诉 Brokers 使用内部 Service 相互通信,同时配置 Kafka 告诉生产者/消费者通过外部 Service 进行通信。
每个 pod 标签和外部服务:
要为每个 pod 生成标签,this issue 真的很有帮助。使用它作为指导,我们将以下行添加到 10broker-config.yml init.sh 属性:
kubectl label pods ${HOSTNAME} kafka-set-component=${HOSTNAME}
我们保留现有的无头服务,但我们还使用标签为每个 pod 生成一个外部服务(我将它们添加到 20dns.yml):
apiVersion: v1
kind: Service
metadata:
name: broker-0
namespace: kafka
spec:
type: NodePort
ports:
- port: 9093
nodePort: 30093
selector:
kafka-set-component: kafka-0
为 Kafka 配置内部/外部侦听器
我发现 this issue 在尝试了解如何配置 Kafka 时非常有用。
这再次需要使用以下内容更新10broker-config.yml 中的init.sh 和server.properties 属性:
将以下内容添加到server.properties 以更新安全协议(当前使用PLAINTEXT):
listener.security.protocol.map=INTERNAL_PLAINTEXT:PLAINTEXT,EXTERNAL_PLAINTEXT:PLAINTEXT
inter.broker.listener.name=INTERNAL_PLAINTEXT
动态确定init.sh中每个Pod的外部IP和外部端口:
EXTERNAL_LISTENER_IP=<your external addressable cluster ip>
EXTERNAL_LISTENER_PORT=$((30093 + ${HOSTNAME##*-}))
然后为EXTERNAL_LISTENER 和INTERNAL_LISTENER 配置listeners 和advertised.listeners IP(也在init.sh 属性中):
sed -i "s/#listeners=PLAINTEXT:\/\/:9092/listeners=INTERNAL_PLAINTEXT:\/\/0.0.0.0:9092,EXTERNAL_PLAINTEXT:\/\/0.0.0.0:9093/" /etc/kafka/server.properties
sed -i "s/#advertised.listeners=PLAINTEXT:\/\/your.host.name:9092/advertised.listeners=INTERNAL_PLAINTEXT:\/\/$HOSTNAME.broker.kafka.svc.cluster.local:9092,EXTERNAL_PLAINTEXT:\/\/$EXTERNAL_LISTENER_IP:$EXTERNAL_LISTENER_PORT/" /etc/kafka/server.properties
显然,这不是生产的完整解决方案(例如解决外部暴露代理的安全问题),我仍在完善我对如何让内部生产者/消费者也与代理进行通信的理解。
但是,到目前为止,这是我了解 Kubernetes 和 Kafka 的最佳方法。