如何在 Kubernetes 上设置 Kafka 集群 [关闭]答案

【问题标题】：How to Setup Kafka Cluster on Kubernetes [closed]如何在 Kubernetes 上设置 Kafka 集群 [关闭]
【发布时间】：2021-04-12 22:16:09
【问题描述】：

我想在 Kubernetes 上设置一个多节点 Kafka 集群。我在网上搜索了指南，但有很多不同的变化。有人可以分享您的指南吗？

【问题讨论】：

我发现这个链接很有帮助dzone.com/articles/…
@YatinGoyal 多节点 Kafka 集群怎么样？我是否只是复制容器并检查 env 中的 KAFKA_BROKER_ID？
这也取决于您的环境。你有什么资源，你有一些特定的要求，或者你只是想以最简单的形式部署它？如果您只想部署 kafka，您应该使用 helm 并接受提及此解决方案的答案。

标签： kubernetes apache-kafka

【解决方案1】：

我建议学习 Helm，因为它显着简化了您将任何新技术引入 Kubernetes 集群的方式。

一旦您简要了解了 Helm，您就可以使用 kafka helm chart 在一个命令中安装 Kafka 集群。你需要做的就是学习available properties，根据自己的需要进行设置。

【讨论】：

我搜索过Bitnami helm chart。对我来说似乎很好。谢谢！

【解决方案2】：

您可以使用Strimzi Operator，它简化了在 Kubernetes 之上的 Kafka 集群部署和管理。与仅简化部署的 Helm 图表不同，Operator 方法还支持第 2 天的操作，这在 Kafka 集群的情况下可能非常复杂。

部署 3 节点测试集群的简单过程：

VERSION="0.21.1"
NAMESPACE="kafka"

# create and select a new namespace
kubectl create ns $NAMESPACE
kubectl config set-context --current --namespace="$NAMESPACE"

# deploy the Strimzi operator
curl -L https://github.com/strimzi/strimzi-kafka-operator/releases/download/$VERSION/strimzi-cluster-operator-$VERSION.yaml \
    | sed "s/namespace: .*/namespace: $NAMESPACE/g" | kubectl replace --force -f -

# deploy the Kafka cluster
kubectl apply -f https://raw.githubusercontent.com/strimzi/strimzi-kafka-operator/$VERSION/examples/kafka/kafka-persistent.yaml

【讨论】：

嘿@fvaleri，day-2 operations 是什么意思？它与使用 helm charts 部署 kafka 有何不同：github.com/confluentinc/cp-helm-charts
我的意思是，附加的 Operator 组件嵌入了特定的应用程序知识（在本例中为 Kafka），它允许自动化复杂的操作，例如滚动更新和现在停机时间、TLS 证书管理和集群重新平衡，仅举个例子几个。