使用 kubernetes 安装 kafka 和 zookeeper 集群答案

【问题标题】：Installing kafka and zookeeper cluster using kubernetes使用 kubernetes 安装 kafka 和 zookeeper 集群
【发布时间】：2019-09-27 20:08:05
【问题描述】：

谁能与我分享用于创建具有两个 kafka 代理和具有 3 个服务器的 Zookeeper 集群的 kafka 集群的 yaml 文件。我是 kubernetes 的新手。

【问题讨论】：

搜索 kafka helm 图表... 询问站外资源对于 Stackoverflow 来说是无关紧要的。见help center

标签： kubernetes apache-kafka

【解决方案1】：

另一个简单的在DigitalOcean中Kubernetes上的Kafka/Zookeeper配置与外部访问：

https://github.com/StanislavKo/k8s_digitalocean_kafka

您可以通过常规二进制协议从 AWS/DO/GCE 外部连接到 Kafka。连接是 PLAINTEXT 或 SASL_PLAINTEXT（用户名/密码）。

Kafka 集群是 StatefulSet，因此您可以轻松扩展集群。

【讨论】：

请谨慎链接到您自己在不同网站上的内容，您不想成为spammer。您应该在此处包含大部分内容，并且仅将链接用作参考。

【解决方案2】：

我认为您可以在这里查看 Strimzi 项目https://strimzi.io/。它基于 Kubernetes 操作员模式，并提供了一种使用自定义资源在 Kubernetes 上部署和管理 Kafka 集群的简单方法。 Kafka 集群通过一个新的“Kafka”资源 YAML 文件进行描述，用于设置您需要的所有内容。操作员会负责并为您部署 Zookeeper ensemble + Kafka 集群。它还部署了更多两个运算符来处理主题和用户（但它们是可选的）。

【讨论】：

【解决方案3】：

我建议你试试Strimzi Kafka Operator。使用它，您可以像其他 Kubernetes 对象一样定义 Kafka 集群 - 编写 yaml 文件。此外，用户、主题和 Kafka Connect 集群也只是一个 k8s 对象。 Strimzi Kafka Operator 的一些（不是全部！）功能：

使用 TLS 保护代理之间以及代理与 Zookeeper 之间的安全通信
能够在 k8s 集群之外公开集群
可部署为舵图（它大大简化了事情）
更改集群配置时滚动更新
平滑扩展
准备好使用Prometheus 和Grafana 监控集群。

值得一提的是great documentation。

创建 Kafka 集群就像应用 Kubernetes 清单一样简单，如下所示：

apiVersion: kafka.strimzi.io/v1beta1
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    version: 2.2.0
    replicas: 3
    listeners:
      plain: {}
      tls: {}
    config:
      offsets.topic.replication.factor: 3
      transaction.state.log.replication.factor: 3
      transaction.state.log.min.isr: 2
      log.message.format.version: "2.2"
    storage:
      type: jbod
      volumes:
      - id: 0
        type: persistent-claim
        size: 100Gi
        deleteClaim: false
  zookeeper:
    replicas: 3
    storage:
      type: persistent-claim
      size: 100Gi
      deleteClaim: false
  entityOperator:
    topicOperator: {}
    userOperator: {}

【讨论】：

【解决方案4】：

看看https://github.com/Yolean/kubernetes-kafka，确保broker内存限制为2GB或以上。

在 Kubernetes 中维护一个可靠的 kafka 集群仍然是一个挑战，祝你好运。

【讨论】：