KEDA 与 AWS MSK 集成答案

【问题标题】：KEDA integrate with AWS MSKKEDA 与 AWS MSK 集成
【发布时间】：2020-04-22 18:16:07
【问题描述】：

我正在使用 AWS MSK，是否可以与 Keda 集成？我找不到 AWS MSK 的任何相关文档。

【问题讨论】：

【解决方案1】：

与 AWS MSK 集成究竟是什么意思？你想扩展什么？集群还是消费者？

如果您想扩展集群，答案是否。这不是科达的本意。

相反，如果您想扩展消费者，答案是是，因为 MSK 只是一个托管（由 AWS）Kafka 集群，它已经存在一个 Kafka 触发器（又名 Scaler）对于描述为here 的人。这是基于消费者滞后指标。将消费者部署到 Kubernetes 后，您所要做的就是应用 ScaledObject（自定义资源），例如

apiVersion: keda.k8s.io/v1alpha1
kind: ScaledObject
metadata:
  name: kafka-scaledobject
  namespace: default
spec:
  scaleTargetRef:
    deploymentName: myDeployment # the consumer deployment you want to scale
  pollingInterval: 30
  triggers:
  - type: kafka
    metadata:
      bootstrapServers: localhost:9092
      consumerGroup: my-group       # Make sure that this consumer group name is the same one as the one that is consuming topics
      topic: test-topic
      # Optional
      lagThreshold: "50"

希望我能帮上忙。

【讨论】：

我绝对想扩展 Consumer 而不是 kafka 本身。我面临的问题是我们设置了 MSK，使用 TLS 加密，没有用户名和密码。在 Keda 中，TSL 用户名和密码是强制性的，我无法使用 Keda 配置 MSK SSL
用none 设置authMode 怎么样？在这种情况下，用户名和密码不应该是强制性的......您仍然可以使用其他参数进行 TLS 加密。