如何根据 celery 任务队列中的任务数自动扩展 Kubernetes Pod？

Question

我有一个 celery worker 部署在 Kubernetes pod 上，它执行一项任务（不是很占用 CPU，但由于一些 HTTP 调用需要一些时间才能完成）。有没有办法根据任务队列中的任务数自动缩放 K8s 中的 Pod？

Answer 1

是的，通过使用 Kubernetes 指标注册表和Horizontal Pod Autoscaler。

首先，您需要从 Celery 收集“队列长度”指标，并通过其中一个 Kubernetes 指标 API 公开它。您可以使用基于 Prometheus 的管道来做到这一点：

1. 由于 Celery 不公开 Prometheus 指标，因此您需要安装一个导出器，将有关 Celery 的一些信息（包括队列长度）公开为 Prometheus 指标。例如，this exporter。
2. 在您的集群中安装Prometheus，并将其配置为从 Celery 导出器收集与任务队列长度相对应的指标。
3. 在您的集群中安装Prometheus Adapter，并将其配置为通过Custom Metrics API 公开“队列长度”指标，方法是从Prometheus 中提取其值。

现在您可以配置 Horizo​​ntal Pod Autoscaler 以从 Custom Metrics API 查询此指标并根据它自动缩放您的应用。

例如，根据队列长度 5 的目标值在 1 到 10 个副本之间扩展应用程序：

apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
  name: myapp-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: myapp
  minReplicas: 1
  maxReplicas: 10
  metrics:
    - type: Object
      object:
        metric:
          name: mycelery_queue_length
        target:
          type: value
          value: 5
        describedObject:
          apiVersion: apps/v1
          kind: Deployment
          name: mycelery

Answer 2

解决这个问题有两个部分：您需要从 celery 中收集指标并将它们提供给 Kubernetes API（作为自定义指标 API）。然后 Horizo​​ntalPodAutoscaler 可以查询这些指标，以便根据自定义指标进行缩放。

您可以使用 Prometheus（例如）从 Celery 收集指标。然后，您可以使用 Prometheus Adapter 将指标公开给 Kubernetes。现在，prometheus 中可用的指标可供 Kubernetes 使用。

您现在可以为您的应用程序定义一个HorizontalPodAutoscaler：

kind: HorizontalPodAutoscaler
apiVersion: autoscaling/v2alpha1
metadata:
name: sample-metrics-app-hpa
spec:
    scaleTargetRef:
        kind: Deployment
        name: sample-metrics-app
    minReplicas: 2
    maxReplicas: 10
    metrics:
    - type: Object
    object:
        target:
        kind: Service
        name: sample-metrics-app
        metricName: celery_queue_length
        targetValue: 100