【问题标题】:Airflow is receiving incorrect POD status from KubernetesAirflow 从 Kubernetes 收到不正确的 POD 状态
【发布时间】:2021-04-13 10:13:43
【问题描述】:

我们正在使用 Airflow 在 Kubernetes 上安排 Spark 作业。最近遇到一个场景:

  • airflow 收到错误 404 并显示消息“pods pod-name not found”
  • 我手动检查了当时 POD 是否工作正常。事实上,我可以使用 kubectl logs -f -n namespace podname 收集日志

因此发生的事情是气流创建了另一个 POD 来运行相同的作业,这导致了竞争条件。

Airflow 正在使用 Kubernetes Python 客户端的 read_namespaced_pod API()

def read_pod(self, pod):
    """Read POD information"""
    try:
        return self._client.read_namespaced_pod(pod.metadata.name, pod.metadata.namespace)
    except BaseHTTPError as e:
        raise AirflowException(
            'There was an error reading the kubernetes API: {}'.format(e)
        )

我相信 read_namespaced_pod() 调用 Kubernetes API。为了进一步调查,我想查看 Kubernetes API 服务器的日志。

您能否分享一下检查 Kubernetes 方面发生了什么的步骤?

注意:Kubernetes 版本是 1.18,Airflow 版本是 1.10.10。

【问题讨论】:

    标签: kubernetes airflow


    【解决方案1】:

    从日志/排错的角度回答问题:

    我相信 read_namespaced_pod() 调用 Kubernetes API。为了进一步调查,我想查看 Kubernetes API 服务器的日志。

    是的,你没看错,这个函数调用了 Kubernetes API。您可以通过运行以下命令检查 Kubernetes API 服务器的日志:

    • $ kubectl logs -n kube-system KUBERNETES_API_SERVER_POD_NAME

    我也会考虑检查kube-controller-manager:

    • $ kubectl logs -n kube-system KUBERNETES_CONTROLLER_MANAGER_POD_NAME

    它的示例输出:

    I0413 12:33:12.840270       1 event.go:291] "Event occurred" object="default/nginx-6799fc88d8" kind="ReplicaSet" apiVersion="apps/v1" type="Normal" reason="SuccessfulCreate" message="Created pod: nginx-6799fc88d8-kchp7"
    

    附注!

    假设您的kubernetes-apiserver 和kubernetes-controller-manager Pod 对您可见


    您能否分享一下检查 Kubernetes 方面发生了什么的步骤?

    此问题针对故障排除/日志检查的基础知识。

    为此,您可以使用以下命令(以及前面提到的命令):

    • $ kubectl get RESOURCE RESOURCE_NAME:
      • 示例:$ kubectl get pod airflow-pod-name

    您也可以添加-o yaml了解更多信息

    • $ kubectl describe RESOURCE RESOURCE_NAME:
      • 示例:$ kubectl describe pod airflow-pod-name
    • $ kubectl logs POD_NAME:
      • 示例:$ kubectl logs airflow-pod-name

    其他资源:

    【讨论】:

    • 非常感谢,大卫!这有帮助。
    • 你好,@HarjindersinghMistry,如果答案已经解决了你的问题,请点击复选标记考虑accepting it。这向更广泛的社区表明您已经找到了解决方案。
    猜你喜欢
    • 2021-08-13
    • 1970-01-01
    • 2019-06-20
    • 1970-01-01
    • 1970-01-01
    • 2021-12-14
    • 1970-01-01
    • 1970-01-01
    • 2018-10-09
    相关资源
    最近更新 更多