【发布时间】:2021-04-13 10:13:43
【问题描述】:
我们正在使用 Airflow 在 Kubernetes 上安排 Spark 作业。最近遇到一个场景:
- airflow 收到错误 404 并显示消息“pods pod-name not found”
- 我手动检查了当时 POD 是否工作正常。事实上,我可以使用 kubectl logs -f -n namespace podname 收集日志
因此发生的事情是气流创建了另一个 POD 来运行相同的作业,这导致了竞争条件。
Airflow 正在使用 Kubernetes Python 客户端的 read_namespaced_pod API()
def read_pod(self, pod):
"""Read POD information"""
try:
return self._client.read_namespaced_pod(pod.metadata.name, pod.metadata.namespace)
except BaseHTTPError as e:
raise AirflowException(
'There was an error reading the kubernetes API: {}'.format(e)
)
我相信 read_namespaced_pod() 调用 Kubernetes API。为了进一步调查,我想查看 Kubernetes API 服务器的日志。
您能否分享一下检查 Kubernetes 方面发生了什么的步骤?
注意:Kubernetes 版本是 1.18,Airflow 版本是 1.10.10。
【问题讨论】:
标签: kubernetes airflow