【问题标题】:[Airflow][kubernetes_pod_operator] TypeError: argument of type 'NoneType' is not iterable[Airflow][kubernetes_pod_operator] TypeError:“NoneType”类型的参数不可迭代
【发布时间】:2019-11-25 22:20:49
【问题描述】:

当我尝试运行此任务时,我收到以下错误:

from airflow.contrib.operators.kubernetes_pod_operator import KubernetesPodOperator 
from airflow import DAG
from datetime import datetime, timedelta

default_args = {
    "owner": "airflow",
    "depends_on_past": False,
    "start_date": datetime(2015, 6, 1),
    "email": ["airflow@airflow.com"],
    "email_on_failure": False,
    "email_on_retry": False,
    "retries": 1,
    "retry_delay": timedelta(minutes=5),
}

dag = DAG("kubernetes", default_args=default_args, schedule_interval=None)

k = KubernetesPodOperator(
    namespace='kubernetes',
    image="ubuntu:16.04",
    cmds=["bash", "-cx"],
    arguments=["echo", "10", "echo pwd"],
    labels={"foo": "bar"},
    name="airflow-test-pod",
    is_delete_pod_operator=True,
    in_cluster=True,
    task_id="task-two",
    get_logs=True,
    dag=dag)

错误:

  File "/usr/local/lib/python3.7/site-packages/kubernetes/config/kube_config.py", line 491, in safe_get
    key in self.value):
TypeError: argument of type 'NoneType' is not iterable

我做错了什么?我正在使用 puckel/airflow 和正确的依赖项。 <https://github.com/puckel/docker-airflow> 我需要在airflow.cfg 中编辑一些东西吗?我不知道在哪里搜索这个。

【问题讨论】:

  • 您能否提供minimal reproducible example,包括您用于启动 Docker 容器的任何内容以及完整的 Python 回溯?
  • 您找到解决方案了吗?如果是,那么请将其作为答案发布,或者如果您还没有找到解决方案,请提供一个可重复的最小示例。

标签: docker kubernetes containers etl airflow


【解决方案1】:

看来,你没有设置 config_file 参数,所以 KubernetesPodOperator 回退到它的默认值,它可能也不存在。

我的建议是添加“config_file=/path/to/kube_config.yaml”。 在以下文件中,您还提供您的凭据/令牌。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2011-10-04
    • 1970-01-01
    • 2019-04-15
    • 2012-04-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多