在 GKE 气流中通过 KubernetesPodOperator 安装卷问题答案

【问题标题】：Mounting volume issue through KubernetesPodOperator in GKE airflow在 GKE 气流中通过 KubernetesPodOperator 安装卷问题
【发布时间】：2020-03-31 12:07:04
【问题描述】：

我的 DAG 卡在运行状态，并在堆栈驱动程序中显示一条日志消息“有一个未决类型的事件”。我的 DAG 在没有卷挂载的情况下工作正常，但看起来卷挂载存在问题。可以请人帮忙吗？

我正在尝试将“/data/storage”路径挂载到容器中的“/storage”位置。

from airflow import DAG
from airflow.contrib.operators.kubernetes_pod_operator import KubernetesPodOperator
from airflow.contrib.kubernetes.volume import Volume
from airflow.contrib.kubernetes.volume_mount import VolumeMount
from datetime import timedelta
default_args = {
                    'owner': '',
                    'start_date': '2020-03-31 03:40:34',
                    'depend_on_past': False,
                    'email_on_failure': False,
                    'email_on_retry': False,
                    'retries': 0,
                    'retry_delay': timedelta(minutes=5)
                    } 
volume_mount = VolumeMount('test-volume',
                            mount_path='/data/storage',
                            sub_path='storage',
                            read_only=True)
volume_config= {
    'persistentVolumeClaim':
      {
        'claimName': 'test-volume'
      }
    }
volume = Volume(name='test-volume', configs=volume_config)
dag = DAG('dag-name', default_args=default_args, schedule_interval=None, catchup=False, concurrency=1, max_active_runs=1)
task1 = KubernetesPodOperator(
                                    # The ID specified for the task.
                                    task_id='task1',
                                    # Name of task you want to run, used to generate Pod ID.
                                    name='task1',
                                    namespace='default',
                                    env_vars={'var1': 'value1'},
                                    image='someimage',
                                    volumes=[volume],
                                    volume_mounts=[volume_mount],
                                    arguments=['arg.json'],
                                    startup_timeout_seconds=3600,
                                    image_pull_policy='Always',
                                    dag=dag)

【问题讨论】：

标签： google-cloud-platform airflow google-kubernetes-engine directed-acyclic-graphs

【解决方案1】：

你看过这个post吗？首先，您需要创建一个persistent volume，然后使用卷和卷挂载更新您的 DAG。这是full example

【讨论】：

如果需要多个volumeMount怎么办？我试过像volume_mounts=[volume_mount, volume_mount_2] 一样使用单独的pvc/pv，但它仍然给我No such file or directory。有什么建议吗？？

【解决方案2】：

由于您已经定义了mount_path='/data/storage'，我认为没有必要添加sub_path='storage'。我们可以在here 提供的文档字符串以及here 提供的示例中看到它。

【讨论】：