如何使用 Airflow 在 DataProcPigOperator 中设置区域和区域（谷歌云平台）答案

【问题标题】：How to set region and zone (Google Cloud Platform) in DataProcPigOperator with Airflow如何使用 Airflow 在 DataProcPigOperator 中设置区域和区域（谷歌云平台）
【发布时间】：2017-10-24 06:30:06
【问题描述】：

我有问题。我将在运行良好之前创建代码 DataProcPigOperator，因为默认区域正在全局运行，但是我在 asia-easth1 代码未运行的集群中更改定义区域，因为 DataProcPigOperator 是运行全局区域的默认作业。任何解决方案..？？

t1 = DataProcPigOperator(
        task_id='abc',
        dataproc_cluster='abc-cluster-{{ ds_nodash }}',
        gcp_conn_id='abc_gcp_connection',
        query_uri='gs://abc/abc-ng/abc.pig',
        variables={'INPUT': 'gs://abc/abc-ng/summary/*', 'OUTPUT': 'gs://abc/abc-ng/output/'},
        dag=dag
    )

如何在DataProcPigOperator中设置Region和Zone..？？

谢谢。

【问题讨论】：

我没有将它用于 DataProcPigOperator 贡献，但与其他 GCP 操作员相比，它似乎缺少该区域：github.com/apache/incubator-airflow/blob/master/airflow/contrib/…，可以为其创建票证。
好的，谢谢@Chengzhi

标签： google-cloud-platform apache-pig airflow google-cloud-dataproc apache-airflow

【解决方案1】：

感谢您提出这个问题，区域字段已添加到 Pig 和其他一些被此拉取请求省略的作业类型：

https://github.com/apache/incubator-airflow/pull/2788

【讨论】：