气流 - 如何在传感器中使用宏

Question

我正在尝试在“对象”字段上的 GCS 传感器中使用宏，该字段是根据documentation 模板化的，但它不起作用。 UI 显示以宏为值的“对象”。

dag = DAG('dag-name',
        schedule_interval="@once",
        default_args=default_args)

date = "{{ ds }}"

gcs_sensor = GoogleCloudStorageObjectSensor(
    task_id='sensor-task-id'
    ,bucket='bucket-name'
    ,object='file-name-prefix' + date + '.gz'
    ,google_cloud_conn_id='google-cloud-storage-default'
    ,dag=dag)

dataflow_job_operator = KubernetesJobOperator(
    task_id='task-id'
    ,image='image/path:latest'
    ,command=exec_args
    ,environment=env_variables
    ,dag=dag)

dataflow_job_operator.set_upstream(gcs_sensor)

Object filed result screenshot from airflow UI

我也尝试使用 XCom 使用 pythonOperator 推送日期，但没有成功。

是否可以以这种方式使用宏，或者我应该尝试其他方法吗？ 谢谢。

Answer 1

我相信您的屏幕截图是“任务实例详细信息”选项卡，在这种情况下，实际上可以看到预渲染值file-name-prefix{{ ds }}.gz。

如果你想看到你的模板参数被渲染，那么你需要查看任务下的“渲染模板”选项卡。