【问题标题】:XComs Not visible in Xcom Section in composer-1.17.1-airflow-2.1.2XComs 在 composer-1.17.1-airflow-2.1.2 的 Xcom 部分中不可见
【发布时间】:2021-12-06 10:05:50
【问题描述】:

我在我的气流 DAG 中创建了一个任务,它返回一些值,并且该值应该在气流的 xcom 部分中可见,但不是。 我已设置 do_xcom_push = True 但它仍然不会显示。 在此之前我使用的是 Airflow 2.0.0,并且用于将返回值推送到 xcom 的任务相同,但在 Airflow 2.1.2 中它没有发生。 我不明白我错过了什么。 这是一个气流任务的sn-p:

task = python_operator.PythonOperator(task_id="invoke_cf",python_callable=invoke_cloud_function,do_xcom_push=True)

【问题讨论】:

  • 分享invoke_cloud_function的代码

标签: airflow google-cloud-composer


【解决方案1】:

PythonOperator 默认情况下将 python 可调用的返回值推送到 Xcom。无需指定do_xcom_push=True - 这是BaseOperator 的默认值(参见source code

如果没有向 Xcom 推送任何内容,则意味着函数 invoke_cloud_function 不会返回任何内容。

【讨论】:

  • 明白了,我使用 python 函数在 gcp 中调用云函数并且 CF 返回了一个值,我认为这就足够了。感谢您的时间@Elad
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2016-12-12
  • 1970-01-01
  • 1970-01-01
  • 2018-03-14
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多