【发布时间】:2022-10-17 18:32:54
【问题描述】:
我正在尝试使用 Airflow 将文件从 GCS 存储桶发送到 S3 存储桶。我遇到了这篇文章https://medium.com/apache-airflow/generic-airflow-transfers-made-easy-5fe8e5e7d2c2,但正在寻找特定的代码实现和示例,这也解释了对此的要求。我是 Airflow 和 GCP 的新手。
【问题讨论】:
我正在尝试使用 Airflow 将文件从 GCS 存储桶发送到 S3 存储桶。我遇到了这篇文章https://medium.com/apache-airflow/generic-airflow-transfers-made-easy-5fe8e5e7d2c2,但正在寻找特定的代码实现和示例,这也解释了对此的要求。我是 Airflow 和 GCP 的新手。
【问题讨论】:
天文学家是一个很好的起点。见doc for GCSToS3Operator。
您可以获得依赖关系、每个变量的解释和示例链接
【讨论】: