将数据从 GCS 传输到 S3 时出现作曲家错误答案

【问题标题】：composer error while transferring data from GCS to S3将数据从 GCS 传输到 S3 时出现作曲家错误
【发布时间】：2020-07-12 05:49:09
【问题描述】：

我正在尝试在气流中使用 GoogleCloudStorageToS3Operator 将 13 GB 文件从 Google 云存储传输到 S3 存储桶，但我遇到了错误。

“检测为僵尸。”

我尝试运行多次，但每次都出现相同的错误。但是我能够传输 700mb 的文件大小。即使我将文件拆分为 20 个较小的文件，但 7 分钟后我得到了同样的错误。下面是我的代码。

GCS_TO_S3 = GoogleCloudStorageToS3Operator(
    task_id='GCS_TO_S3',
    bucket='******',
    prefix='******',
    delimiter='.csv',
    google_cloud_storage_conn_id='********',
    dest_aws_conn_id='*********',
    dest_s3_key='s3://********',
    replace=True,
    dag=dag,)

如果有任何解决方案，请提供帮助。

【问题讨论】：

您是否针对小于 700 MB 的文件测试了代码？

标签： amazon-web-services amazon-s3 google-cloud-platform airflow

【解决方案1】：

根据您预计此任务需要多长时间，根据测试运行，您可以提升任务的timeout。您可以通过将参数添加到上面的代码中来做到这一点。

这实质上增加了在工作人员认为任务不完整之前不向调度程序返回任何数据的情况下任务所花费的时间。

【讨论】：