Airflow - GCP Operator：GoogleCloudStorageToBigQueryOperator - 需要 15 分钟才能完成

Question

我正在使用 GoogleCloudStorageToBigQueryOperator 在 GCS 中使用 csv 文件在 BigQuery 中创建一个小表。我在本地机器上的 VirtualBox 中有气流。每次，这个简单的操作都需要 15 分钟才能完成。我尝试从 Local 更改为 Celery Executor，但仍然需要 15 分钟。有什么建议可以提高性能吗？

非常感谢，

斯里兰卡

Answer 1

我在 GCP 上创建了一个 VM，并在其上安装了气流。将 DAG 移到它上面，数据在几秒钟内就被加载了。