在 Airflow 中将文件上传到 GCS 存储桶

Question

我有一个 Airflow DAG，其中一个变量设置为 GCS 存储桶，如下所示：

bucket = 'customer_accounts'

当我运行我的 Airflow DAG 时，一切正常，一个 CSV 文件被上传到 customer_accounts 存储桶中。

现在，我想在 customer_accounts 存储桶中创建一个文件夹，并将 DAG 中的所有 CSV 文件发送到存储桶中的以下文件夹。

bucket = 'customer_accounts/canada'

但是，当我尝试使用 bucket = 'customer_accounts/canada' 运行我的 DAG 时，我收到一条无效存储桶名称的错误消息。你知道如何解决这个问题吗？

Answer 1

评论中提到，bucket还是'customer_accounts'，Google Cloud Storage没有传统意义上的文件夹的概念，它们是文件名的一部分。您可以在这里了解更多信息https://cloud.google.com/storage/docs/gsutil/addlhelp/HowSubdirectoriesWork。