使用气流在 s3 *fast* 中的存储桶内移动文件

Question

我有一个自定义气流操作符，它只是在同一个存储桶中复制 s3 文件列表

    for src, list in move_list:
        s3_hook.copy_object(
            source_bucket_key=src,
            dest_bucket_key=dest,
            source_bucket_name=self.bucket_name,
            dest_bucket_name=self.bucket_name
        )

这非常慢......大约 800 个文件大约需要 8 分钟。与我运行 aws s3 cp {src} {dest} --recursive 之类的东西相比，它的速度很快。

以前有人经历过吗？有没有办法加快速度，或者有什么方法可以只使用 cli？

Answer 1

您可以使用 BashOperator 或 PythonOperator 来执行 CLI 命令。我认为它与 Airflow 无关，而是与 AWS python 库 boto3 相关