S3 存储桶之间的批量复制

【问题标题】：batch copy between S3 bucketsS3 存储桶之间的批量复制
【发布时间】：2018-01-06 16:45:52
【问题描述】：

我想将文件列表从一个 S3 存储桶复制到另一个。

遍历文件并使用 boto3 "bucket.copy" (link) 函数非常慢。

有没有办法执行批量复制或加快速度？

【问题讨论】：

你是什么意思“bucket.copy”很慢？可以出示复制码吗？通常，您应该使用系统范围的副本，例如s3transfer 文件复制，而不是读取内容并传输它。
@mootmoot，我的意思是boto3.readthedocs.io/en/latest/reference/services/…
请查看异步复制，python asyncio。
我会调查的。还发现了这个：github.com/aio-libs/aiobotocore

标签： python amazon-s3 copy boto3

【解决方案1】：

AWS Command-Line Interface (CLI) 有一个aws s3 sync 选项，可以递归地将新文件和更新文件从源目录复制到目标。

见：Sync documentation

使用python递归复制，参考：Boto3 to download all files from a S3 Bucket

【讨论】：

我建议反对下载文件。您可以告诉 Amazon S3 执行桶到桶的复制，这要快得多。

猜你喜欢

2016-11-05
2019-11-07
2021-07-03
1970-01-01
1970-01-01
2017-11-23
1970-01-01
2021-07-17
2018-06-18

相关资源

下载 2022-12-25
下载 2021-06-24
下载 2022-12-02
下载 2022-12-06

最近更新更多

热门标签

Java Python linux javascript Mysql C# Docker 算法前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库数据结构大数据 js 机器学习微服务 Android Go 程序员面试 JVM ASP.net core 云原生人工智能后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习多线程 React 架构 devops 爬虫云计算 Spring Boot LeetCode