【问题标题】:How to upload thousands of images to Amazon S3 at Once如何一次将数千张图片上传到 Amazon S3
【发布时间】:2016-07-06 08:54:30
【问题描述】:

我想将数千张图片从我的 Digital Ocean Droplet 上传到我的 S3 存储桶,我已经创建了一段代码,可以将所有新图像从我的站点上传到存储桶,所以现在工作正常,我只想要将我的所有图像从我的生产液滴移动到存储桶。

我在图像上存储了 52 GB,所以我不知道如何将所有图像移动到存储桶中!最好的方法是什么?

【问题讨论】:

    标签: image amazon-s3 digital-ocean


    【解决方案1】:

    最好的方法是:

    1. 创建要传输的图像的 Zip 文件。
    2. 在 Bucket 所在的同一区域中创建一个 EC2 实例。
    3. 将 Zip 文件复制到 EC2 实例。
    4. 在 EC2 实例中解压缩 Zip 文件。
    5. 使用 aws cli 将图像从 EC2 实例复制到存储桶。

    另一种方法是直接从Droplet中使用aws cli,但是由于文件很多,传输会花费很多时间。

    aws cli 中,您可以使用aws s3 cpaws s3 sync 复制您的图像。

    【讨论】:

    • 我更喜欢使用来自 Droplet 的 aws cli 并在后台运行命令而不是创建新实例,因为将所有图像从 Droplet 复制到实例将花费与从 Droplet 复制到 S3 相同的时间
    • 谢谢!这对我有用,它传输所有文件的速度非常快,我尝试了 s3fs-fuse 但它让我永远传输单个目录,现在我可以很快开始在我的生产站点工作了!
    • @niteshd22,从 Droplet 传输时确实会增加时间,这是因为每个文件的 put 请求的开销,从 EC2 执行时开销仍然存在,但在同一区域中它非常少。但是压缩方式也有它自己的缺点,Zip 文件需要 EC2 实例的磁盘空间大小至少是传输所需数据的两倍。
    猜你喜欢
    • 1970-01-01
    • 2020-11-11
    • 2011-09-21
    • 2017-11-04
    • 2012-08-30
    • 2023-04-07
    • 2014-07-14
    • 2015-08-24
    • 1970-01-01
    相关资源
    最近更新 更多