将大型数据集迁移到 s3

Question

我正在尝试将 2TB（数百万）的图像从本地服务器重命名并迁移到 amazon s3。我编写了 PHP 以使用 aws 库（在同一台本地计算机上运行）发送它们，但我没有它想要完成的 6 个月。寻找一些关于更快地做到这一点的想法。

我有 2 个想法，但不确定它们是否会更好...... 1. 使用一些已安装的 s3 解决方案 (s3fs) 来并行上传（会吗？？？） 2. 将图像拉到一个 ec2 实例上并从那里发送到 s3。我可以使用 ssh/FTP 或 http 来拉取它们。仍然可能需要手动并行它们？？

任何帮助将不胜感激。

Answer 1

另一种可能性是ship Amazon a hard drive 与您的数据。

Answer 2

将超过 10M 的图像列表拆分为子集。将每个子集并行上传到 S3。