将数百万个文件移动到 S3 的根目录

Question

我有 2000 万个本地文件。每个文件都由一个经过哈希处理的数字 ID 表示。

文件 1 被命名为 356a192b7913b04c54574d18c28d46e6395428ab (sha1 of "1")

文件 2 被命名为 da4b9237bacccdf19c0760cab7aec4a8359010b0（“2”的 sha1）

等等。等等

不是每个数字都代表一个文件，但我有一个所有数字的列表。

文件被放置在以哈希中的前两个字符命名的文件夹中，然后是接下来的两个，然后是接下来的两个。

对于文件 1 (da4b9237bacccdf19c0760cab7aec4a8359010b0)，文件夹结构为

da/4b/92/

在那个文件夹中，文件被放置并且它被命名为完整的哈希，所以文件的完整路径是

da/4b/92/da4b9237bacccdf19c0760cab7aec4a8359010b0

我现在想将所有文件从文件系统移动到 Amazon S3 的存储桶中，并且同时我想将它们移动到该存储桶的根目录。

由于文件太多，如果有一种方法可以记录哪些文件已被移动以及哪些文件可能因某种原因而失败，我需要能够在失败时恢复操作。

p>

我的计划是在 mysql 中创建一个名为 moved_files 的表，然后运行一个 PHP 脚本，该脚本从 files 表中获取 X 个 ID，如果成功，则使用 AWS SDK for PHP 将文件复制到 S3它将该 ID 添加到 moved_files 表中。但是我不确定这是否是最快的方法，也许我应该考虑使用 AWS Cli 编写一个 bash 脚本。

任何建议将不胜感激！

Answer 1

我不使用 AWS S3，但在 Google 上搜索一下建议您需要如下命令：

aws s3 cp test.txt s3://mybucket/test2.txt

因此，如果您想为所有文件运行它，我建议您使用 GNU Parallel 来充分利用您的连接并减少延迟。

请创建一个包含几十个文件的测试目录进行测试，然后cd 到该目录并尝试以下命令：

find . -type f -print0 | parallel -0 --dry-run aws s3 cp {} s3://rootbucket/{/}

样本输出

aws s3 cp ./da/4b/92/da4b9237bacccdf19c0760cab7aec4a8359010b0 s3://rootbucket/da4b9237bacccdf19c0760cab7aec4a8359010b0
aws s3 cp ./da/4b/92/da4b9237bacccdf19c0760cab7aec4a8359010b1 s3://rootbucket/da4b9237bacccdf19c0760cab7aec4a8359010b1

如果您有 8 个 CPU 内核，那么它​​将一次运行 8 个 aws 的并行副本，直到您的所有文件都被复制。

{} 扩展为表示“当前文件”，{/} 扩展为表示“没有目录的当前文件”。也可以添加--bar获取进度条。

如果这看起来很有希望，我们可以为每个更新数据库或删除本地文件的文件添加一个小bash 函数，条件是aws 命令成功。看起来像这样 - 从底部开始阅读 ;-)

#!/bin/bash

# bash function to upload single file
upload() {
   local="$1"                                         # Pick up parameters
   remote="$2"                                        # Pick up parameters
   echo aws s3 cp "$local" "s3://rootbucket/$remote"  # Upload to AWS
   if [ $? -eq 0 ] ; then
      : # Delete locally or update database with success
   else
      : # Log error somewhere
   fi
}

# Export the upload function so processes started by GNU Parallel can find it
export -f upload

# Run GNU Parallel on all files
find . -type f -print0 | parallel -0 upload {} {/}