比较和同步两个（巨大的）目录 - 只考虑文件名

Question

我想在 Linux 中的两个目录之间进行单向同步。一个包含文件，另一个包含 已处理 个文件，但具有相同的目录结构和相同的文件名，但可能缺少某些文件。

现在我在做：

cd $SOURCE
find * -type f | while read fname; do
    if [ ! -e "$TARGET$fname" ]
    then
        # process the file and copy it to the target. Create directories if needed.
    fi
done

这可行，但速度非常慢。 有更好的方法吗？

大约有 50.000.000 个文件，分布在目录和子目录中。每个目录包含的文件/子目录不超过 255 个。

我看过

• rsync: 似乎它总是进行大小或时间戳比较。这将导致每个文件都被标记为不同，因为处理需要一些时间并更改文件内容。

• diff -qr: 无法弄清楚如何让它忽略文件大小和内容

编辑

有效假设：

• 仅根据目录/文件名进行比较
• 我们不关心文件元数据和/或属性（例如，大小、所有者、权限、上次修改的日期/时间等）
• 我们不关心可能驻留在目标目录中但在源目录中没有匹配文件的文件。这只是部分正确，但从源中删除的情况很少见，而且是批量发生的，所以我会为此做一个特殊情况。

Answer 1

假设：

• 仅根据目录/文件名进行比较
• 我们不关心文件元数据和/或属性（例如，大小、所有者、权限、上次修改的日期/时间等）
• 我们不关心可能驻留在目标目录中但在源目录中没有匹配文件的文件

我看不出有什么办法可以比较大约 5000 万个条目的 2 个列表，但我们可以尝试消除 bash 循环解决方案的逐个条目方法...

一个想法：

# obtain sorted list of all $SOURCE files

srcfiles=$(mktemp)
cd "${SOURCE}"
find * -type f | sort > "${srcfiles}"

# obtain sorted list of all $TARGET files

tgtfiles=$(mktemp)
cd "${TARGET}"
find * -type f | sort > "${tgtfiles}"

# 'comm -23' => extract list of items that only exist in the first file - ${srcfiles}

missingfiles=$(mktemp)
comm -23 "${srcfiles}" "${tgtfiles}" > "${missingfiles}"

# process list of ${SOURCE}-only files

while read -r missingfile
do
    process_and_copy "${missingfile}"
done < "${missingsfiles}"

'rm' -rf "${srcfiles}" "${tgtfiles}" "${missingfiles}"

---

此解决方案本质上（仍然）是串行的，因此如果存在“大量”丢失文件，则处理所述丢失文件的总时间可能是可观的。

有了足够的系统资源（cpu、内存、磁盘吞吐量），“更快”的解决方案将着眼于并行化工作的方法，例如：

• 在不同的$SOURCE/$TARGET 子目录上运行并行find/sort/comm/process 线程（如果丢失文件的数量均匀分布在不同的子目录中，可能会很好）或...
• 坚持串行find/sort/comm 但split ${missingfiles} 成块，然后生成单独的操作系统进程到process_and_copy 不同的块