通过校验和查找丢失的文件

Question

我正在 Linux 系统上的两个文件系统（我们称之为 F1 和 F2）之间进行大量数据迁移，这必然涉及将数据逐字复制到 F2 上的不同结构层次结构中和 更改文件名。

我想编写一个脚本来生成在 F1 中但在 F2 中不是的文件列表，即迁移脚本未将其复制到新层次结构中的文件，这样我就可以回去手动迁移它们。不幸的是，由于不值得讨论的原因，无法修改迁移脚本以列出它不迁移的文件。我的问题与this previously answered one 不同，因为我不能依赖文件名作为比较。

我知道这个过程的基本大纲是：

1. 通过 F1 递归生成所有文件的校验和列表
2. 对 F2 执行相同操作
3. 比较列表并生成校验和的负交集，忽略文件名，以查找 在 F1 中但不在 F2 中的文件。

我有点难以超越那个阶段，所以我很感激任何关于使用哪些工具的指示。我想我需要使用 'comm' 命令来比较文件校验和列表，但是由于 md5sum、sha512sum 等将文件名放在校验和旁边，我看不出有办法让它给我带来有用的比较。也许 awk 是要走的路？

我使用的是 Red Hat Enterprise Linux 5.x。

谢谢。

Answer 1

你可以这样做：

f1# find yourrootdir -type f -exec sha1sum {} >> initial_files \; 
f1# ...copy initial_files to machine f2...
f1# ...start copy...
f2# find yournewrootdir -type f -exec sha1sum {} >> final_files \;
f2# sort initial_files > INITIAL
f2# sort final_files > FINAL
f2# for sha1 in `comm -23 <(cat INITIAL | awk '{print $1}') <(cat FINAL | awk '{print $1}')`; do grep $sha1 INITIAL; done

这将显示“initial_files”中 final_files 中没有 SHA1 的行。

最后一行仅使用 sha1sums 来执行 comm 命令，然后在 initial_files 中 greps 每个缺少的 sha1sum。

Answer 2

在 F1 上：

# find / -type f -exec md5sum {} + > F1

在 F2 上：

# find / -type f -exec md5sum {} + > F2

然后：

# diff F1 F2

您可能想检查find 的更多选项，此行仅查找常规文件。

Answer 3

或许可以看一下FSLint的源码指针：http://code.google.com/p/fslint/source/browse/trunk/fslint/findup