在 python 中存档数据 CD/DVD 的最佳方法是什么？

Question

我必须从 CD 和 DVD 上归档大量数据，我认为这是一个有趣的问题，人们可能会对此提出有用的意见。这是设置：

• 该脚本将在多个平台上的多个机器上运行，所以我认为 python 将是最好的语言。如果逻辑造成瓶颈，任何其他语言都可以。
• 我们需要归档大约 1000 张 CD 和大约 500 张 DVD，因此速度是一个关键问题
• 数据非常有价值，因此验证会很有用
• 光盘很旧，所以很多光盘很难或无法阅读

现在，我正计划使用 shutil.copytree 将文件转储到目录中，并比较文件树和大小。或许可以加入一个快速哈希，尽管这可能会使事情变得太慢。

所以我的具体问题是：

• 从 CD/DVD 等慢速介质上复制文件的最快方法是什么？ （或者方法是否重要）
• 关于如何处理可能出现故障的光盘的任何建议？您如何检测有问题的光盘？

Answer 1

当您逐个文件读取时，您是在磁盘周围随机搜索，这比连续数据的批量传输要慢得多。而且，由于最快的 CD 驱动器比最慢的硬盘驱动器慢几十倍（这甚至还没有计算在每个坏扇区上进行多次读取以进行纠错所造成的速度损失），因此您希望尽快从 CD 上获取数据尽可能。

当然，将存档文件保存为 .iso 文件或类似文件意味着，如果您以后改进软件，您可以重新扫描文件系统，而无需再次挖掘 CD（这可能在存储）。

同时，尝试恢复损坏的 CD 和损坏的文件系统比您想象的要复杂得多。

所以，这就是我要做的：

将光盘直接块复制到 .iso 文件（无论是在 Python 中，还是使用 dd），并记录所有失败的文件。

散列 .iso 文件，而不是文件系统。如果你真的需要散列文件系统，请记住，在散列之前压缩数据的常见优化（即tar czf - | shasum 而不仅仅是tar cf - | shasum）通常会减慢速度，即使对于易于压缩的数据也是如此 - 但你不妨在几张光盘上进行双向测试。如果您需要您的验证在法律上有用，则可能必须使用在线服务提供的带时间戳的签名，在这种情况下，压缩可能 是值得的。

对于每个成功的 .iso 文件，挂载它并使用基本的文件复制操作（无论是在 Python 中，还是使用标准 Unix 工具），并再次记录所有失败的文件。

获取免费或商业 CD 恢复工具，如 IsoBuster（不是认可，只是搜索中出现的第一个，虽然我以前成功使用过它）并使用它手动恢复所有损坏的光盘。

您可以并行执行大量此类工作 - 当每个块复制完成时，在您块复制下一个驱动器时在后台启动文件系统转储。

最后，如果您要恢复 1500 张光盘，您可能需要购买 DVD 点唱机或自动加载器。我猜新的仍然很贵，但肯定有人以便宜的价格出售旧的。 （通过在线快速搜索，首先出现的是 2500 美元的新品和 240 美元的二手......）

Answer 2

编写自己的备份系统并不好玩。您是否考虑过寻找即用型备份解决方案？有很多很多免费的...

如果您仍然必须自己编写...回答您的具体问题：

• 对于 CD/DVD，您通常首先必须掌握映像（使用像 mkisofs 这样的工具），然后将映像写入介质。有一些工具可以为您包装这两种操作（我相信genisofs），但这通常是流程。

• 要验证备份质量，您必须回读所有写入的文件（通过装入新写入的 CD）并将它们的校验和与原始文件的校验和进行比较。为了进行增量备份，您必须为您保存的每个文件保留校验和存档（包括备份日期等）。