如何将大部分原始文件系统复制到文件中？

Question

我正在使用一个神秘的数据收集文件系统。它有一个块描述文件及其在磁盘上的确切偏移量，所以我知道每个文件的起始字节、结束字节和字节长度。目标是从物理磁盘中获取一个文件。它们是大文件，因此性能至关重要。

以下是“有效”的方法，但效率非常低：

import shutil, io
def start_copy(startpos, endpos, filename="C:\\out.bin"):
    with open(r"\\.\PhysicalDrive1", 'rb') as src_f:
        src_f.seek(startpos)
        flength = endpos - startpos
        print("Starting copy of "+filename+" ("+str(flength)+"B)")
        with open(filename, 'wb') as dst_f:
            shutil.copyfileobj( io.BytesIO(src_f.read(flength)), dst_f )
        print("Finished copy of "+filename)

这很慢：io.BytesIO(src_f.read(flength)) 在技术上有效，但它会在写入目标文件之前将整个文件读入内存。因此，它需要的时间比应有的要长得多。

直接使用dst_f 复制将不起作用。 （我假设）不能指定结束位置，所以复制不会停止。

这里有一些问题，每个问题都可以解决这个问题：

• 是否有接受开始/结束字节参数的复制库（或适用于 Windows 7 的外部实用程序，可与 subprocess 一起使用）？
• 是否可以创建copyfileobj 可以使用的类文件对象，该对象仅引用另一个类文件对象的一部分？
• 当io 对象搜索超过某个端点时是否会引发异常？
• 是否可以强制 copyfileobj 在驱动器的给定字节偏移处自然停止（一种“假 EOF”）？

Answer 1

执行此操作的明显方法是将write 写入文件。

copyfileobj 的全部意义在于它为您缓冲数据。如果您必须将整个文件读入BytesIO，那么您只是在缓冲BytesIO，这是没有意义的。

所以，只需在 read 周围循环一个大小合适的缓冲区，从 src_f 和 write 到 dst_f，直到达到 flength 字节。

如果您查看the shutil source（从the shutil docs 链接），copyfileobj 内部没有魔法；这是一个微不足道的功能。从 3.6 开始（我认为自从在 2.1 左右添加 shutil 以来它完全没有改变......），它看起来像这样：

def copyfileobj(fsrc, fdst, length=16*1024):
    """copy data from file-like object fsrc to file-like object fdst"""
    while 1:
        buf = fsrc.read(length)
        if not buf:
            break
        fdst.write(buf)

您可以做同样的事情，只需跟踪读取的字节并停止在flength：

def copypartialfileobj(fsrc, fdst, size, length=16*1024):
    """copy size bytes from file-like object fsrc to file-like object fdst"""
    written = 0
    while written < size:
        buf = fsrc.read(min(length, size - written))
        if not buf:
            break
        fdst.write(buf)
        written += len(buf)