将整个二进制文件读入 Python

Question

我需要从 Python 导入一个二进制文件——内容是有符号的 16 位整数，大端。

以下 Stack Overflow 问题建议如何一次提取多个字节，但这是扩大读取整个文件的方法吗？

• Reading some binary file in Python

• Receiving 16-bit integers in Python

我想创建一个类似的函数：

from numpy import *
import os

def readmyfile(filename, bytes=2, endian='>h'):
    totalBytes = os.path.getsize(filename)
    values = empty(totalBytes/bytes)
    with open(filename, 'rb') as f:
        for i in range(len(values)):
            values[i] = struct.unpack(endian, f.read(bytes))[0]
    return values

filecontents = readmyfile('filename')

但这很慢（文件为 165924350 字节）。有没有更好的办法？

Answer 1

使用numpy.fromfile。

Answer 2

我会直接读取直到 EOF（这意味着检查是否接收到空字符串），然后不再需要使用 range() 和 getsize。
或者，使用xrange（而不是range）应该会有所改善，尤其是在内存使用方面。
此外，正如 Falmarri 所建议的，同时读取更多数据会大大提高性能。

也就是说，我不会期待奇迹，因为我不确定列表是存储所有数据量的最有效方式。
使用 NumPy 的数组及其对read/write binary files 的设施怎么样？在这个link 中有一节关于使用 numpyio.fread 读取原始二进制文件。我相信这应该正是您所需要的。

注意：就我个人而言，我从未使用过 NumPy；然而，它的主要存在理由正是处理大量数据 - 这就是您在问题中所做的。

Answer 3

您一次读取和解压 2 ​​个字节

values[i] = struct.unpack(endian,f.read(bytes))[0]

您为什么不一次读取 1024 个字节？

Answer 4

我也遇到过同样的问题，尽管在我的特殊情况下，我不得不转换一个非常奇怪的二进制格式 (500 MB) 文件，其中包含 166 个元素的交错块，这些元素是 3 字节有符号整数；所以我也遇到了从 24 位转换为 32 位有符号整数的问题，这会减慢速度。

我已经使用 NumPy 的 memmap（这只是使用 Python 的 memmap 的一种便捷方式）和 struct.unpack 对大块文件进行了解决。

使用此解决方案，我可以在大约 90 秒内（使用 time.clock() 计时）转换（读取、执行操作和写入磁盘）整个文件。

我可以上传部分代码。

Answer 5

我认为您在这里遇到的瓶颈是双重的。

根据您的操作系统和磁盘控制器，对f.read(2) 和f 是一个大文件的调用通常会被有效缓冲——usually。换句话说，操作系统会将磁盘上的一个或两个扇区（磁盘扇区通常为几 KB）读取到内存中，因为这并不比从该文件中读取 2 个字节贵很多。额外的字节被有效地缓存在内存中，为下一次调用读取该文件做好准备。不要依赖这种行为——这可能是你的瓶颈——但我认为这里还有其他问题。

我更关心将单字节转换为对 numpy 的短而单次调用。这些根本没有缓存。您可以将所有短裤保存在一个 Python 整数列表中，并在需要时（如果需要）将整个列表转换为 numpy。您还可以拨打一个电话 struct.unpack_from 来转换缓冲区中的所有内容，而不是一次转换一个短内容。

考虑：

#!/usr/bin/python

import random
import os
import struct
import numpy
import ctypes

def read_wopper(filename,bytes=2,endian='>h'):
    buf_size=1024*2
    buf=ctypes.create_string_buffer(buf_size)
    new_buf=[]

    with open(filename,'rb') as f:
        while True:
            st=f.read(buf_size)
            l=len(st)
            if l==0: 
                break
            fmt=endian[0]+str(l/bytes)+endian[1]    
            new_buf+=(struct.unpack_from(fmt,st))

    na=numpy.array(new_buf)        
    return na

fn='bigintfile'

def createmyfile(filename):
    bytes=165924350
    endian='>h'
    f=open(filename,"wb")
    count=0

    try: 
        for int in range(0,bytes/2):
            # The first 32,767 values are [0,1,2..0x7FFF] 
            # to allow testing the read values with new_buf[value<0x7FFF]
            value=count if count<0x7FFF else random.randint(-32767,32767)
            count+=1
            f.write(struct.pack(endian,value&0x7FFF))

    except IOError:
        print "file error"

    finally:
        f.close()

if not os.path.exists(fn):
    print "creating file, don't count this..."
    createmyfile(fn)
else:    
    read_wopper(fn)
    print "Done!"

我创建了一个 165,924,350 字节 (158.24 MB) 的随机短裤签名整数文件，相当于 82,962,175 个带符号的 2 字节短裤。使用这个文件，我运行了上面的read_wopper 函数，它运行在：

real        0m15.846s
user        0m12.416s
sys         0m3.426s

如果你不需要短裤是 numpy，这个函数在 6 秒内运行。所有这些都在 OS X、python 2.6.1 64 位、2.93 GHz Core i7、8 GB 内存上。如果将read_wopper 中的buf_size=1024*2 更改为buf_size=2**16，则运行时间为：

real        0m10.810s
user        0m10.156s
sys         0m0.651s

所以我认为你的主要瓶颈是单字节调用解包 - 而不是你从磁盘读取的 2 字节。您可能需要确保您的数据文件没有碎片，如果您使用的是 OS X，您的free disc space（和here）没有碎片。

编辑我发布了完整的代码来创建然后读取整数的二进制文件。在我的 iMac 上，读取随机整数文件的时间始终小于 15 秒。由于一次创作是短暂的，因此创作大约需要 1:23。