使用 mmap 进行 numpy.load 期间的 ACCESS_READ 错误

Question

我正在尝试加载一个相当大的 numpy 数组（约 75k 图像），但由于整个数据集正在加载到内存中，因此我不断收到内存错误。 我想使用 numpy mmap 但我不断收到 ACCESS_READ 错误。 当我尝试使用 this thread 中描述的 mmap 加载 numpy 数组时，我总是收到错误：

Traceback（最近一次调用最后一次）：

文件“mmap.py”，第 29 行，在 training_images = np.load('data_small/training_images.npy', mmap_mode='r', encoding = 'latin1')

文件“/usr/local/lib/python2.7/site-packages/numpy/lib/npyio.py”，第 416 行，加载中 return format.open_memmap(file, mode=mmap_mode)

文件“/usr/local/lib/python2.7/site-packages/numpy/lib/format.py”，第 792 行，在 open_memmap 模式=模式，偏移=偏移）

文件“/usr/local/lib/python2.7/site-packages/numpy/core/memmap.py”，第 205 行，在 new 导入地图

文件“/Users/Bjarnason/Desktop/AVEC/mmap.py”，第 29 行，在 training_images = np.load('data_small/training_images.npy', mmap_mode='r', encoding = 'latin1')

文件“/usr/local/lib/python2.7/site-packages/numpy/lib/npyio.py”，第 416 行，加载中 返回 format.open_memmap(file, mode=mmap_mode) 文件“/usr/local/lib/python2.7/site-packages/numpy/lib/format.py”，第 792 行，在 open_memmap 模式=模式，偏移=偏移）

文件“/usr/local/lib/python2.7/site-packages/numpy/core/memmap.py”，第 257 行，在 new acc = mmap.ACCESS_READ

AttributeError: 'module' 对象没有属性 'ACCESS_READ'

这是我要运行的代码：

将 numpy 导入为 np training_images = np.load('data_small/training_images.npy', mmap_mode='r')

Answer 1

不要调用你的文件mmap.py。这将影响 numpy 使用的 Python mmap 库。

numpy 库中的文件numpy/core/memmap.py 执行import mmap。 mmap 是 Python 标准库的一部分，但您的文件也称为 mmap.py，因此 numpy 执行的导入会找到您的文件。