【发布时间】:2013-08-19 10:10:30
【问题描述】:
我遇到了一个我似乎无法理解的内存问题。
我在一台具有 8GB 内存并运行 32 位 python 程序的 Windows 7 64 位机器上。
程序读取 5,118 个压缩的 numpy 文件 (npz)。 Windows 报告文件在磁盘上占用了 1.98 GB
每个 npz 文件包含两条数据: 'arr_0' 的类型为 np.float32 和 'arr_1' 的类型是 np.uint8
python 脚本读取每个文件并将其数据附加到两个列表中,然后关闭文件。
在文件 4284/5118 附近,程序抛出 MemoryException
但是任务管理器说python.exe *32出错时的内存使用量是1,854,848K ~= 1.8GB。远低于我的 8 GB 限制,或者 32 位程序的 4GB 限制。
在程序中我发现内存错误并报告: 每个列表的长度为 4285。 第一个列表总共包含 1,928,588,480 个 float32 的 ~= 229.9 MB 数据。 第二个列表包含 12,342,966,272 个 uint8 的 ~= 1,471.3MB 数据。
所以,一切似乎都在检查。除了我得到内存错误的部分。 我绝对有更多的内存,它崩溃的文件是~800KB,所以它在读取一个大文件时不会失败。
此外,文件没有损坏。如果我不事先用完所有内存,我可以很好地阅读它。
为了让事情变得更加混乱,所有这些似乎在我的 Linux 机器上都可以正常工作(虽然它确实有 16GB 的内存,而在我的 Windows 机器上是 8GB),但它似乎不是机器的导致此问题的 RAM。
当我期望它应该能够分配另外 2GB 的数据时,为什么 Python 会抛出内存错误?
【问题讨论】:
-
您拥有的物理 RAM 数量无关紧要。在 Windows 上,无论您是否愿意,您总是可以进行交换。
-
你能发布你用来加载
.npz文件的代码吗?如果您使用np.load(file, mmap_mode='r+'),它将使用更少的内存,因为使用此参数您将打开一个memory-mapped array... -
问题不在于 python 本身,而在于 numpy 和 scipy,需要 64 位 fortran 编译器。如果我没记错的话,唯一现有的来自英特尔,而且不是免费的。我知道您可以使用WinPyton,所以这是可能的。不过,您必须使用不隶属于 python.org 的网站的非官方二进制文件。
-
@Erotemic:是什么让你觉得 32 位 Python 更稳定?如今,大多数核心开发人员都在 64 位 Unix 机器上。存在许多错误和性能问题,其中一个更改使 32 位变得更糟,几个月来没有人注意到,而在另一个方向上则很少。我可以理解有构建/工具链问题,但如果你真的认为 Python 本身在 64 位上不稳定,那你就大错特错了。
-
@J.Martinot-Lagarde:一年多以前,有两个问题。首先,gfortran 还没有准备好迎接 MinGW64 的黄金时间,但今天不是这样。它现在是完全受支持的平台之一,就像 MinGW32(以及本机 Win32、cygwin 和所有 *nixes)一样。另一部分——Christoph Gohkle 的 Win64 二进制 scipy 包可能有一些不明确的许可,这给任何想要分发使用它们的二进制包的人带来了问题——与许多人无关,尤其是那些不想使用“来自不隶属于 python.org 的网站的非官方二进制文件”。
标签: python windows memory file-io numpy