np.loadtxt 和 iter_loadtxt 中的 Python MemoryError 或 ValueError

Question

我的出发点是 NumPy 的函数 loadtxt 有问题：

X = np.loadtxt(filename, delimiter=",")

在np.loadtxt(..) 中给出了MemoryError。我用谷歌搜索并来到this question on StackOverflow。这给出了以下解决方案：

def iter_loadtxt(filename, delimiter=',', skiprows=0, dtype=float):
    def iter_func():
        with open(filename, 'r') as infile:
            for _ in range(skiprows):
                next(infile)
            for line in infile:
                line = line.rstrip().split(delimiter)
                for item in line:
                    yield dtype(item)
        iter_loadtxt.rowlength = len(line)

    data = np.fromiter(iter_func(), dtype=dtype)
    data = data.reshape((-1, iter_loadtxt.rowlength))
    return data

data = iter_loadtxt('your_file.ext')

所以我尝试了，但随后遇到以下错误消息：

> data = data.reshape((-1, iter_loadtext.rowlength))
> ValueError: total size of new array must be unchanged

然后我尝试将行数和最大列数添加到代码中，代码片段在这里，我部分得到了from another question，部分是我自己写的：

num_rows = 0
max_cols = 0
with open(filename, 'r') as infile:
    for line in infile:
        num_rows += 1
        tmp = line.split(",")
        if len(tmp) > max_cols:
            max_cols = len(tmp)

def iter_func():
    #didn't change

data = np.fromiter(iter_func(), dtype=dtype, count=num_rows)
data = data.reshape((num_rows, max_cols))

但这仍然给出了相同的错误消息，尽管我认为它应该已经解决了。另一方面，我不确定我是否以正确的方式调用data.reshape(..)。

我评论了调用date.reshape(..) 以查看发生了什么的规则。这给出了这个错误信息：

> ValueError: need more than 1 value to unpack

这发生在使用X 完成某些操作的第一点，即问题所在的变量。

我知道这段代码可以处理我得到的输入文件，因为我看到它与它们一起使用。但我找不到为什么我不能解决这个问题。我的推理是这样的，因为我使用的是 32 位 Python 版本（在 64 位 Windows 机器上），内存出现问题而在其他计算机上不会发生。但我不确定。有关信息：我有 8GB 的​​ RAM 用于 1.2GB 的文件，但根据任务管理器，我的 RAM 未满。

我想要解决的是，我正在使用需要读取和解析给定文件的开源代码，就像np.loadtxt(filename, delimiter=",") 一样，但是在我的记忆中。我知道代码最初在 MacOsx 和 Linux 中工作，更准确地说：“MacOsx 10.9.2 and Linux (version 2.6.18-194.26.1.el5 (brewbuilder@norob.fnal.gov) (gcc version 4.1.2 20080704 (Red Hat 4.1.2-48)) 1 SMP Tue Nov 9 12:46:16 EST 2010)。"

我不太在乎时间。我的文件包含 +-200.000 行，其中每行有 100 或 1000 个（取决于输入文件：一个始终为 100，一个始终为 1000）项，其中一项是浮点数，其中 3 位小数是否被否定，并且它们由, 和一个空格分隔。 F.e.：[..] 0.194, -0.007, 0.004, 0.243, [..]，以及 100 或 100 个您看到 4 的项目，对于 +-200.000 行。

我使用的是 Python 2.7，因为开源代码需要它。

你们中的任何人都有解决方案吗？提前致谢。

Answer 1

在 Windows 上，32 位进程最多只能获得 2GB（或 GiB？）内存，而 numpy.loadtxt 因占用大量内存而臭名昭著，这就解释了为什么第一种方法不起作用。

您似乎面临的第二个问题是您正在测试的特定文件缺少数据，即并非所有行都具有相同数量的值。这很容易检查，例如：

import numpy as np

numbers_per_line = []
with open(filename) as infile:
    for line in infile:
        numbers_per_line.append(line.count(delimiter) + 1)

# Check where there might be problems
numbers_per_line = np.array(numbers_per_line)
expected_number = 100
print np.where(numbers_per_line != expected_number)