为什么我不能重塑 numpy 字符串数组和 ctype 数组？

Question

也许有一种我想念的方法。长话短说，我需要一个大型文本文件的共享内存访问，只读。当然，使用字符串是必要的。所以我正在尝试这样做：

import numpy
from multiprocessing import Pool, RawArray

if __name__ == '__main__':
    with open('test.txt', 'r') as fin:
        raw = fin.readlines()
    X_shape = (len(raw), 70) # 70 characters per line should be sufficient for my needs
    X = RawArray('c', X_shape[0] * X_shape[1])
    X_np = np.frombuffer(X).reshape(X_shape)
    numpy.copyto(X_np, raw)

这不起作用，它在倒数第二行失败，输出如下：

ValueError: cannot reshape array of size 102242175 into shape (11684820,70)

作为参考，文件示例的长度为 11684820 行。并且 11684820 * 70 绝对不会是数组声称其大小的字符数。

显然我一定做错了什么，但这是我认为使用文本文件的文本文件输入多处理一些 CPU 绑定计算可行的唯一方法，这些文本文件输入在低端有几百兆字节，在高端大约 6GB结束。

是否有解决方法，或者可能是更正确的方法，以便我可以在共享内存中拥有大量字符串，我可以使用 python 代码处理这些字符串？谢谢。

Answer 1

numpy.frombuffer 需要一个明确的 dtype，否则它将默认为 dtype=float。此外，一个 11684820x70 的 uint8 数组或 1 个字符的字节串与长度为 11684820 的 70 个字符的字节串数组不同，因此请记住这一点。

对于 11684820x70 阵列，您要求的形状，但可能不是您需要的：

X_np = np.frombuffer(X, dtype=np.uint8).reshape(X_shape)

对于长度为 11684820 的 dtype S70 数组（最大长度为 70 的以空字符结尾的字节串，在 NumPy 文档中描述为“不推荐”）：

X_np = np.frombuffer(X, dtype='S70')

对于 dtype U70 的长度为 11684820 的数组（最大长度为 70 的以 null 结尾的 Unicode 字符串），您需要更大的缓冲区（每个字符 4 个字节），然后

X_np = np.frombuffer(X, dtype='U70')