numpy.unpackbits 的懒惰版本

Question

我使用 numpy.memmap 仅将数组的部分加载到我需要的内存中，而不是加载整个巨大的数组。我想对 bool 数组做同样的事情。

不幸的是，bool memmap 数组的存储并不经济：根据ls，bool memmap 文件需要与同一数组的uint8 memmap 文件一样多的空间形状。

所以我使用 numpy.unpackbits 来节省空间。不幸的是，它似乎并不懒惰：它很慢并且可能导致MemoryError，因此显然它将数组从磁盘加载到内存中，而不是在uint8 数组上提供“bool 视图” .

因此，如果我只想从文件中加载 bool 数组的某些条目，我首先必须计算它们属于哪些 uint8 条目，然后将 numpy.unpackbits 应用于该条目，然后再次对其进行索引.

难道没有一种偷懒的方法可以在位压缩的 memmap 文件上获得“bool 视图”吗？

Answer 1

不可能。位压缩数组的内存布局与您要查找的内容不兼容。数组布局的 NumPy shape-and-strides 模型没有子字节分辨率。即使您要创建一个模拟您想要的视图的类，尝试将它与正常的 NumPy 操作一起使用也需要物化 NumPy 可以使用的表示，此时您将不得不花费您不想要的内存花费。