布尔索引过滤后重塑数据答案

【问题标题】：Reshape data after boolean indexes filtering布尔索引过滤后重塑数据
【发布时间】：2021-03-31 17:48:55
【问题描述】：

我有一个名为DATA 的数据集，它从N=173 各个形状(4, 4, 64) 的文件中重新组合了几个3D 表，因此最后名为DATA 的numpy 数组具有(173, 4, 4, 64) 的形状。在每个单独的文件中，我都有一个布尔列，用于指定数据的好坏。为了过滤我的数据，我使用布尔条件：

cond = DATA[:,3,:,:]==False  
DATA_filtered = DATA[:,1,:,:][cond]

具有以下形状：

np.shape(DATA)
Out[854]: (173, 4, 4, 64)

np.shape(cond)
Out[855]: (173, 4, 64)

但是由于我在最后使用了这种技术，所以我有一个一维数组，并且初始数据集的所有结构都丢失了。一种技术是使用用于numpy.array 的reshape 函数，但这种技术只有在最后尺寸保持不变时才有效。在布尔条件导致可变大小的表格的情况下，我们不再可以预测并要求重塑。那么有没有办法过滤数据，但保持数据的全局形状，其大小可能会因数据中使用的标志而异？

这是一个最小的例子：

TEST = np.ones((173,4,4,64))
FLAG = np.random.choice(a=[False, True], size=(173,4,64))

cond = FLAG==False

data = TEST[:,0,:,:][cond]

输出：

np.shape(data)
Out[868]: (22167,)

预期输出：

np.shape(data)
Out[868]: (173,4,)

以 data[:,1,:] 为例，在 174 表中的不等于数组大小介于 0 和 64 之间的子集取决于已标记或未标记的数据过滤。

提前谢谢你

【问题讨论】：

在 nD 张量上，您可以消除整个 n-1 D 切片，但不能消除各处的随机部分。例如，在 2D 中，您可以消除整列或整行，但不能消除孤立的元素。在 3D 中，您可以消除整个平面（xy、yz 或 zx），但不能消除孤立的 1D 列。你想做的那种切片会创建参差不齐的数组（“在你的 4D 张量中打洞”），因此是不可行的。但是，根据当前的答案，numpy 正是针对这种情况的“屏蔽数组”。

标签： python arrays python-3.x dataframe numpy-ndarray

【解决方案1】：

Masked Array 是您的解决方案

在许多情况下，数据集可能不完整或因存在无效数据而受到污染。例如，传感器可能无法记录数据，或记录无效值。 numpy.ma 模块通过引入掩码数组提供了解决此问题的便捷方法。

掩码数组是标准 numpy.ndarray 和掩码的组合

import numpy as np
import numpy.ma as ma

x = np.array([1, 2, 3, -1, 5])
mx = ma.masked_array(x, mask=[0, 0, 0, 1, 0])
mx.mean() # without taking the invalid data into account

输出

2.75

以上所有内容均来自Masked array 所以你不妨在那里阅读它

【讨论】：