Numpy 和删除具有相同值的行的最佳方法

Question

我正在努力使用 numpy lib。

我有一个形状的张量（batch_size、timestep、feature）：

例如让我们创建一个虚拟对象：

x = np.arange(42).reshape(2,7,3)
#now make some rows have homogeneous values
x[:,::3,:] =0
x[:,::5,:] =2

现在我需要一种 numpyish 方式（在 tensorflow 中可重复）来删除所有值都相同的行（axis=-2）。所以最后我需要一个张量看起来像这样：

[[[ 3  4  5]
  [ 6  7  8]
  [12 13 14]]

 [[24 25 26]
  [27 28 29]
  [33 34 35]]]

谢谢。 附言这与“删除所有零行”不是同一个问题。因为这里我们讨论的是具有均值的行。这有点棘手。

Answer 1

可能有更聪明的方法，只使用numpy。但是，您可以只遍历第二个维度并进行比较。

not_same= []
for n in range(x.shape[1]): # iterate over the 2nd dimension
    # test if it is homogeneous i.e. first value equal all values
    not_same.append(~np.all(x[:,n,:] ==x[0,n,0]))
out = x[:,not_same,:]

这给了你：

array([[[ 3,  4,  5],
        [ 6,  7,  8],
        [12, 13, 14]],

       [[24, 25, 26],
        [27, 28, 29],
        [33, 34, 35]]])

Answer 2

如果您可以接受丢失一维（以便您的数组保持同质），那么您可以这样做：

x[~np.all(x == x[:, :, 0, np.newaxis], axis=-1)]
# out:
[[ 3  4  5]
 [ 6  7  8]
 [12 13 14]
 [24 25 26]
 [27 28 29]
 [33 34 35]]

出处：@unutbu 的 answer to a similar problem，这里适应了更多维度。

为什么要删除第 3 个维度？想象一下，如果您的条件是您想从第一个数组中选择 2 行，从第二个数组中选择 3 行：那么结果将是异构的，必须将其存储为掩码数组或数组列表。