我有一个形状为(1000, 12, 30) 的 3d 数组，我有一个形状为(12, 30) 的 2d 数组的列表，我想要做的是检查这些 2d 数组是否存在于 3d 数组中。 Python中有一个简单的方法可以做到这一点吗？我尝试了关键字in，但它不起作用。
【问题讨论】：
标签： python python-3.x pandas numpy
numpy 有一个方法，你可以用np.all 做
a = np.random.rand(3, 1, 2)
b = a[1][0]
np.all(np.all(a == b, 1), 1)
Out[612]: array([False, True, False])
来自 bnaecker 的解决方案
np.all(a == b, axis=(1, 2))
如果只想检查退出与否
np.any(np.all(a == b, axis=(1, 2)))
【讨论】：
np.all(a == b, axis=(1,2))。
b 将沿第一个维度广播（复制）以匹配a。然后axis 的参数np.all 沿最后两个维度减少，留下一个形状为(30,) 和True 在索引i 的布尔数组a[i] == b。
np.allclose() 而不是np.all()。
给定
a = np.arange(12).reshape(3, 2, 2)
lst = [
np.arange(4).reshape(2, 2),
np.arange(4, 8).reshape(2, 2)
]
print(a, *lst, sep='\n{}\n'.format('-' * 20))
[[[ 0 1]
[ 2 3]]
[[ 4 5]
[ 6 7]]
[[ 8 9]
[10 11]]]
--------------------
[[0 1]
[2 3]]
--------------------
[[4 5]
[6 7]]
请注意，lst 是根据 OP 的数组列表。我将在下面创建一个 3d 数组 b。
使用广播。使用广播规则。我希望a 的尺寸为(1, 3, 2, 2) 和b 为(2, 1, 2, 2)。
b = np.array(lst)
x, *y = b.shape
c = np.equal(
a.reshape(1, *a.shape),
np.array(lst).reshape(x, 1, *y)
)
我将使用all 生成一个(2, 3) 真值数组，并使用np.where 找出a 和b 子数组中的哪一个实际上是相等的。
i, j = np.where(c.all((-2, -1)))
这只是验证我们实现了我们所追求的目标。我们应该观察到，对于每对 i 和 j 值，子数组实际上是相同的。
for t in zip(i, j):
print(a[t[0]], b[t[1]], sep='\n\n')
print('------')
[[0 1]
[2 3]]
[[0 1]
[2 3]]
------
[[4 5]
[6 7]]
[[4 5]
[6 7]]
------
in但是，为了完成OP关于使用in的想法
a_ = a.tolist()
list(filter(lambda x: x.tolist() in a_, lst))
[array([[0, 1],
[2, 3]]), array([[4, 5],
[6, 7]])]
【讨论】：
这是一种快速的方法（以前是 used by @DanielF 以及 as @jaime 和其他人，毫无疑问），它使用一种技巧来从短路中受益：view-cast template-sized blocks to dtype void 的单个元素。当比较两个这样的块时，numpy 在第一个差异后停止，产生巨大的速度优势。
>>> def in_(data, template):
... dv = data.reshape(data.shape[0], -1).view(f'V{data.dtype.itemsize*np.prod(data.shape[1:])}').ravel()
... tv = template.ravel().view(f'V{template.dtype.itemsize*template.size}').reshape(())
... return (dv==tv).any()
例子：
>>> a = np.random.randint(0, 100, (1000, 12, 30))
>>> check = a[np.random.randint(0, 1000, (10,))]
>>> check += np.random.random(check.shape) < 0.001
>>>
>>> [in_(a, c) for c in check]
[True, True, True, False, False, True, True, True, True, False]
# compare to other method
>>> (a==check[:, None]).all((-1,-2)).any(-1)
array([ True, True, True, False, False, True, True, True, True,
False])
提供与“直接”numpy 方法相同的结果，但速度快近 20 倍：
>>> from timeit import timeit
>>> kwds = dict(globals=globals(), number=100)
>>>
>>> timeit("(a==check[:, None]).all((-1,-2)).any(-1)", **kwds)
0.4793281531892717
>>> timeit("[in_(a, c) for c in check]", **kwds)
0.026218891143798828