在数组数组中查找数组索引的快速方法

Question

假设我有一个长度为 4 的 numpy 数组：

In [41]: arr
Out[41]:
array([[  1,  15,   0,   0],
       [ 30,  10,   0,   0],
       [ 30,  20,   0,   0],
       ...,
       [104, 139, 146,  75],
       [  9,  11, 146,  74],
       [  9, 138, 146,  75]], dtype=uint8)

我想知道：

1. arr 包含[1, 2, 3, 4] 是真的吗？
2. 如果是真的，[1, 2, 3, 4] 在arr 中的索引是多少？

我想尽快找到它。

假设 arr 包含 8550420 个元素。我用timeit检查了几种方法：

1. 仅用于检查而不获取索引：any(all([1, 2, 3, 4] == elt) for elt in arr)。在我的机器上运行 10 次平均需要 15.5 秒

2. 基于for的解决方案：

   for i,e in enumerate(arr): if list(e) == [1, 2, 3, 4]: break

   平均耗时约 5.7 秒

是否存在一些更快的解决方案，例如基于 numpy 的解决方案？

Answer 1

这是Jaime's idea，我就是喜欢它：

import numpy as np

def asvoid(arr):
    """View the array as dtype np.void (bytes)
    This collapses ND-arrays to 1D-arrays, so you can perform 1D operations on them.
    https://stackoverflow.com/a/16216866/190597 (Jaime)"""    
    arr = np.ascontiguousarray(arr)
    return arr.view(np.dtype((np.void, arr.dtype.itemsize * arr.shape[-1])))

def find_index(arr, x):
    arr_as1d = asvoid(arr)
    x = asvoid(x)
    return np.nonzero(arr_as1d == x)[0]


arr = np.array([[  1,  15,   0,   0],
                [ 30,  10,   0,   0],
                [ 30,  20,   0,   0],
                [1, 2, 3, 4],
                [104, 139, 146,  75],
                [  9,  11, 146,  74],
                [  9, 138, 146,  75]], dtype='uint8')

arr = np.tile(arr,(1221488,1))
x = np.array([1,2,3,4], dtype='uint8')

print(find_index(arr, x))

产量

[      3      10      17 ..., 8550398 8550405 8550412]

---

这个想法是将数组的每个行视为一个字符串。例如，

In [15]: x
Out[15]: 
array([^A^B^C^D], 
      dtype='|V4')

字符串看起来像垃圾，但实际上它们只是每一行中的底层数据，被视为字节。然后，您可以比较 arr_as1d == x 以找出哪些 rows 等于 x。

---

There is another way 去做：

def find_index2(arr, x):
    return np.where((arr == x).all(axis=1))[0]

但事实证明并没有那么快：

In [34]: %timeit find_index(arr, x)
1 loops, best of 3: 209 ms per loop

In [35]: %timeit find_index2(arr, x)
1 loops, best of 3: 370 ms per loop

Answer 2

如果您多次执行搜索并且不介意使用额外的内存，则可以从数组创建集合（我在这里使用列表，但代码几乎相同）：

>>> elem = [1, 2, 3, 4]    
>>> elements = [[  1,  15,   0,   0], [ 30,  10,   0,   0], [1, 2, 3, 4]]
>>> index = set([tuple(x) for x in elements])
>>> True if tuple(elem) in index else False
True