我有一个形状为 (?,n) 的 numpy 数组，它表示 n 维向量的向量。
我想找到最频繁的行。
到目前为止，最好的方法似乎是遍历所有条目并存储一个计数，但 numpy 或 scipy 没有内置的东西来执行此任务似乎很可笑。
【问题讨论】：
scipy.stats.mode 存在。
Counter(map(tuple, a)).most_common()[0] 在大约一秒钟内处理了 600k 3 向量，但我确信存在更有效的解决方案。
如果你能够使用 Pandas，这里有一种方法，它大量借鉴了 this answer：
import numpy as np
import pandas as pd
# generate sample data
ncol = 5
nrow = 20000
matrix = np.random.randint(0,ncol,ncol*nrow).reshape(nrow,ncol)
df = pd.DataFrame(matrix)
df.head()
0 1 2 3 4
0 3 0 4 4 4
1 4 0 0 2 0
2 3 3 2 0 0
3 0 3 4 3 3
4 1 1 3 3 3
# count duplicated rows
(df.groupby(df.columns.tolist())
.size()
.sort_values(ascending=False))
输出：
0 1 2 3 4
4 2 2 1 1 17
2 2 4 2 3 16
3 2 1 2 2 15
1 2 4 3 15
..
4 1 3 0 1 1
1 2 3 0 4 1
最频繁的行是此输出的顶行。频率计数是最右边的列。
【讨论】：
这是一种使用NumPy views的方法，应该非常有效-
def mode_rows(a):
a = np.ascontiguousarray(a)
void_dt = np.dtype((np.void, a.dtype.itemsize * np.prod(a.shape[1:])))
_,ids, count = np.unique(a.view(void_dt).ravel(), \
return_index=1,return_counts=1)
largest_count_id = ids[count.argmax()]
most_frequent_row = a[largest_count_id]
return most_frequent_row
示例运行 -
In [45]: # Let's have a random arrayb with three rows(2,4,8) and two rows(1,7)
...: # being duplicated. Thus, the most freequent row must be 2 here.
...: a = np.random.randint(0,9,(9,5))
...: a[4] = a[8]
...: a[2] = a[4]
...:
...: a[1] = a[7]
...:
In [46]: a
Out[46]:
array([[8, 8, 7, 0, 7],
[7, 8, 2, 6, 1],
[2, 2, 5, 7, 6],
[6, 5, 8, 8, 5],
[2, 2, 5, 7, 6],
[5, 7, 3, 6, 3],
[2, 8, 7, 2, 0],
[7, 8, 2, 6, 1],
[2, 2, 5, 7, 6]])
In [47]: mode_rows(a)
Out[47]: array([2, 2, 5, 7, 6])
【讨论】：
(m,n) 数组变成了(m,1) 数组。这是通过a.view(void_dt) 完成的。然后，我们使用ravel() 使其成为(m) 数组，它是一个一维数组，然后可以与np.unique 一起使用。
a.view(void_dt).ravel() 替换为a.view(void_dt)[:,0] 也可以。
numpy_indexed 包（dsiclaimer：我是它的作者）具有完全做到这一点的功能，适用于任意数量的维度：
import numpy_indexed as npi
row = npi.mode(arr)
在引擎盖下，它在算法和复杂性方面就像 Divakar 的解决方案，只是多了一些花里胡哨的东西；查看“权重”和“return_indices”kwargs。
【讨论】：