高效搜索矩阵

Question

Y1=scipy.zeros((l,l))
y_test=scipy.zeros((l,l))

for i in range(0,l):
    for j in range(0,l):

        if y_score[i][j]>=0.1:
            Y1[i][j]=1


for i in range(0,l):
    for j in range(0,l):
        if (Y1[i][j]==1) and (v[i][j]==1):
            y_test[i][j]=1

我正在处理大型数据集，我必须搜索矩阵。在最坏的情况下，时间是 O(n^2)。有没有更好更快的方法来使用 numpy 和 scipy 完成上述任务？

输入是 y_score，它是一个 100,000X100,000 的 numpy 数组，其值介于 0 和 1 之间。 v 是一个具有相似维度的稀疏 scipy 矩阵。

Answer 1

您可以简单地创建与比较相对应的掩码，然后将它们转换为浮点数（如果您在该 dtype 中需要它们）以获得所需的输出 -

mask = y_score >= 0.1
Y1 = mask.astype(float)
y_test = (mask & (v==1)).astype(float)

Answer 2

我建议阅读 Numpy 的索引文档： https://docs.scipy.org/doc/numpy/user/basics.indexing.html

Numpy 擅长批量操作。

你的例子可以简单地翻译成：

import scipy

l = 10
Y1 = scipy.zeros((l, l))
y_test = scipy.zeros((l, l))
y_score = scipy.random.rand(l, l)
v = scipy.random.randint(0, 2, (l, l))

Y1[y_score >= 0.1] = 1
y_test[(Y1 == 1) & (v == 1)]