Python：如何最好地更快地发现常见索引？

Question

我想出了以下方法来查找所有公共索引，其中值在两个相等长度的向量中存在。我喜欢它的可读性，但我需要它更快...

missingA = np.argwhere(np.isnan(vectorA)==True);
missingA = [missingA[ma][0] for ma in range(len(missingA))];

missingB = np.argwhere(np.isnan(vectorB)==True);
missingB = [missingB[mb][0] for mb in range(len(missingB))];

allmissidxs = set(missingA).union(set(missingB)); 
idxs = [idx for idx in range(len(vectorA))   if idx not in allmissidxs];

它绝对有效，但我需要在其上使用它的向量每个元素从 100 万到 300 万不等……并且可能需要运行多次。我使用“...如果 idx 不在 allmissidxs 中”而不是说“...如果 idx 在 allpresidxs 中”，因为缺失值肯定是要扫描的小得多的子集。另外，我敢肯定，考虑到 np.argwhere() 自然返回的结构，必须重新配置 missingA 和 missingB 也无济于事，但这真的是瓶颈吗？

任何帮助将不胜感激！谢谢

Answer 1

假设源向量与其他解决方案中的相同：

vectorA = np.array([np.nan, 1., 2., 3.,     np.nan, 5.,     np.nan, 7.,
    8., np.nan])
vectorB = np.array([0.,     1., 2., np.nan, 4.,     np.nan, 6.,     np.nan,
    8., np.nan])

您可以使用 Pandasonic Index 及其 intersection 方法来完成您的任务。 甚至可以写成以下单行：

result = pd.Index(vectorA).intersection(vectorB)

结果是：

Float64Index([1.0, 2.0, 8.0], dtype='float64')

如果您希望将结果作为 Numpy 向量，请将.values 附加到上述代码中 结果将是：

array([1., 2., 8.])

这种方法的优点是可以避免任何列表推导， 所以这段代码应该比你的运行得快得多。 在更大的数据样本上自行检查。