将非唯一的、未排序的数组与唯一的、排序的数组中的索引匹配

Question

我有一个排序的、唯一的 numpy 字符数组：

import numpy as np
vocab = np.asarray(['a', 'aaa', 'b', 'c', 'd', 'e', 'f']) 

我还有另一个未排序的数组（实际上我有数百万个）：

sentence = np.asarray(['b', 'aaa', 'b', 'aaa', 'b', 'z']) 

第二个数组比第一个数组小得多，并且还可能包含原始数组中没有的值。

我想要做的是将第二个数组中的值与其对应的索引相匹配，返回nan 或一些特殊值用于不匹配。

例如：

sentence_idx = np.asarray([2, 1, 2, 1, 2, np.nan]) 

我用 np.in1d 尝试了几个不同的匹配函数迭代，但它似乎总是在包含重复单词的句子上分解。

我也尝试了几种不同的列表理解，但它们太慢了，无法在我的数百万个句子的集合中运行。

那么，在 numpy 中完成此任务的最佳方法是什么？在 R 中，我会使用 match 函数，但似乎没有 numpy 等效项。

Answer 1

您可以使用漂亮的工具进行此类搜索 np.searchsorted，就像这样 -

# Store matching indices of 'sentence' in 'vocab' when "left-searched"
out = np.searchsorted(vocab,sentence,'left').astype(float)

# Get matching indices of 'sentence' in 'vocab' when "right-searched".
# Now, the trick is that non-matches won't have any change between left 
# and right searches. So, compare these two searches and look for the 
# unchanged ones, which are the invalid ones and set them as NaNs.
right_idx = np.searchsorted(vocab,sentence,'right')
out[out == right_idx] = np.nan

示例运行 -

In [17]: vocab = np.asarray(['a', 'aaa', 'b', 'c', 'd', 'e', 'f']) 
    ...: sentence = np.asarray(['b', 'aaa', 'b', 'aaa', 'b', 'z'])
    ...: 

In [18]: out = np.searchsorted(vocab,sentence,'left').astype(float)
    ...: right_idx = np.searchsorted(vocab,sentence,'right')
    ...: out[out == right_idx] = np.nan
    ...: 

In [19]: out
Out[19]: array([  2.,   1.,   2.,   1.,   2.,  nan])