在 Python 中有效地查找大于阈值的第一个样本（和 MATLAB 比较）

Question

我不想找到列表或数组中大于特定threshold 的所有样本/数据点，我只想找到signal 大于threshold 的第一个样本。信号可能会多次跨越阈值。例如，如果我有一个示例信号：

signal = [1, 2, 3, 4, 4, 3, 2, 1, 0, 3, 2, 1, 0, 0, 1, 1, 4, 8, 7, 6, 5, 0]

还有一个threshold = 2，然后

signal = numpy.array(signal)
is_bigger_than_threshold = signal > threshold

会给我signal 中大于threshold 的所有值。 但是，每当信号变得大于阈值时，我只想获得第一个样本。因此，我正在浏览整个列表并进行布尔比较，例如

first_bigger_than_threshold = list()
first_bigger_than_threshold.append(False)
for i in xrange(1, len(is_bigger_than_threshold)):
    if(is_bigger_than_threshold[i] == False):
        val = False
    elif(is_bigger_than_threshold[i]):
        if(is_bigger_than_threshold[i - 1] == False):
            val = True
        elif(is_bigger_than_threshold[i - 1] == True):
            val = False
    first_bigger_than_threshold.append(val)

这给了我想要的结果，即

[False, False, True, False, False, False, False, False, False, True, False, False, False,   
False, False, False, True, False, False, False, False, False]

在 MATLAB 中我也会这样做

for i = 2 : numel(is_bigger_than_threshold)
    if(is_bigger_than_threshold(i) == 0)
        val = 0;
    elseif(is_bigger_than_threshold(i))
        if(is_bigger_than_threshold(i - 1) == 0)
            val = 1;
        elseif(is_bigger_than_threshold(i - 1) == 1)
            val = 0;
        end
    end
    first_bigger_than_threshold(i) = val;
end % for

是否有更有效（更快）的方法来执行此计算？

如果我在 Python 中生成数据，例如

signal = [round(random.random() * 10) for i in xrange(0, 1000000)]

然后计时，计算这些值需要4.45 秒。如果我在 MATLAB 中生成数据

signal = round(rand(1, 1000000) * 10);

并执行程序只需0.92 秒。

为什么 MATLAB 执行这项任务的速度几乎是 Python 的 5 倍？

提前感谢您的 cmets！

Answer 1

其他答案给你第一个 True 的位置，如果你想要一个标记第一个 True 的 bool 数组，你可以做得更快：

import numpy as np

signal = np.random.rand(1000000)
th = signal > 0.5
th[1:][th[:-1] & th[1:]] = False

Answer 2

基于加快速度的最佳方法是选择最佳算法这一概念，您可以使用简单的边缘检测器巧妙地做到这一点：

import numpy

signal = numpy.array([1, 2, 3, 4, 4, 3, 2, 1, 0, 3, 2, 1, 0, 0, 1, 1, 4, 8, 7, 6, 5, 0])

thresholded_data = signal > threshold
threshold_edges = numpy.convolve([1, -1], thresholded_data, mode='same')

thresholded_edge_indices = numpy.where(threshold_edges==1)[0]

print(thresholded_edge_indices)

打印[2 9 16]，索引对应于大于阈值的序列中的第一个条目。这将使 Matlab 和 Python（使用 Numpy）中的事情变得更快——在我的机器上大约需要 12 毫秒才能完成需要 4.5 秒的工作。

编辑：正如@eickenberg 所指出的，卷积可以用numpy.diff(thresholded_data) 代替，这在概念上有点简单，但在这种情况下，索引将减1，所以记得把它们加回去，并且还将thresholded_data 转换为带有thresholded_data.astype(int) 的整数数组。两种方法之间没有明显的速度差异。

Answer 3

This post 解释了为什么您的代码比 Matlab 慢。

试试这个代码

import numpy as np

threshold = 2
signal = np.array([1, 2, 3, 4, 4, 3, 2, 1, 0, 3, 2, 1, 0, 0, 1, 1, 4, 8, 7, 6, 5, 0])

indices_bigger_than_threshold = np.where(signal > threshold)[0] # get item
print indices_bigger_than_threshold
# [ 2  3  4  5  9 16 17 18 19 20]
non_consecutive = np.where(np.diff(indices_bigger_than_threshold) != 1)[0]+1 # +1 for selecting the next
print non_consecutive
# [4 5]
first_bigger_than_threshold1 = np.zeros_like(signal, dtype=np.bool)
first_bigger_than_threshold1[indices_bigger_than_threshold[0]] = True # retain the first
first_bigger_than_threshold1[indices_bigger_than_threshold[non_consecutive]] = True

np.where 返回匹配条件的索引。

策略是获取高于threshold的索引并删除连续的。

顺便说一句，欢迎来到 Python/Numpy 世界。