确定一个序列是否在另一个序列中的最佳方法？

Question

这是将“字符串包含子字符串”问题推广到（更多）任意类型。

给定一个序列（例如列表或元组），确定另一个序列是否在其中的最佳方法是什么？作为奖励，它应该返回子序列开始的元素的索引：

示例用法（Sequence in Sequence）：

>>> seq_in_seq([5,6],  [4,'a',3,5,6])
3
>>> seq_in_seq([5,7],  [4,'a',3,5,6])
-1 # or None, or whatever

到目前为止，我只是依靠蛮力，它看起来缓慢、丑陋和笨拙。

Answer 1

我支持 Knuth-Morris-Pratt 算法。顺便说一句，您的问题（和 KMP 解决方案）正是 Python Cookbook 第 2 版中的配方 5.13。相关代码http://code.activestate.com/recipes/117214/

它在给定序列中找到所有正确的子序列，并且应该用作迭代器：

>>> for s in KnuthMorrisPratt([4,'a',3,5,6], [5,6]): print s
3
>>> for s in KnuthMorrisPratt([4,'a',3,5,6], [5,7]): print s
(nothing)

Answer 2

这是一种蛮力方法O(n*m)（类似于@mcella's answer）。对于 small 输入序列，它可能比纯 Python O(n+m)（参见 @Gregg Lind answer）中的 Knuth-Morris-Pratt 算法实现更快。

#!/usr/bin/env python
def index(subseq, seq):
    """Return an index of `subseq`uence in the `seq`uence.

    Or `-1` if `subseq` is not a subsequence of the `seq`.

    The time complexity of the algorithm is O(n*m), where

        n, m = len(seq), len(subseq)

    >>> index([1,2], range(5))
    1
    >>> index(range(1, 6), range(5))
    -1
    >>> index(range(5), range(5))
    0
    >>> index([1,2], [0, 1, 0, 1, 2])
    3
    """
    i, n, m = -1, len(seq), len(subseq)
    try:
        while True:
            i = seq.index(subseq[0], i + 1, n - m + 1)
            if subseq == seq[i:i + m]:
               return i
    except ValueError:
        return -1

if __name__ == '__main__':
    import doctest; doctest.testmod()

不知道这种情况下small有多大？

Answer 3

一个简单的方法：转换成字符串，依赖字符串匹配。

使用字符串列表的示例：

 >>> f = ["foo", "bar", "baz"]
 >>> g = ["foo", "bar"]
 >>> ff = str(f).strip("[]")
 >>> gg = str(g).strip("[]")
 >>> gg in ff
 True

使用字符串元组的示例：

>>> x = ("foo", "bar", "baz")
>>> y = ("bar", "baz")
>>> xx = str(x).strip("()")
>>> yy = str(y).strip("()")
>>> yy in xx
True

使用数字列表的示例：

>>> f = [1 , 2, 3, 4, 5, 6, 7]
>>> g = [4, 5, 6]
>>> ff = str(f).strip("[]")
>>> gg = str(g).strip("[]")
>>> gg in ff
True

Answer 4

与字符串匹配先生相同...Knuth-Morris-Pratt string matching

Answer 5

>>> def seq_in_seq(subseq, seq):
...     while subseq[0] in seq:
...         index = seq.index(subseq[0])
...         if subseq == seq[index:index + len(subseq)]:
...             return index
...         else:
...             seq = seq[index + 1:]
...     else:
...         return -1
... 
>>> seq_in_seq([5,6], [4,'a',3,5,6])
3
>>> seq_in_seq([5,7], [4,'a',3,5,6])
-1

抱歉，我不是算法专家，这只是我目前能想到的最快的事情，至少我认为它看起来不错（对我来说）并且我在编写它时玩得很开心。 ;-)

很可能这与您的蛮力方法正在做的事情相同。

Answer 6

蛮力可能适用于小模式。

对于较大的，请查看Aho-Corasick algorithm。

Answer 7

这是另一个 KMP 实现：

from itertools import tee

def seq_in_seq(seq1,seq2):
    '''
    Return the index where seq1 appears in seq2, or -1 if 
    seq1 is not in seq2, using the Knuth-Morris-Pratt algorithm

    based heavily on code by Neale Pickett <neale@woozle.org>
    found at:  woozle.org/~neale/src/python/kmp.py

    >>> seq_in_seq(range(3),range(5))
    0
    >>> seq_in_seq(range(3)[-1:],range(5))
    2
    >>>seq_in_seq(range(6),range(5))
    -1
    '''
    def compute_prefix_function(p):
        m = len(p)
        pi = [0] * m
        k = 0
        for q in xrange(1, m):
            while k > 0 and p[k] != p[q]:
                k = pi[k - 1]
            if p[k] == p[q]:
                k = k + 1
            pi[q] = k
        return pi

    t,p = list(tee(seq2)[0]), list(tee(seq1)[0])
    m,n = len(p),len(t)
    pi = compute_prefix_function(p)
    q = 0
    for i in range(n):
        while q > 0 and p[q] != t[i]:
            q = pi[q - 1]
        if p[q] == t[i]:
            q = q + 1
        if q == m:
            return i - m + 1
    return -1

Answer 8

我参加聚会有点晚了，但这里有一些简单的使用字符串：

>>> def seq_in_seq(sub, full):
...     f = ''.join([repr(d) for d in full]).replace("'", "")
...     s = ''.join([repr(d) for d in sub]).replace("'", "")
...     #return f.find(s) #<-- not reliable for finding indices in all cases
...     return s in f
...
>>> seq_in_seq([5,6], [4,'a',3,5,6])
True
>>> seq_in_seq([5,7], [4,'a',3,5,6])
False
>>> seq_in_seq([4,'abc',33], [4,'abc',33,5,6])
True

正如 Ilya V. Schurov 所指出的，在这种情况下，find 方法不会返回包含多字符串或多位数字的正确索引。

Answer 9

为了它的价值，我尝试使用这样的双端队列：

from collections import deque
from itertools import islice

def seq_in_seq(needle, haystack):
    """Generator of indices where needle is found in haystack."""
    needle = deque(needle)
    haystack = iter(haystack)  # Works with iterators/streams!
    length = len(needle)
    # Deque will automatically call deque.popleft() after deque.append()
    # with the `maxlen` set equal to the needle length.
    window = deque(islice(haystack, length), maxlen=length)
    if needle == window:
        yield 0  # Match at the start of the haystack.
    for index, value in enumerate(haystack, start=1):
        window.append(value)
        if needle == window:
            yield index

双端队列实现的一个优点是它只对大海捞针进行一次线性传递。因此，如果 haystack 正在流式传输，那么它仍然可以工作（与依赖切片的解决方案不同）。

解决方案仍然是蛮力，O（n * m）。一些简单的本地基准测试表明，它比 str.index 中字符串搜索的 C 实现慢约 100 倍。

Answer 10

另一种方法，使用集合：

set([5,6])== set([5,6])&set([4,'a',3,5,6])
True