随机分词函数Python的优化错误

Question

我写了一个分词功能。它将一个单词分成随机字符。例如，如果输入是“运行时”，则可能是以下每个输出之一：

['runtime']
['r','untime']
['r','u','n','t','i','m','e']
....

但是当我想拆分 100k 字时，它的运行时间非常高，您有什么建议可以优化或写得更聪明。

def random_multisplitter(word):
    from numpy import mod
    spw = []
    length = len(word)
    rand = random_int(word)
    if rand == length:       #probability of not splitting
        return [word]

    else:
        div = mod(rand, (length + 1))  #defining division points 
        bound = length - div
        spw.append(div)
        while div != 0:
            rand = random_int(word)
            div = mod(rand,(bound+1))
            bound = bound-div
            spw.append(div)
        result = spw
    b = 0
    points =[]
    for x in range(len(result)-1): #calculating splitting points 
        b=b+result[x]
        points.append(b)
    xy=0
    t=[]
    for i in points:
        t.append(word[xy:i])
        xy=i
    if word[xy:len(word)]!='':
        t.append(word[xy:len(word)])
    if type(t)!=list:
        return [t]
    return t

Answer 1

我不明白你在做什么，但结果绝对不是你的代码同样可能。因此代码不起作用，实际上 StackOverflow 可能是正确的地方，即使您不知道它。
我怎么知道你的代码不起作用？ Law of Large Numbers！它看起来很可疑，所以我刚刚用你的函数生成了一百万个样本并得到了这个分布：

请注意，y 轴的缩放比例是对数的，这些估计的概率变化很大！

所以现在一些代码既快得多，实际上也产生了同样可能的结果：

def random_multisplitter(word):
    # add's bits will tell whether a char shall be added to last substring or
    # be the beginning of its own substring
    add = random.randint(0, 2**len(word) - 1)

    # append 0 to make sure first char is start of first substring
    add <<= 1

    res = []
    for char in word:
        # see if last bit is 1
        if add & 1:
            res[-1] += char
        else:
            res.append(char)
        # shift to next bit
        add >>= 1

    return res

这就是 Blckknght 的建议，不管你信不信，我在他们发表评论前一个小时就有了同样的想法，但我没有时间写这个答案。
无论如何，这是该函数的估计概率：

全部聚集在 1/64=0.015625（绿线）附近，表明概率分布是均匀的。

我的机器上使用 python2.7 的时间对于这个函数是 4.56 µs，对于你的函数是 20.1 µs。