以大于 Python 列表中的值的最小差值对大多数数字进行采样的最快方法

Question

给定一个包含 20 个浮点数的列表，我想找到一个最大的子集，其中任意两个候选者彼此不同，大于 mindiff = 1.。现在我正在使用蛮力方法使用itertools.combinations 从最大到最小的子集进行搜索。如下所示，代码在 4 秒后为 20 个数字的列表找到一个子集。

from itertools import combinations
import random
from time import time

mindiff = 1.
length = 20
random.seed(99)
lst = [random.uniform(1., 10.) for _ in range(length)]

t0 = time()
n = len(lst)
sample = []
found = False
while not found:
    # get all subsets with size n
    subsets = list(combinations(lst, n))
    # shuffle to ensure randomness
    random.shuffle(subsets)
    for subset in subsets:
        # sort the subset numbers
        ss = sorted(subset)
        # calculate the differences between every two adjacent numbers
        diffs = [j-i for i, j in zip(ss[:-1], ss[1:])]
        if min(diffs) > mindiff:
            sample = set(subset)
            found = True
            break
    # check subsets with size -1
    n -= 1

print(sample)
print(time()-t0)

输出：

{2.3704888087015568, 4.365818049020534, 5.403474619948962, 6.518944556233767, 7.8388969285727015, 9.117993839791751}
4.182451486587524

但是，实际上我有一个包含 200 个数字的列表，这对于暴力枚举是不可行的。我想要一种快速算法来仅采样一个 random 最大 子集，其最小差异大于 1。请注意，我希望每个样本都具有随机性和最大大小。有什么建议吗？

Answer 1

我之前的回答假设您只是想要一个最佳解决方案，而不是所有解决方案的统一随机样本。此答案假设您想要一个从所有此类最佳解决方案中均匀采样的解决方案。

1. 构造一个有向无环图G，其中每个点都有一个节点，当b - a > mindist时，节点a和b相连。同时添加两个虚拟节点s 和t，其中s -> x 代表所有x，x -> t 代表所有x。

2. 为G 中的每个节点计算有多少个长度为k 的路径存在到t。您可以在O(n^2 k) 时间内使用动态编程和P[x][k] 表有效地完成此操作，首先填充P[x][0] = 0，除了P[t][0] = 1，然后填充P[x][k] = sum(P[y][k-1] for y in neighbors(x))。

   继续这样做，直到达到最大值 k - 您现在知道最佳子集的大小。

3. 使用P 统一采样长度为k 从s 到t 的路径来衡量您的选择。

   这是从s 开始的。然后我们查看s 的每个邻居并随机选择一个，其权重由P[s][k] 指定。这为我们提供了最优集合的第一个元素。

   然后我们重复执行此步骤。我们在x，查看x 的邻居并使用权重P[x][k-i] 随机选择一个，其中i 是我们所处的步骤。

4. 使用您在 3 中采样的节点作为您的随机子集。

上述在纯 Python 中的实现：

import random

def sample_mindist_subset(xs, mindist):
    # Construct directed graph G.
    n = len(xs)
    s = n; t = n + 1  # Two virtual nodes, source and sink.
    neighbors = {
        i: [t] + [j for j in range(n) if xs[j] - xs[i] > mindist]
        for i in range(n)}
    neighbors[s] = [t] + list(range(n))
    neighbors[t] = []

    # Compute number of paths P[x][k] from x to t of length k.
    P = [[0 for _ in range(n+2)] for _ in range(n+2)]
    P[t][0] = 1
    for k in range(1, n+2):
        for x in range(n+2):
            P[x][k] = sum(P[y][k-1] for y in neighbors[x])

    # Sample maximum length path uniformly at random.
    maxk = max(k for k in range(n+2) if P[s][k] > 0)
    path = [s]
    while path[-1] != t:
        candidates = neighbors[path[-1]]
        weights = [P[cn][maxk-len(path)] for cn in candidates]
        path.append(random.choices(candidates, weights)[0])

    return [xs[i] for i in path[1:-1]]

请注意，如果您想多次从同一组数字中采样，您不必每次都重新计算P，并且可以重复使用它。

Answer 2

我可能不完全理解这个问题，因为现在解决方案非常简单。编辑：是的，毕竟我误解了，OP 不只是想要一个最佳解决方案，而是希望从一组最佳解决方案中随机抽样。这个答案并没有错，但它也是对与 OP 感兴趣的不同问题的答案。

---

简单地对数字进行排序并贪婪地构造子集：

def mindist_subset(xs, mindist):
    result = []
    for x in sorted(xs):
        if not result or x - result[-1] > mindist:
            result.append(x)
    return result

---

正确性证明草图。

假设我们有一个解决方案S给定输入数组A，它具有最佳大小。如果它不包含min(A)，请注意我们可以从S 中删除min(S) 并添加min(A)，因为这只会增加min(S) 和S 中第二小的数字之间的距离。结论：我们可以不失一般性地假设min(A) 是最优解的一部分。

现在我们可以递归地应用这个参数。我们将min(A) 添加到解决方案中，并删除所有与min(A) 太接近的元素，留下剩余元素A'。然后我们会遇到一个子问题，其中应用完全相同的参数，我们可以选择min(A') 作为解决方案的下一个元素，等等。