【问题标题】:Generate random numpy array from a given list of elements with at least one repetition of each element从给定的元素列表生成随机 numpy 数组,每个元素至少重复一次
【发布时间】:2019-05-23 23:26:20
【问题描述】:

我想在重采样后从给定的 numpy(比如input_list)创建一个数组(比如output_list),这样input_list 的每个元素至少存在一次output_list。 output_list 的长度将始终 > input_list. 的长度

我尝试了几种方法,并且正在寻找一种更快的方法。不幸的是,numpy 的random.choice 并不能保证至少存在一个元素。

第 1 步:生成数据

import string
import random
import numpy as np

size = 150000
chars = string.digits + string.ascii_lowercase
input_list= [
            "".join(
                [random.choice(chars) for i in range(5)]
            ) for j in range(dict_data[1]['unique_len'])]

选项 1: 让我们试试numpy 的random.choice 概率分布均匀。

output_list = np.random.choice(
    input_list,
    size=output_size,
    replace=True,
    p=[1/input_list.__len__()]*input_list.__len__()
    )
assert set(input_list).__len__()==set(output_list).__len__(),\
    "Output list has fewer elements than input list"

这引发了断言:

输出列表的元素比输入列表少

选项 2 让我们将随机数填充到input_list,然后随机播放。

output_list = np.concatenate((np.array(input_list),np.random.choice(
    input_list,
    size=output_size-input_list.__len__(),
    replace=True,
    p=[1/input_list.__len__()]*input_list.__len__()
)),axis=None)

np.random.shuffle(output_list)
assert set(input_list).__len__()==set(output_list).__len__(),\
    "Output list has fewer elements than input list"

虽然这不会引发任何断言,但我正在寻找比这更快的解决方案,无论是通过算法还是使用 numpy 的内置函数。

感谢您的帮助。

【问题讨论】:

  • np.random.choice 假设统一概率,无需明确设置,选项 2 对我来说看起来不错,你有时间吗?真的有那么慢吗?
  • 谢谢菲利波。问题是即使我计时,我也不知道是否有更好的解决方案。所以,你的问题的答案是,如果有任何其他算法或函数比上面更快,那么我可以比较。 'np' 的均匀分布似乎并没有真正给出均匀分布。我试过output_size>>>input_size。
  • input_list.__len__() 几乎永远不会比 len(input_list) 更可取

标签: python algorithm numpy random


【解决方案1】:

设lenI 为输入列表长度,lenO 为输出列表长度。

1) 从源列表中进行lenO - lenI 的均匀随机选择迭代

2) 然后将所有输入列表追加到输出列表的末尾

3) 然后进行 lenI 迭代 Fisher-Yates shuffle 以均匀分布最后的元素。

import random
src = [1, 2, 3, 4]
lD = 10
lS = len(src)
dst = []
for _ in range(lD - lS):
    dst.append(src[random.randint(0, lS-1)])
dst.extend(src)
print(dst)
for i in range(lD - 1, lD - lS - 1, -1):
    r = random.randint(0, lD - 1)
    dst[r], dst[i] = dst[i], dst[r]
print(dst)

>>[4, 3, 1, 3, 4, 3, 1, 2, 3, 4]
>>[4, 3, 1, 3, 4, 3, 1, 3, 4, 2]

这是具有线性复杂度的方法。

【讨论】:

  • 谢谢。您能否添加与我的断言声明的时间和比较。对不起,我没有按照你的逻辑。看来你的建议和我的一样……即追加输入列表并随机化剩余元素。
  • 我在 numpy 方面不够强大,无法进行可靠的测试。添加了纯 Python 示例。似乎您的第二种方法与我的方法很接近,但您不需要重新排列所有列表。
猜你喜欢
  • 1970-01-01
  • 2021-02-07
  • 2014-10-17
  • 1970-01-01
  • 2015-12-09
  • 2019-05-03
  • 2016-04-27
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多