【问题标题】:filtering elements in numpy array with a certain minimum frequency以一定的最小频率过滤numpy数组中的元素
【发布时间】:2021-04-08 11:25:45
【问题描述】:

我有一个包含 5000 个计数的数组,需要对其进行卡方检验。但是,该测试仅在每个值的预期频率 > 5 时才有效。我使用collections.Counter(x) 找到了数据集中每个值的频率,我可以看到有些值的频率为 1 或 2。 现在我想从我的原始数据集 x 中删除频率

删除这些点后,我需要创建一个预期泊松分布以用于卡方检验,但再次确保预期频率大于 5。我已经使用stats.poisson.rvs 进行了一些分发,但是有没有办法可以确保频率始终高于 5?还是最好创建发行版,然后完成我的问题第一部分中的步骤?

【问题讨论】:

    标签: python numpy chi-squared


    【解决方案1】:

    将数组过滤到特定频率(例如>5)的一种方法是(a 是您的原始数组):

    #this method assumes array a is consists of integers
    a[np.in1d(a, np.where(np.bincount(a)>5)[0])]
    

    另一种方式是:

    #works for non-integer arrays
    values, counts = np.unique(a, return_counts=True)
    a[np.in1d(a, values[counts>5])]
    

    我猜bincount 解决方案更快。

    【讨论】:

    • 当我尝试这个时,我得到 'TypeError: Cannot cast array data from dtype('float64') to dtype('int64') 根据规则 'safe'
    • @niallygee 你的数组是由整数组成的吗?我假设它们是基于 我有一个包含 5000 个计数的数组 的整数。如果它们不是整数,请使用第二种建议的解决方案。
    • 请查看stackoverflow.com/help/someone-answers,了解如何接受您的问题的答案。谢谢。
    • 计数并非都是整数,但第二种解决方案效果很好。谢谢你的帮助!!
    • @niallygee 很高兴它有帮助。
    猜你喜欢
    • 2021-09-13
    • 2021-07-20
    • 2019-09-12
    • 2012-07-20
    • 2023-02-22
    • 1970-01-01
    • 2019-02-27
    • 2021-12-11
    • 2012-05-31
    相关资源
    最近更新 更多