值计数的百分位数答案

【问题标题】：percentiles from counts of values值计数的百分位数
【发布时间】：2014-09-24 01:24:06
【问题描述】：

我想从 Python 中多个大向量的集合中计算 percentiles。与其尝试连接向量然后将生成的巨大向量通过numpy.percentile，还有更有效的方法吗？

我的想法是，首先，计算不同值的频率（例如，使用scipy.stats.itemfreq），其次，结合不同向量的这些项目频率，最后，根据计数计算百分位数。

不幸的是，我无法找到用于组合频率表（这不是很简单，因为不同的表可能涵盖不同的项目）或从项目频率表计算百分位数的函数。我需要实现这些，还是可以使用现有的 Python 函数？这些功能是什么？

【问题讨论】：

你试过docs.python.org/2/library/collections.html#collections.Counter来统计频率吗？
你是对的！ Counter 类可以做我想做的第一部分，你可以把它们加起来。我只需要一个函数来计算计数器的百分位数，这将使答案完整。
@Geza 如果您发布示例输入并希望输出包括您自己尝试过的代码，那会更容易。
@Banana 是的，我知道您通常在 StackOverflow 上这样做。但是我不能真正发布那些巨大的数组（它们实际上是长波形文件的一部分；但是任何列表或 numpy 数组都可以用来测试代码）。我提到了我考虑过的功能；请注意，我什至不是在寻找代码，只是在寻找函数名称。我想我所能做的就是链接一个页面来解释百分位数的含义。我会这样做的。
连接向量有什么问题？计算百分位数可能非常昂贵，因此可能会摊销连接成本。为了在 numpy 中进行有效的百分位数计算，您需要 1.9 版

标签： python numpy scipy

【解决方案1】：

同样的问题困扰了我很久，我决定努力。这个想法是重用来自scipy.stats 的东西，这样我们就可以开箱即用地拥有cdf 和ppf。

有一个类rv_descrete 用于子类化。浏览其继承者中类似内容的来源，我发现rv_sample 有一个有趣的描述：A 'sample' discrete distribution defined by the support and values.。该类未在 API 中公开，但在您将值直接传递给 rv_descrete 时使用。

因此，这是一个可能的解决方案：

import numpy as np
import scipy.stats

# some mapping from numeric values to the frequencies
freqs = np.array([
    [1, 3],
    [2, 10],
    [3, 13],
    [4, 12],
    [5, 9],
    [6, 4],
])

def distrib_from_freqs(arr: np.ndarray) -> scipy.stats.rv_discrete:
    pmf = arr[:, 1] / arr[:, 1].sum()
    distrib = scipy.stats.rv_discrete(values=(arr[:, 0], pmf))
    return distrib

distrib = distrib_from_freqs(freqs)

print(distrib.pmf(freqs[:, 0]))
print(distrib.cdf(freqs[:, 0]))
print(distrib.ppf(distrib.cdf(freqs[:, 0])))  # percentiles

# [0.05882353 0.19607843 0.25490196 0.23529412 0.17647059 0.07843137]
# [0.05882353 0.25490196 0.50980392 0.74509804 0.92156863 1.        ]
# [1. 2. 3. 4. 5. 6.]

# max, median, 1st quartile, 3rd quartile
print(distrib.ppf([1.0, 0.5, 0.25, 0.75]))
# [6. 3. 2. 5.]

# the distribution describes values from (0, 1] 
#   and 0 results with a value right before the minimum:
print(distrib.ppf(0))
# 0.0

【讨论】：

【解决方案2】：

按照 Julien Palard 的建议，使用 collections.Counter 解决第一个问题（计算和组合频率表），以及我对第二个问题的实现（从频率表中计算百分位数）：

from collections import Counter

def calc_percentiles(cnts_dict, percentiles_to_calc=range(101)):
    """Returns [(percentile, value)] with nearest rank percentiles.
    Percentile 0: <min_value>, 100: <max_value>.
    cnts_dict: { <value>: <count> }
    percentiles_to_calc: iterable for percentiles to calculate; 0 <= ~ <= 100
    """
    assert all(0 <= p <= 100 for p in percentiles_to_calc)
    percentiles = []
    num = sum(cnts_dict.values())
    cnts = sorted(cnts_dict.items())
    curr_cnts_pos = 0  # current position in cnts
    curr_pos = cnts[0][1]  # sum of freqs up to current_cnts_pos
    for p in sorted(percentiles_to_calc):
        if p < 100:
            percentile_pos = p / 100.0 * num
            while curr_pos <= percentile_pos and curr_cnts_pos < len(cnts):
                curr_cnts_pos += 1
                curr_pos += cnts[curr_cnts_pos][1]
            percentiles.append((p, cnts[curr_cnts_pos][0]))
        else:
            percentiles.append((p, cnts[-1][0]))  # we could add a small value
    return percentiles

cnts_dict = Counter()
for segment in segment_iterator:
    cnts_dict += Counter(segment)

percentiles = calc_percentiles(cnts_dict)

【讨论】：