【问题标题】:Fit a distribution from quantiles从分位数拟合分布
【发布时间】:2019-12-30 12:25:15
【问题描述】:

我正在尝试使用 Python 中的 SAS replicate an example 来拟合汇总统计数据的分布。我可用的汇总统计数据是总数、最小值、最大值、p50、p75、p85、p95、p98、p99 和 p99.9。测量来自分布式机器网络,包括延迟或大小分布。目标是从每台机器重新构建混合,然后结合这些分布来估计整个网络的分布,并以流式方式定期执行此操作。

我正在查看 PyMC、Pyro 和 Pomegranate 的文档并了解混合模型的一般要点,但我不明白的是如何为每个分布设置初始参数,在给定我可用的数据的情况下使用哪一个,或者如何将每个分布转移到相应的分位数以构建整体分布。

考虑到这些框架中的任何一个,这可能吗?

【问题讨论】:

  • 您可以根据每台机器的给定数据拟合分布,然后根据它们计算联合分布(您希望包括哪种依赖关系?)。这取决于分位数和观察次数,哪些分布最适合每台机器。
  • 是的,这就是一般的想法。鉴于我有限的统计知识,我正在努力解决的问题是框架的 API 和文档。它们是为统计学家写的,不是很平易近人。
  • 我的第一个想法是通过 Kullback-Leibler 差(交叉熵的一种形式)或给定分位数和拟合分布之间的类似参数来拟合分布的参数。我认为在编写代码之前需要解决一些关于组织解决方案的基本问题——我的建议是在 stats.stackexchange.com 上解决这个问题。
  • 我还不清楚数据。您是否有每台机器或整个集成的汇总统计信息?您能否发布一个可以作为起点的小型数据样本? - 更多细节可能会有所帮助,并会提高答案的质量。
  • 我可以使用的汇总统计信息适用于每台单独的机器。希望只知道这些汇总统计信息,为整个集合提供一组汇总统计信息。基本上为整个乐团创建一个混合物,知道每个人口的汇总统计数据,然后获取组合流行音乐的汇总统计数据。

标签: python statistics bayesian pymc3 pymc


【解决方案1】:

在Pyro forums 的帮助下回答我自己的问题。下面的代码包含问题前半部分的解决方案,从收集的分位数中找到与参数匹配的分布:

import torch
import torch.distributions as dist
from torch.optim import Adam

from typing import List, Tuple


def find_cauchy_params(quantiles: List[Tuple[float, float]]):
    alpha = torch.tensor(1.0, requires_grad=True)
    beta = torch.tensor(1.0, requires_grad=True)

    quantile_tensors = [
        (quantile, torch.tensor(quantile_value))
        for quantile, quantile_value in quantiles
    ]

    def loss_fn():
        loss = 0.0
        d = dist.Cauchy(alpha, beta)
        for quantile, quantile_value in quantile_tensors:
            loss += (quantile - d.cdf(quantile_value)) ** 2

        return loss

    optim = Adam([alpha, beta], lr=0.01)
    for step in range(1000):
        optim.zero_grad()
        loss = loss_fn()
        print("loss", loss)
        loss.backward()
        optim.step()

    print("alpha = {}".format(alpha.item()))
    print("beta = {}".format(beta.item()))


find_cauchy_params(
    [(0.5, 0.0), (0.75, 0.0), (0.95, 1.0), (0.98, 1.0), (0.99, 8.0), (0.999, 11.0)]
)

截断输出:

...
loss tensor(0.0317, grad_fn=<AddBackward0>)
loss tensor(0.0317, grad_fn=<AddBackward0>)
loss tensor(0.0317, grad_fn=<AddBackward0>)
loss tensor(0.0317, grad_fn=<AddBackward0>)
alpha = -0.04828706011176109
beta = 0.11657208949327469

【讨论】:

    猜你喜欢
    • 2019-03-05
    • 1970-01-01
    • 2013-07-29
    • 2023-03-13
    • 2020-06-03
    • 2011-05-16
    • 2012-08-02
    • 1970-01-01
    • 2015-08-01
    相关资源
    最近更新 更多