【发布时间】:2019-12-30 12:25:15
【问题描述】:
我正在尝试使用 Python 中的 SAS replicate an example 来拟合汇总统计数据的分布。我可用的汇总统计数据是总数、最小值、最大值、p50、p75、p85、p95、p98、p99 和 p99.9。测量来自分布式机器网络,包括延迟或大小分布。目标是从每台机器重新构建混合,然后结合这些分布来估计整个网络的分布,并以流式方式定期执行此操作。
我正在查看 PyMC、Pyro 和 Pomegranate 的文档并了解混合模型的一般要点,但我不明白的是如何为每个分布设置初始参数,在给定我可用的数据的情况下使用哪一个,或者如何将每个分布转移到相应的分位数以构建整体分布。
考虑到这些框架中的任何一个,这可能吗?
【问题讨论】:
-
您可以根据每台机器的给定数据拟合分布,然后根据它们计算联合分布(您希望包括哪种依赖关系?)。这取决于分位数和观察次数,哪些分布最适合每台机器。
-
是的,这就是一般的想法。鉴于我有限的统计知识,我正在努力解决的问题是框架的 API 和文档。它们是为统计学家写的,不是很平易近人。
-
我的第一个想法是通过 Kullback-Leibler 差(交叉熵的一种形式)或给定分位数和拟合分布之间的类似参数来拟合分布的参数。我认为在编写代码之前需要解决一些关于组织解决方案的基本问题——我的建议是在 stats.stackexchange.com 上解决这个问题。
-
我还不清楚数据。您是否有每台机器或整个集成的汇总统计信息?您能否发布一个可以作为起点的小型数据样本? - 更多细节可能会有所帮助,并会提高答案的质量。
-
我可以使用的汇总统计信息适用于每台单独的机器。希望只知道这些汇总统计信息,为整个集合提供一组汇总统计信息。基本上为整个乐团创建一个混合物,知道每个人口的汇总统计数据,然后获取组合流行音乐的汇总统计数据。
标签: python statistics bayesian pymc3 pymc