【问题标题】:Statistics in PythonPython中的统计数据
【发布时间】:2018-10-25 20:49:14
【问题描述】:

我正在参加机器学习课程,我们获得了第一个统计数据——“编程”练习。

所以练习是这样的:

回想一下“亚马逊的两个卖家价格相同”讲座中的故事。一个有 90 条正面评论和 10 条负面评论。另一个2阳性0阴性。谁应该 你从那里买的?”写下关于可靠性的后验概率(如讲座中所述)。使用数值积分计算 p(x > y|D1, D2)。 您可以使用 scipy.stats.beta.rvs(a,b,size) 函数生成 Beta 分发样本。

我们从讲座中了解到以下内容:

应用了两个 Beta 二项式模型: p(x|D1) = Beta(x|91, 11) 和 p(y|D2) = Beta(y|3, 1)

计算卖家 1 比卖家 2 更可靠的概率:

p(x > y | D1, D2 ) = ∫∫ [x > y] Beta (x| 91, 11) Beta (y| 3, 1) dx dy

所以我在 Python 中的尝试是这样的:

In [1]: import numpy as np
        from scipy import integrate, stats
In [2]: f = lambda x, y: stats.beta.rvs(91, 11, x) * stats.beta.rvs(3, 1, y)
In [3]: stats.probplot(result, x > y)

我收到一条错误消息:

... The maximum number of subdivisions (50) has been achieved....

但最终有一个近似计算的答案。 1.7 . (我们被告知答案大约是 0.7)

我的问题是:我如何计算 [x > y] 部分,意思是:卖家 1 (x) 比卖家 2 (y) 更可靠的概率?

【问题讨论】:

  • 请查看并相应地编辑问题呈现文本中显示为超链接的内容(因此不支持 Latex)。另外,问题与machine-learning 无关 - 请不要向标签发送垃圾邮件(已删除)。
  • 您能修改一下您的 Python 尝试吗? result、x 和 y 据我所知没有定义?而你从不使用f
  • 我编辑了 HTML 部分。添加 ML-tag 是因为该练习是在我的 ML 课程中进行的,但我知道它没有直接连接。感谢您的提示:)

标签: python statistics beta-distribution


【解决方案1】:

几乎正确,我会这样做:

from scipy import stats

N = 10000
P = sum(stats.beta.rvs(3, 1, size=N) < stats.beta.rvs(91, 11, size=N))
P / N

如果您想要图形显示:

import matplotlib.pyplot as plt
import numpy as np

X = np.linspace(0.6, 0.8, 501)
Y = stats.beta.pdf(X, 1 + P, 1 + N - P)

plt.plot(X, Y)

可能有库代码可以更好地进行绘图。

上面给出了答案的蒙特卡罗估计。如果你想要一个更好的数值估计,你可以使用以下方法在正交下得到:

from scipy.integrate import dblquad
from scipy import stats

a = stats.beta(91, 11)
b = stats.beta(3, 1)

dblquad(
    lambda x, y: a.pdf(x) * b.pdf(y),
    0, 1, lambda x: x, lambda x: 1)

这给了我约 0.712592804 的估计值(误差为 2e-8)。

如果您想获得更准确的信息,您需要进行一些分析:

https://stats.stackexchange.com/questions/7061/binomial-probability-question

这涉及到使用一些我难以理解的先验。

【讨论】:

  • 非常感谢!!只是一个简单的问题——我到底在哪里集成?呵呵
  • 别以为我真的读懂了你的问题;我只是在修复您使用生成随机变量来获得答案的问题。如果您想要更准确的答案(上面的第二个代码块仅显示蒙特卡罗估计的准确程度),那么您可能希望使用来自scipy.integrate 和pdf 的dblquad 从您的测试版
  • 所以我完全迷路了。如何将dblquad 和您建议的已计算 P 结合起来? def f(x, y): return P * stats.beta.rvs(3, 1, x) * stats.beta.rvs(91, 11, y) 然后integrate.dblquad(f, 0, 1, lambda x: 0, lambda x: 1) 显然是错误的。
猜你喜欢
  • 1970-01-01
  • 2014-10-01
  • 2018-01-24
  • 2023-01-04
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多