【问题标题】:Fitting a dataset to a mix of normal distributions将数据集拟合到正态分布的混合
【发布时间】:2020-12-04 06:53:53
【问题描述】:

在我的应用程序中,输入数据集通常来自高斯分布。但是,有时它是多模态的,在这种情况下,我想将数据建模为来自多个高斯分布的数据的混合。

现在,我想估算出许多基础分布的均值和 sigma。

我找不到这样做的方法。

我正在考虑的一种方法是将数据集拆分为多个。我将使用高斯 KDE 并使用最小值作为分割点。但是,在基础分布重叠的区域中,它并不准确。

有没有更好的方法来做到这一点?

【问题讨论】:

    标签: python scipy statistics statsmodels scipy.stats


    【解决方案1】:

    对于未来:https://stats.stackexchange.com/ 将是更适合统计问题的地方。

    无需将数据集拆分为多个。看起来 scipy 已经涵盖了这一点:https://docs.scipy.org/doc/scipy/reference/tutorial/stats.html 如果您查看内核密度估计和双峰分布版本,则在那里

    def my_kde_bandwidth(obj, fac=1./5):
        """We use Scott's Rule, multiplied by a constant factor."""
        return np.power(obj.n, -1./(obj.d+4)) * fac
    
    from functools import partial
    
    
    loc1, scale1, size1 = (-2, 1, 175)
    
    loc2, scale2, size2 = (2, 0.2, 50)
    
    x2 = np.concatenate([np.random.normal(loc=loc1, scale=scale1, size=size1),
    
                         np.random.normal(loc=loc2, scale=scale2, size=size2)])
    
    
    x_eval = np.linspace(x2.min() - 1, x2.max() + 1, 500)
    
    
    kde = stats.gaussian_kde(x2)
    
    kde2 = stats.gaussian_kde(x2, bw_method='silverman')
    
    kde3 = stats.gaussian_kde(x2, bw_method=partial(my_kde_bandwidth, fac=0.2))
    
    kde4 = stats.gaussian_kde(x2, bw_method=partial(my_kde_bandwidth, fac=0.5))
    
    
    pdf = stats.norm.pdf
    
    bimodal_pdf = pdf(x_eval, loc=loc1, scale=scale1) * float(size1) / x2.size + \
    
                  pdf(x_eval, loc=loc2, scale=scale2) * float(size2) / x2.size
    
    
    
    fig = plt.figure(figsize=(8, 6))
    
    ax = fig.add_subplot(111)
    
    
    
    ax.plot(x2, np.zeros(x2.shape), 'b+', ms=12)
    
    ax.plot(x_eval, kde(x_eval), 'k-', label="Scott's Rule")
    
    ax.plot(x_eval, kde2(x_eval), 'b-', label="Silverman's Rule")
    
    ax.plot(x_eval, kde3(x_eval), 'g-', label="Scott * 0.2")
    
    ax.plot(x_eval, kde4(x_eval), 'c-', label="Scott * 0.5")
    
    ax.plot(x_eval, bimodal_pdf, 'r--', label="Actual PDF")
    
    
    
    ax.set_xlim([x_eval.min(), x_eval.max()])
    
    ax.legend(loc=2)
    
    ax.set_xlabel('x')
    
    ax.set_ylabel('Density')
    
    plt.show()
    

    这里的 x2 是建模数据,并且......也许文档页面中有更好的解释。

    【讨论】:

    • 就我而言,我想预测给定观察的 loc1、scale1、loc2、scale2。我仍然不知道该怎么做。不确定我是否遗漏了什么。
    猜你喜欢
    • 2013-03-06
    • 2014-09-02
    • 2021-07-20
    • 2016-04-17
    • 2014-11-22
    • 1970-01-01
    • 2011-05-16
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多