【问题标题】:Sample data from combination of two probability distributions来自两个概率分布组合的样本数据
【发布时间】:2014-08-05 09:43:43
【问题描述】:

我想制作一个模拟目录。我可以访问两组真实数据,我想使用它们的属性来生成模拟目录: first 包含来自 ma​​gnituderedshift (z) 的信息。 second 集包含有关星系的幅度加权椭圆率的信息。

在我的最终模拟目录中,我想生成 redshift加权椭圆度。我想使用 ma​​gnituderedshiftma​​gnitude加权椭圆度 的基本属性。但是,我也有一个定义明确的公式来描述红移的分布,其功能如下(GeneralRandom 是一个能够生成遵循给定分布p(z) 的随机样本的类):

ng=24000
def p(z):
    z0=1./3.;eta=1.0
    value=eta*(z**2)*np.exp(-1*(z/z0)**eta)/scipy.special.gamma(3./eta)/z0**3 
    return value

catalogue_generate=GeneralRandom(x=np.arange(0.0, 1.5, .001), p_func=p, Nrl=10000)

catalogue_generate.set_pdf(np.arange(0.0, 1.5, .001), catalogue_generate.p_val, 10000)
redshift=catalogue_generate.random( ng)[0]
redshift=random.sample(redshift, ng)

我使用定义的红移分布函数通过上述过程对红移进行采样。 现在我很困惑如何结合从两个分布计算的kde 并估计我感兴趣的参数,例如weighted ellipticity 用于来自采样redshift 的模拟目录? 该图说明了从两个已知真实数据集估计的 高斯 KDE。我不知道如何独立使用stats.gaussian_kde 的输出来插入计算出的redshift 并获得对应的magnitude 跟在2D kde 之后,然后从上一步中估计的magnitude 和估计的KDE对于magnitudeweight,估计输入redshiftweighted ellipticities? 说问题看起来像这样在统计上是否正确:

我也不知道计算,应该怎么做?!!

如果有人能描述我如何解决我的问题以及一些 Python 编程技巧或介绍有用的库,我将不胜感激。

【问题讨论】:

    标签: numpy statistics scipy probability-theory


    【解决方案1】:

    令 R = 红移,M = 幅度,W = 重量。如果我理解正确,您正在尝试从 P(W, R) 中采样。

    鉴于手头的数据,您没有足够的信息来获得完整的解决方案:请注意 P(W, R) = P(W | R) P(R) 其中 P(W | R) = \int P (W, M | R) dM = \int P(W | M, R) P(M | R) dM。您可以从您有数据的 P(M, R) 导出 P(M | R),但您没有数据可以导出 P(W | M, R) - 您只有 P(W, M) 所以你可以推导出 P(W | M) 但不能推导出 P(W | M, R)——为了取得进展,如果你已经有了 M,你必须假设 R 不会给你更多关于 W 的信息。我没有对你的问题领域一无所知——你必须研究那个假设来判断它是否合理。

    假设 P(W | M, R) = P(W | M) 是一个合理的假设,您可以通过从 P(R)、然后是 P(M | R)、然后是 P(W | M ) 得到一对 (R, W)。对于采样 P(M | R) 和 P(W | M),您需要从核密度派生的条件分布中进行采样。我目前没有公式,但我认为它相对简单。也许明天我会继续工作,我今晚没有时间。

    【讨论】:

    • 我认为假设R 不会给我更多关于w 的信息,所以这是相对公平的假设。但是我怎么能计算条件分布呢?如果您给我一些提示,我将不胜感激stats.gaussian_kde 是否可以产生条件概率,以及我如何将它们混合起来以获得具有给定概率 R 的 W 样本?
    • 我找到了另一个 P(R|M) 的分析公式和另一个包含magnituderedshiftweighted ellipticity 信息的数据集,所以现在的问题是这样的 P( W|R)=\int P(R|M)P(W|R,M)P(M)/P(R)dM 这似乎比以前更复杂,对吧?现在我不知道应该如何结合所有信息来采样redshiftweighted ellipticity
    • @Dalek 你说你有一个包含所有三个变量的数据集。太棒了,如果要为 P(W | R) 构建模型,只需使用新数据集中的 R 和 W 并忽略 M。
    • 但另一方面,我知道magnituderedshiftmagnitudeweighted ellipticity之间有关系,但这并不一定意味着@987654333之间有直接关系@ 和 weight 存在。因为例如在更高的星等中,星系的类型会改变,所以P(R|M) 会改变另一方面magnitudeweighted ellipticity 是相关的,因为在更高的magnitude 中,数据变得越来越嘈杂,所以wighted ellipticity 会减少.
    • 好吧,即使我做出这个假设,我也需要拟合一个条件核密度估计,并从上述p(z) 的分析公式中抽取redshift 的样本,然后使用这个条件概率(我不知道如何)采样weighted magnitude,是正确的做法吗?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-09-05
    • 2018-05-25
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多