【问题标题】:FloatingPointError from PyMC in sampling from a Dirichlet distribution来自 PyMC 的 FloatingPointError 在从 Dirichlet 分布中采样
【发布时间】:2013-10-17 18:46:53
【问题描述】:

在being unsuccessful in using decorators 定义“指数随机变量的对数”的随机对象之后,我决定使用pymc.stochastic_from_dist 手动编写这个新分布的代码。我尝试实现的模型可在此处获得(第一个模型):

现在,当我尝试使用 MCMC Metropolis 并以正态分布作为建议(如下图所示的采样方法)对日志(alpha)进行采样时,我收到以下错误:

  File "/Library/Python/2.7/site-packages/pymc/distributions.py", line 980, in rdirichlet
    return (gammas[0]/gammas[0].sum())[:-1]

FloatingPointError: invalid value encountered in divide

尽管采样没有出错的时间,但采样直方图与本文中的直方图相匹配。我的层次模型是:

"""
A Hierarchical Bayesian Model for Bags of Marbles

logalpha ~ logarithm of an exponential distribution with parameter lambd
beta ~ Dirichlet([black and white ball proportions]:vector of 1's)
theta ~ Dirichlet(alpha*beta(vector))

"""

import numpy as np
import pymc
from scipy.stats import expon
lambd=1.
__all__=['alpha','beta','theta','logalpha']
#------------------------------------------------------------
# Set up pyMC model: logExponential
# 1 parameter: (alpha)

def logExp_like(x,explambda):
    """log-likelihood for logExponential"""
    return -lambd*np.exp(x)+x
def rlogexp(explambda, size=None):
    """random variable from logExponential"""
    sample=np.random.exponential(explambda,size)
    logSample=np.log(sample)
    return logSample
logExponential=pymc.stochastic_from_dist('logExponential',logp=logExp_like,
                                          random=rlogexp,
                                          dtype=np.float,
                                          mv=False)
#------------------------------------------------------------
#Defining model parameteres alpha and beta.
beta=pymc.Dirichlet('beta',theta=[1,1])
logalpha=logExponential('logalpha',lambd)

@pymc.deterministic(plot=False)
def multipar(a=logalpha,b=beta):
    out=np.empty(2)
    out[0]=(np.exp(a)*b)
    out[1]=(np.exp(a)*(1-b))
    return out
theta=pymc.Dirichlet('theta',theta=multipar)

而我的测试抽样代码是:

from pymc import Metropolis
from pymc import MCMC
from matplotlib import pyplot as plt
import HBM
import numpy as np
import pymc
import scipy
M=MCMC(HBM)
M.use_step_method(Metropolis,HBM.logalpha, proposal_sd=1.,proposal_distribution='Normal')
M.sample(iter=1000,burn=200)

当我检查在 distributions.py 的第 978 行中传递给伽马分布的 theta 值时,我看到值不是零而是小值!所以不知道怎么防止这个浮点错误?

【问题讨论】:

  • 我认为在distributions.py的主代码中应该有一个异常捕获器,供PyMC处理gammas[0]为零的情况!
  • 如果您在测试采样代码中的导入之后添加np.seterr(divide='ignore') 会产生什么结果?
  • @alko,谢谢,但仍然是同样的错误。

标签: python random floating-point sampling pymc


【解决方案1】:

我在他们的文档中找到了这个nugget:

随机变量cutoff不能小于D的最大元素,否则D的密度为零。标准的 Metropolis step 方法可以毫无问题地处理这种情况;它偶尔会提出非法值,但这些会被拒绝。

这会让我相信dtype=np.float(它的基本范围与浮点数相同)可能不是您想要的方法。文档说它需要是一个 numpy dtype,但它只需要是一个转换为 numpy dtype 对象的 dtype,并且在 Python2 中(如果我错了,请纠正我)数字 dtypes 是固定大小的类型,这意味着它们是相同的.也许使用Decimal 模块将是一种选择。通过这种方式,您可以设置精度级别来封装预期值范围,并将其传递给您的扩展随机方法进行转换。

from decimal import Decimal, getcontext
getcontext().prec = 15
dtype=Decimal

我不知道一旦 numpy 库得到它,它是否仍会被截断,或者它是否会尊重继承的精度级别。我没有准确的测试方法,但请试一试,让我知道它对你有用。

编辑:我测试了精确继承的概念,它似乎成立:

>>> from decimal import Decimal, getcontext
>>> getcontext().prec = 10
>>> Decimal(1) / Decimal(7)
Decimal('0.1428571429')
>>> np.float(Decimal(1) / Decimal(7))
0.1428571429
>>> getcontext().prec = 15
>>> np.float(Decimal(1) / Decimal(7))
0.142857142857143
>>> 

【讨论】:

  • 嘿,杰西,谢谢你的回答,但这些天我几乎不记得任何关于 PyMC 的事情了。我希望他们有更好的维护。我继续前进,哈哈!
【解决方案2】:

如果你确实得到了小数字,它可能对浮点数来说太小了。这通常也是对数要避免的。如果你使用dtype=np.float64呢?

【讨论】:

  • 关键是需要玩 PyMC 的源代码!我不喜欢哪个!不过谢谢。
【解决方案3】:

正如您在问题末尾所建议的那样,问题在于浮点数太小,浮点数为 0。一种解决方案可能是稍微调整源代码并将除法替换为例如 np.divide并在“where”条件下为给定阈值的小值添加一些显式转换。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-10-07
    • 2021-08-19
    • 2021-03-04
    相关资源
    最近更新 更多