PyMC 中的自定义先验

Question

假设我想在 PyMC 中对两个变量 a 和 b 进行自定义先验，例如：

p(a,b)∝(a+b)^(−5/2)

（关于这种先验选择背后的动机，请参阅this answer）

这可以在 PyMC 中完成吗？如果有怎么办？

例如，我想在下面的模型中定义 a 和 b 这样的先验。

import pymc as pm

# ...
# Code that defines the prior: p(a,b)∝(a+b)^(−5/2)
# ...

theta   = pm.Beta("prior", alpha=a, beta=b)

# Binomials that share a common prior
bins = dict()
for i in xrange(N_cities):
    bins[i] = pm.Binomial('bin_{}'.format(i), p=theta,n=N_trials[i],  value=N_yes[i], observed=True)

mcmc = pm.MCMC([bins, ps])

更新

按照 John Salvatier 的建议，我尝试了以下方法（请注意，我在 PyMC2 中，虽然我很乐意切换到 PyMC3），但我的问题是：

1. 我应该导入什么才能正确继承Continuous？
2. 在 PyMC2 中，我还需要坚持 Theano 表示法吗？

3. 最后，我以后如何告诉我的 Beta 分布 alpha 和 beta 具有来自此多元分布的先验？

   导入 pymc.Multivariate.Continuous

   类 CustomPrior（连续）： """ p(a,b)∝(a+b)^(−5/2)

   :Parameters:
       None
   
   :Support:
       2 positive floats (parameters to a Beta distribution)
   """
   def __init__(self, mu, tau, *args, **kwargs):
       super(CustomPrior, self).__init__(*args, **kwargs)
   
   def logp(self, a,b):
   
   
       return np.log(math.power(a+b),-5./2)
   

Answer 1

是的！这是很有可能的，实际上也很简单。

如果您使用 PyMC 2，请查看documentation on the creation of stochastic variables。

@pymc.stochastic(dtype=int)
def switchpoint(value=1900, t_l=1851, t_h=1962):
    """The switchpoint for the rate of disaster occurrence."""
    if value > t_h or value < t_l:
        # Invalid values
        return -np.inf
    else:
        # Uniform log-likelihood
        return -np.log(t_h - t_l + 1)

如果您使用的是 PyMC 3，请查看 multivariate.py。请记住，传入 init 和 logp 的值都是 theano 变量，而不是 numpy 数组。这足以让您入门吗？

例如，这是多元正态分布

class MvNormal(Continuous):
    """
    Multivariate normal

    :Parameters:
        mu : vector of means
        tau : precision matrix

    .. math::
        f(x \mid \pi, T) = \frac{|T|^{1/2}}{(2\pi)^{1/2}} \exp\left\{ -\frac{1}{2} (x-\mu)^{\prime}T(x-\mu) \right\}

    :Support:
        2 array of floats
    """
    def __init__(self, mu, tau, *args, **kwargs):
        super(MvNormal, self).__init__(*args, **kwargs)
        self.mean = self.median = self.mode = self.mu = mu
        self.tau = tau

    def logp(self, value):
        mu = self.mu
        tau = self.tau

        delta = value - mu
        k = tau.shape[0]

        return 1/2. * (-k * log(2*pi) + log(det(tau)) - dot(delta.T, dot(tau, delta)))

Answer 2

在 PyMC2 中，诀窍是将 a 和 b 参数放在一起：

# Code that defines the prior: p(a,b)∝(a+b)^(−5/2)
@pm.stochastic
def ab(power=-2.5, value=[1,1]):
    if np.any(value <= 0):
        return -np.Inf
    return power * np.log(value[0]+value[1])

a = ab[0]
b = ab[1]

This notebook 有一个完整的例子。