比较贝叶斯线性回归与线性回归

Question

最近学习了贝叶斯线性回归模型，但让我感到困惑的是，在什么情况下我们应该使用线性回归，以及何时使用贝叶斯版本。这两个人的表现如何？ 贝叶斯逻辑回归和逻辑回归是否相同？我读了一篇关于使用贝叶斯概率回归预测广告点击率的论文，我只是想知道为什么使用贝叶斯版本？

Answer 1

在线性回归和逻辑回归这两种情况下，贝叶斯版本使用贝叶斯推理上下文中的统计分析，例如Bayesian linear regression。

根据维基百科，

这（普通线性回归）是一种常客方法，它假设有足够的测量值来说明有意义的事情。在贝叶斯方法中，数据以先验概率分布的形式补充了额外的信息。根据贝叶斯定理，将参数的先验信念与数据的似然函数相结合，得到参数的后验信念。

常用的贝叶斯分析方式（加入贝叶斯味道）：

1. 找出数据的似然函数。
2. 选择所有未知参数的先验分布。
3. 使用贝叶斯定理求所有参数的后验分布。

为什么选择贝叶斯版本？ ^[1]

• 贝叶斯模型更灵活，可以处理更复杂的模型。
• 贝叶斯模型选择可能更胜一筹 (BIC/AIC)。
• 贝叶斯层次模型更容易扩展到多个级别。
• 哲学差异（与常客分析相比）。
• 贝叶斯分析在小样本中更准确（但随后可能取决于 先验）。
• 贝叶斯模型可以包含先验信息

This 主持了一些关于贝叶斯分析的精彩演讲幻灯片。