回归 (GPR) 和逻辑回归 (LR) 的高斯过程答案

【问题标题】：Gaussian Processes for Regression (GPR) and Logistic Regression (LR)回归 (GPR) 和逻辑回归 (LR) 的高斯过程
【发布时间】：2014-05-30 17:13:32
【问题描述】：

我想实现一个风险预测模型（生成一个百分比）。我知道 LR 足以胜任这项工作，但我想尝试 GPR。

我的问题是：在这种情况下，GPR 是一个合适的选择吗？我知道 GPR 是在函数上生成概率分布，它可以为缺失数据提供稳健的估计，但是否可以进行概率预测？（或者分类的高斯过程可以做到这一点？）

感谢您的帮助。 :-)

【问题讨论】：

标签： matlab machine-learning statistics

【解决方案1】：

GPR 用于回归问题。 LR 代表“分类”。

您应该使用高斯过程和非线性（如 softmax）进行分类，这需要一些近似值来进行学习和预测。它包含在以下链接中。您可以运行演示以查看它是如何工作的： http://www.gaussianprocess.org/gpml/code/matlab/doc/

【讨论】：

【解决方案2】：

逻辑回归是二元响应变量的回归方法（几乎是@Daniel 所说的，但不完全是）。如果您的风险可以解释为违约/崩溃/其他的概率，那么如果您可以将数据安排为“违约”或“未违约”而不是将风险百分比作为因变量，则逻辑回归可能是合适的。

如果不是这样，您会在某种程度上陷入对百分比的回归中。您可以使用高斯过程，或者实际上任何其他回归器。我说“卡住”的原因是，使用标准方法对绑定到区间 [0, 1] 的数字进行回归存在一些问题，因为通常在整条实线。为了解决这个问题，您可以专门使用 Beta Regression (y ~ Beta)，它将因变量限制在适当的范围内，或者根据转换后的百分比进行回归（例如，logit 或 probit 转换后的比例将在整个实线上） .

【讨论】：

非常感谢您的评论。只是一个简单的问题：我已经阅读了一些关于 GP 分类 (GPC) 的教程材料，我有点困惑，如果 GPC 可以处理多维二进制数据（如 SVM）？