使用 MATLAB 的简单二元逻辑回归

Question

我正在使用 MATLAB 对一个简单的分类问题进行逻辑回归。我的协变量是一个介于 0 和 1 之间的连续变量，而我的分类响应是 0（不正确）或 1（正确）的二进制变量。

我希望运行逻辑回归来建立一个预测器，该预测器将输出某些输入观察（例如，如上所述的连续变量）正确或不正确的概率。虽然这是一个相当简单的场景，但我在 MATLAB 中运行它时遇到了一些麻烦。

我的方法如下：我有一个列向量X，其中包含连续变量的值，另一个相同大小的列向量Y，其中包含X 的每个值的已知分类（例如0 或 1)。我正在使用以下代码：

[b,dev,stats] = glmfit(X,Y,'binomial','link','logit');

但是，这给了我一个荒谬的结果，p = 1.000、极高的系数 (b)（-650.5、1320.1）以及 1e6 量级的相关标准误差值。

然后我尝试使用附加参数来指定我的二项式样本的大小：

glm = GeneralizedLinearModel.fit(X,Y,'distr','binomial','BinomialSize',size(Y,1));

这给了我更符合我预期的结果。我提取了系数，使用glmval 创建估计值（Y_fit = glmval(b,[0:0.01:1],'logit');），并为拟合创建了一个数组（X_fit = linspace(0,1)）。当我使用 figure, plot(X,Y,'o',X_fit,Y_fit'-') 覆盖原始数据和模型的图时，模型的结果图基本上看起来像逻辑回归图典型的“S”形图的下 1/4。

我的问题如下：

1) 为什么我使用 glmfit 会给出奇怪的结果？
2）我应该如何解决我最初的问题：给定一些输入值，其分类正确的概率是多少？
3) 如何获得模型参数的置信区间？ glmval 应该能够输入来自glmfit 的stats 输出，但是我对glmfit 的使用没有给出正确的结果。

任何 cmets 和输入都会非常有用，谢谢！

更新（2014 年 3 月 18 日）

我发现mnrval 似乎给出了合理的结果。我可以使用[b_fit,dev,stats] = mnrfit(X,Y+1);，其中Y+1 只是将我的二元分类器变成一个名义分类器。

我可以遍历[pihat,lower,upper] = mnrval(b_fit,loopVal(ii),stats); 来获得各种pihat 概率值，其中loopVal = linspace(0,1) 或一些适当的输入范围和`ii = 1:length(loopVal)'。

stats 参数具有很大的相关系数（0.9973），但b_fit 的 p 值为 0.0847 和 0.0845，我不太清楚如何解释。有什么想法吗？另外，在我的示例中，为什么mrnfit 会超过glmfit？我应该注意到，使用GeneralizedLinearModel.fit 时系数的 p 值都是p<<0.001，并且系数估计也有很大不同。

最后，如何解释mnrfit 函数的dev 输出？ MATLAB 文档指出它是“解向量处拟合的偏差。偏差是残差平方和的概括。”这是作为独立值有用吗，还是仅与来自其他模型的 dev 值相比？

Answer 1

听起来您的数据可能是线性可分的。简而言之，这意味着由于您的输入数据是一维的，因此存在 x 的某个值，使得 x < xDiv 的所有值都属于一个类（例如 y = 0）并且 x > xDiv 的所有值都属于其他班级 (y = 1)。

如果您的数据是二维的，这意味着您可以在二维空间X 中画一条线，这样特定类的所有实例都位于该线的一侧。

这对于逻辑回归 (LR) 来说是个坏消息，因为 LR 并不是真正用于处理数据线性可分的问题。

逻辑回归试图拟合以下形式的函数：

仅当分母中的指数内的表达式为负无穷大或无穷大时，才会返回 y = 0 或 y = 1 的值。

现在，因为您的数据是线性可分的，并且 Matlab 的 LR 函数试图找到数据的最大似然拟合，所以您将获得极权重值。

这不一定是解决方案，但请尝试仅在一个数据点上翻转标签（因此对于某些索引 t 其中y(t) == 0 设置y(t) = 1）。这将导致您的数据不再是线性可分的，并且学习的权重值将被拖到更接近零的位置。