我正在从 sklearn 学习逻辑回归并遇到了这个问题：http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html#sklearn.linear_model.LogisticRegression
我创建了一个实现，它显示了训练和测试的准确度分数。然而，目前还不清楚这是如何实现的。我的问题是：什么是最大似然估计？这是如何计算的？什么是误差度量？使用的优化算法是什么？
我在理论上知道以上所有内容，但是我不确定 scikit.learn 在何时何地以及如何计算它，或者我是否需要在某个时候实现它。我的准确率是 83%，这是我的目标，但我对 scikit learn 是如何实现这一点感到非常困惑。
谁能指出我正确的方向？
【问题讨论】：
标签： python numpy machine-learning scipy scikit-learn
我最近开始自己研究 LR，我仍然没有得到很多推导的步骤，但我想我知道使用了哪些公式。
首先让我们假设您使用的是最新版本的 scikit-learn，并且正在使用的求解器是 solver='lbfgs'（我相信这是默认值）。
代码在这里：https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/linear_model/logistic.py
什么是最大似然估计？这是如何计算的？
计算似然估计的函数是这个https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/linear_model/logistic.py#L57
有趣的是：
# Logistic loss is the negative of the log of the logistic function.
out = -np.sum(sample_weight * log_logistic(yz)) + .5 * alpha * np.dot(w, w)
这是formula 7 of this tutorial。该函数还计算似然梯度，然后将其传递给最小化函数（见下文）。一件重要的事情是截距是教程中公式的w0。但这只是有效的fit_intercept 是 True。
什么是误差度量？
对不起，我不确定。
使用的优化算法是什么？
查看代码中的以下几行：https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/linear_model/logistic.py#L389
就是这个函数http://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.fmin_l_bfgs_b.html
一个非常重要的事情是类是 +1 或 -1！ （对于二进制的情况，文献中0和1是常见的，但是不行）
还要注意numpy broadcasting 规则用于所有公式。 （这就是你看不到迭代的原因）
This was my attempt at understanding the code. 我慢慢地发疯了，直到撕掉 appart scikit-learn 代码（仅适用于二进制情况）。这也是inspiration too
希望对你有帮助。
【讨论】：
查看 Andrew Ng 教授关于逻辑回归的机器学习笔记（从第 16 页开始）：http://cs229.stanford.edu/notes/cs229-notes1.pdf
在逻辑回归中，您可以最小化交叉熵（这反过来又会最大化 y 给定 x 的可能性）。为了做到这一点，正在计算交叉熵（成本）函数的梯度，并用于更新分配给每个输入的算法的权重。简单来说，逻辑回归提出了一条线，通过改变其参数以使交叉熵不断下降，从而最好地区分您的两个二元类。 83% 的准确度（我不确定那是什么准确度；您应该将数据投入到训练/验证/测试中）意味着 Logistic 回归用于分类的线可以在 83% 的时间内正确区分类别。
【讨论】：
我会在 github 上查看以下内容：
链接是 sklearn 逻辑回归的实现。它包含使用的优化算法，包括牛顿共轭梯度 (newton-cg) 和 bfgs (broyden fletcher goldfarb shanno 算法)，所有这些都需要计算损失函数 (_logistic_loss) 的 hessian。 _logistic_loss 是您的似然函数。
【讨论】：