就像我们使用 Normal Equation 来找出线性回归中的最佳 theta 值一样，我们可以/不能使用类似的公式进行逻辑回归吗？如果不是，为什么？如果有人能解释其背后的原因，我将不胜感激。谢谢。
【问题讨论】：
标签： machine-learning linear-regression logistic-regression
不幸的是，没有，分类理论中只有一种判别方法具有封闭形式的解决方案 - 线性回归...（线性判别分析/fischer 判别是生成的，即使它们具有封闭形式的解决方案，因为拟合的分布非常简单） .
一般来说，即使对于线性回归，它也“有效”被认为是一个奇迹。据我所知，几乎不可能证明“你无法以封闭形式解决逻辑回归”，但一般的理解是，情况永远不会如此。你可以做到，如果你的特征只是二进制的，而且你只有很少的特征（因为解决方案的特征数量是指数级的），这在几年前已经展示过了，但在一般情况下 - 它被认为是不可能的.
那么为什么它对线性回归如此有效？因为一旦你计算出你的导数，你就会注意到，由此产生的问题是一组 线性 方程，m 个具有 m 个变量的方程，我们知道可以通过矩阵求逆（和其他技术）直接求解。当您区分逻辑回归成本时，产生的问题不再是线性的......它是凸的（因此是全局最优的），但不是线性的，因此 - 当前的数学没有为我们提供足够强大的工具来找到封闭形式的最优解.
【讨论】：
是的，如果我们开发一个数学模型来解决成本函数的微分形式，即线性回归的情况是“矩阵”及其逆。但是到目前为止还没有这样的工具可用。所以到现在为止是一个很大的NO。
【讨论】：
是的，但我不确定到什么程度。 这适用于二元逻辑回归。
请注意，我们处理的是逻辑回归而不是线性回归。 因此，如果我们按原样使用本应用于线性回归的正规方程，则 theta 的解将仅适用于 y = 0s，而不是 1s 和 0s。
正确的解决方案是将1和0的二进制逻辑项y变成线性项。很简单，
根据 theta * x 的逻辑函数 y： y = 1/( 1 + e**(-thetax)) #对应线性回归 y=thetax 根据 y 到 thetax： θx = -ln(1/y -1)
这意味着，在正规方程中，[0 1] 的 y 变为 [-inf inf]。由于 inf 项不适用于正规方程，我们可以使用大约 [-99999 99999]。越接近越好。
简而言之，从 y=[0s 1s] 到 y=[-999s 999s]。
【讨论】：