机器学习--模型复杂度及正则化

逻辑回归会倾向于学习到$\omega$ω最大的值，怎么解决这个问题

在损失函数中引入正则项：
$L(\theta) = \sum_{i=1}^N y_{i}log(\frac{1}{1+\exp(-\omega^Tx)})+(1-y_{i})log(\frac{\exp(-\omega^Tx)}{1+\exp(-\omega^Tx})+ \frac{1}{2}\lambda \omega^2$L(θ)=i=1∑N​yi​log(1+exp(−ωTx)1​)+(1−yi​)log(1+exp(−ωTxexp(−ωTx)​)+21​λω2
通过正则项系数$\lambda$λ来限制模型参数$\omega$ω的值

模型复杂度

欠拟合：模型复杂度较低，在训练集和测试集上表现的准确率均较低，表现均不佳；
过拟合：模型复杂度较高，在训练集上高准确率，由于拟合了噪声，在测试集上低准确率，表现不佳；
泛化能力：模型在测试集上的表现能力，通常指预测未来数据的能力。

影响模型复杂度的原因

·模型本身的选择
solution:选择更简单的模型(LR,SVM)
·模型的参数个数
solution:减少参数个数(神经网络中减少单元个数)
·模型的参数空间选择
solution:正则化，使得$\vert \theta \vert$∣θ∣较小
·模型拟合过少的样本
solution:获取更多的样本，图像识别中旋转，镜像等操作

正则项的作用

关于正则化的数学解释(基于线性回归)

就是对于数据不够重要的权重$\lambda_{i}$λi​抑制的大一些，对数据分布越起作用的权重$\lambda_{i}$λi​抑制越小，这就实现了正则化，就能够防止过拟合了！