机器学习基石系列五

线性回归

平方误差梯度

矩阵求导

线性回归解

求解方式PCA，SVD取决于X矩阵性质，特征值等

误差逼近

n足够大时，Ein与Eout的逼近保证了线性可学习

逻辑回归

• sigmoid函数

• 三种线性模型比较

逻辑回归优化方向

• 梯度下降迭代优化

随机梯度下降

回归用于多分类

• OVA：每次分出一类

• OVO：每次区别两类，使用选举算法选择最终分类，避免不平衡