三、数学 求导
1.常见函数的导数
2.导数的四则运算
四、线性回归的损失和优化
1.损失函数
总损失定义为：
- yi为第i个训练样本的真实值
- h(xi)为第i个训练样本特征值组合预测函数
- 又称最小二乘法
如何去减少这个损失，使我们预测的更加准确些？既然存在了这个损失，我们一直说机器学习有自动学习的功能，在线性回归这里更是能够体现。这里可以通过一些优化方法去优化（其实是数学当中的求导功能）回归的总损失！！！
2.优化算法
如何去求模型中的W，使得损失最小？（目的是找到最小损失对应的W值）
- 线性回归经常使用的两种优化算法
- 正规方程
- 梯度下降法
3.正规方程
3.1 什么是正规方程
理解：X为特征值矩阵，y为目标值矩阵。直接求到最好的结果
缺点：当特征过多过复杂时，求解速度太慢并且得不到结果
3.2 正规方程的推导
-
推导方式一：
把该损失函数转换成矩阵写法：
其中y是真实值矩阵，X是特征值矩阵，w是权重矩阵。
对其求解关于w的最小值，起止y,X已知二次函数直接求导，导数为零的位置，即为最小值。
求导：
注：式(1)到式(2)推导过程中, X是一个m行n列的矩阵，并不能保证其有逆矩阵，但是右乘XT把其变成一个方阵，保证其有逆矩阵。
式（5）到式（6）推导过程中，和上类似。