机器学习_线性回归

房价预测的回归问题，如下图：

1、损失函数的推导过程

• 高斯分布
  噪声服从高斯分布
  
• 最大似然估计
  写出噪声的联合概率分布，求对数，求似然解
  
• 最小二乘损失函数
  得到$L(\theta)$L(θ)最小时的最小二乘损失函数。
  

---

---

线性回归一般形式：


线性回归的向量写法：

---

---

2、正则化

加正则化项后，为了使损失函数最小，则需要让正则化项越小越好，从而使$\theta$θ的值变小，甚至为零。$\lambda$λ越大，为使$J(\theta)$J(θ)小，$\theta$θ就会越小，从而防止过拟合。
Ridge回归（$J(\theta)$J(θ)+$l_2$l2​ norm）


Lasso回归（$J(\theta)$J(θ)+$l_1$l1​ norm）


Lasso具有特征选择能力,Lasso回归能够使得损失函数中的许多θ均变成0，这点要优于岭回归，因为岭回归是要所有的θ均存在的，这样计算量Lasso回归将远远小于岭回归。

---

---

3、求解参数$\theta$θ

• 直接求解（特征维数低，计算简单）
  、
• 优化方法（特征维数高）
  1）初始化$\theta$θ
  2）最优化方法求解使$J(\theta)$J(θ)最小的$\theta$θ
  • i. 批量梯度下降法（BGD）
    
    每一次参数更新，使用所有样本
    
  • ii. 随机梯度下降法（SGD）
    
    每一次参数更新，使用一个样本，可能会跳出局部最小值，效率高
    
  • iii. 1 二者综合（mini_batch）
    
    每一次参数更新，使用样本中的一小部分
    

---

---

Logistic回归

• 分类问题的首选算法

多分类：Softmax回归

技术点

• 梯度下降法
• 似然估计
• 特征选择