机器学习(三)回归问题（上）

回归问题

• 1. 线性回归

---

        假定示例 x 有 d 个属性，则 x 可以表示成 x = (x₁; x₂; … ; x_d)，其中 x_i 是 x 的第 i 个属性上的取值，此时构建个线性模型来进行预测的函数，即
                                                
        向量形式：
                        

---

 

1. 线性回归

        假定数据集D = { (x₁，y₁)，(x₂，y₂)，… ，(x_m，y_m) }，其中 x_i = ( x_i1；x_i2；… ；x_id)。
                        
                        
                        
        我们一般常见的还是多元线性回归，因此参照上面的 多元最小二乘法。

最终需要计算出w^*出来：
                $w^{*}=arg\ \min_{w}\left \| y-Xw\right \|_{2}^{2}=(y-Xw)^{T}(y-Xw)$w∗=arg minw​∥y−Xw∥22​=(y−Xw)T(y−Xw)
                

注意：

1. 矩阵求导不明白可参考：计算方法(向量/矩阵微分)
2. 梯度下降法参考：机器学习之GD、SGD