机器学习算法（一）

一、线性回归

给定一组数据$(x_{i},y_{i})$(xi​,yi​)，$y_{i}$yi​是连续的，用线性模型$\hat{y}_{i}=h_{\theta}(x_{i})=\theta^{T}x_{i}$y^​i​=hθ​(xi​)=θTxi​，估计值$\hat{y}_{i}$y^​i​与实际值$y_{i}$yi​间存在误差$\varepsilon_{i}$εi​，即
$y_{i}=\theta^{T}x_{i}+\varepsilon_{i}(1)$yi​=θTxi​+εi​(1).
误差$\varepsilon_{i}$εi​属于独立同分布的，根据大数定理，$\varepsilon_{i} \sim\mu(0,\sigma^{2})$εi​∼μ(0,σ2),则有：
$p(\varepsilon_{i} ) = \frac{1}{\sqrt{2\pi}}e^{-\frac{\varepsilon_{i}^{2}}{\sigma^{2}}}(2)$p(εi​)=2π​1​e−σ2εi2​​(2)
$\varepsilon_{i}=y_{i}-\theta^{T}x_{i}$εi​=yi​−θTxi​带入(2)式有，
$p(y_{i}|x_{i},\theta ) =\frac{1}{\sqrt{2\pi}}e^{-\frac{(y_{i}-\theta^{T}x_{i})^{2}}{\sigma^{2}}} (3)$p(yi​∣xi​,θ)=2π​1​e−σ2(yi​−θTxi​)2​(3)
转成了$x_{i},\theta$xi​,θ已知的情况下，$y_{i}$yi​发生的概率。
最大似然函数为
$L(\theta)=\Pi_{i=1}^{m}p(y_{i}|x_{i},\theta )(4)$L(θ)=Πi=1m​p(yi​∣xi​,θ)(4)
将（3）式带入(4)中，然后取对数，最后得到
$J(\theta)=\frac{1}{2}\Sigma_{i=1}^{m}(h_{\theta}(x_{i})-y_{i})^{2}=\frac{1}{2}(\theta^{T}X-Y)^{T}(\theta^{T}X-Y)$J(θ)=21​Σi=1m​(hθ​(xi​)−yi​)2=21​(θTX−Y)T(θTX−Y)
通过最小二乘法，求出参数$\theta$θ

方法二：最小均方误差（整体误差的平方和最小，几何方法）
$cost(\theta)=min{\frac{1}{2}\Sigma_{i=1}^{m}(h_{\theta}(x_{i})-y_{i})^{2}} (5)=min{\frac{1}{2}(\theta^{T}X-Y)^{T}(\theta^{T}X-Y)}$cost(θ)=min21​Σi=1m​(hθ​(xi​)−yi​)2(5)=min21​(θTX−Y)T(θTX−Y)
为了求(5)式的最小值，由于$cost(\theta)>=0$cost(θ)>=0，对$\theta$θ求导，导数为0的点记为参数$\theta$θ的值，即可得出线性模型$\hat{y}_{i}=h_{\theta}(x_{i})=\theta^{T}x_{i}$y^​i​=hθ​(xi​)=θTxi​

在$X^{T}X$XTX中加入了$\lambda$λ后，带入$J(\theta)$J(θ)中，

二、通过交叉验证选取超参数

三、梯度下降算法