day2
总结:今天学习了线性回归、梯度下降以及梯度下降在线性回归算法中的应用等内容。
线性回归算法用来解决有监督问题中的回归问题
【算法思想】:用历史经验(x[样本特征],y[样本结果])来学习一个假设函数h,从而能够在对新样本中的x进行预测得到结果y。
用历史数据中的y与假设函数的结果h(x)进行对比,得到代价函数。
【假设函数的目标】是不断修改参数theta最终使代价函数达到最小值,即使假设函数的结果与真实结果y无限接近。
梯度下降-【求代价函数最小值】
【算法思想】:择一个参数的组合计算代价函数,然后我们寻找下一个能让代价函数值下降最多(求导,延切线的方向梯度下降最快)的参数组合。
注意:(1)梯度下降算法中的参数theta1,theta2…需要同步更新。
(2)Alpha 太大可能会越过最低点,无法收敛;alpha太小可能会收敛很慢。当接近局部最低时,导数值会自动变得越来越小,所以梯度下降将自动采取较小的幅度。
(3)梯度下降可能会陷入局部最优(偏导=0,theta不会再变),
【线性回归中的梯度下降算法】
day3
总结:【线性代数回顾】主要回顾了矩阵和向量的部分知识,其中包括矩阵、向量的定义,矩阵的加减运算、矩阵乘以向量,矩阵乘法的运算 和性质,以及矩阵的逆和转置的运算等内容
day4
总结:【线性代数回顾】主要回顾了矩阵和向量的部分知识,其中包括矩阵、向量的定义,矩阵的加减运算、矩阵乘以向量,矩阵乘法的运算 和性质,以及矩阵的逆和转置的运算等内容
conference
笔记目录:http://www.ai-start.com/ml2014/