吴恩达机器学习（六）线性回归的梯度下降

线性回归的梯度下降

• 线性回归模型：线性假设函数 + 平方差代价函数
• 梯度下降算法可以优化J(θ0,θ1)最小平方差代价函数，实现好的梯度下降算法的关键，在于在导数项。
  
  
  
  
• 线性回归的代价函数，形状总是凸函数（convex）,只有一个全局最优解。
  
• 在梯度下降的过程中，假设函数h会逐渐和数据拟合。
  
• 以上我们所用到和了解的梯度下降方法，叫做Batch梯度下降法。
  Batch梯度下降法：走的每一步都会全览整个数据集。
• 梯度下降一般用于比较大的数据集。
• 使用正规方程组方法，可以计算出代价函数J的最小值，而不用多步骤的使用梯度下降。