今天主要讲了一下平方误差代价函数(翻译不一定准确)与梯度下降算法。
平方误差代价函数和梯度下降算法可以用来解决回归问题。
平方误差代价函数:
这个函数的作用就是将一个数据集拟合成一条直线。
不断的选择θ0和θ1带入到hθ(x)中,并通过J(θ0,θ1)与真实的数据相比较得到代价函数的图像。例如:
平方误差代价函数的目的是找到最小的J(θ0,θ1),所以从这个案例中可以看出当θ1等于1时,hθ(x)是最接近符合所对应的数据集的函数。
梯度下降算法:
α是学习效率,在梯度下降算法中多个变量需要同步更新。对于阿尔法,太小的话,需要很多次才能到达局部最优点,太大的话,将会越过局部最优点。当最初的变量不同时找到的局部最优点可能不一样,上图中方框所圈住的部分是偏导项,所以当到达局部最优点是偏导为0,则θj不会变化。如图:
θ1就是局部最优点