对成本函数(cost function)的理解
成本函数是用以衡量假设函数h(x)准确性的工具。
直接上公式,
是不是有种熟悉感,最小二乘法,没错,对比理解一下就好了。该函数也被称为“平方误差函数”或“均方误差”。借用一张吴恩达机器学习的图片:
因此,我们应尽量减少成本函数,使散射点与该线的平均垂直垂直距离最小。
最后贴成本函数的图片:
上图是成本函数J(θ1)与单个变量的关系,显然我们取其最小值,当θ1=1时。
上图是成本函数J(θ1,θ2)与两个变量的关系,当然我们也可以得到一个最小值。(多维变量也是一样,只是不能勇图形直观表示)
(图片素材来自吴恩达机器学习课程)