机器学习基础 - [第三章：逻辑回归]（4）逻辑回归模型的代价函数简化表示与梯度下降

1、多个训练样本的代价函数简化表示

前一篇文章中，我们我们已经知道了单训练样本$cost(h_{\theta}(x)，y)$cost(hθ​(x)，y)的分段表示，实际上，它还可以写成更紧凑的形式：
$cost(h_{\theta}(x)，y)=-ylog(h_{\theta}(x))-(1-y)log(1 - h_{\theta}(x))$cost(hθ​(x)，y)=−ylog(hθ​(x))−(1−y)log(1−hθ​(x))
该函数（也叫交叉熵）具有以下性质：
$ify==1,\ \ \ cost(h_{\theta}(x)，y)=-log(h_{\theta}(x))\\ ify==0\ \ \ \ cost(h_{\theta}(x)，y)=-log(1- h_{\theta}(x))$ify==1,   cost(hθ​(x)，y)=−log(hθ​(x))ify==0    cost(hθ​(x)，y)=−log(1−hθ​(x))

当训练集的大小为m时，其代价函数$J(\theta)$J(θ)为：
$J(\theta)=\frac{1}{m}\sum_{i=1}^{m}cost(h_{\theta}(x^{(i)})，y^{(i)})$J(θ)=m1​i=1∑m​cost(hθ​(x(i))，y(i))

2、逻辑回归的梯度下降法

逻辑回归的梯度下降公式如下所示：

参数的更新形式和线性回归基本一样，只是假设函数不同。