week3-2.Logistic Regression Model


一、Cost Function

逻辑回归的基本问题:
吴恩达机器学习笔记--第三周-2.逻辑回归模型
吴恩达机器学习笔记--第三周-2.逻辑回归模型
使用线性回归中的代价函数J不合适。因为h(x)=1/(1+e^(-theta'*x))是非线性的,带入后得到的代价函数是非凸的(non-convex),有很多局部最优点,可能找不到全局最优。
逻辑回归中使用的代价函数J:
吴恩达机器学习笔记--第三周-2.逻辑回归模型
吴恩达机器学习笔记--第三周-2.逻辑回归模型
吴恩达机器学习笔记--第三周-2.逻辑回归模型

二、Simplified Cost Function and Gradient Descent

对cost函数(方程组)进行化简:
吴恩达机器学习笔记--第三周-2.逻辑回归模型
化简后的J函数为:
吴恩达机器学习笔记--第三周-2.逻辑回归模型
向量表示:
吴恩达机器学习笔记--第三周-2.逻辑回归模型
梯度计算公式(确定theta的公式):
吴恩达机器学习笔记--第三周-2.逻辑回归模型
发现将J函数带入计算后得到的公式与线性回归中的一样。
向量表示:
吴恩达机器学习笔记--第三周-2.逻辑回归模型

三、Advanced Optimization

吴恩达机器学习笔记--第三周-2.逻辑回归模型
吴恩达机器学习笔记--第三周-2.逻辑回归模型
高级优化算法可以再每轮迭代中自动更改学习率alpha,所以不用人为指定。
关于高级优化函数fminunc的使用:
吴恩达机器学习笔记--第三周-2.逻辑回归模型
initialTheta必须是不少于二维的向量。
吴恩达机器学习笔记--第三周-2.逻辑回归模型

相关文章:

  • 2021-09-07
  • 2021-04-19
  • 2021-11-27
  • 2021-05-23
  • 2021-11-01
  • 2022-12-23
  • 2022-12-23
  • 2021-11-14
猜你喜欢
  • 2021-06-10
  • 2021-08-29
  • 2021-06-20
  • 2022-12-23
  • 2021-11-22
  • 2021-05-23
  • 2021-09-16
相关资源
相似解决方案