逻辑回归和Softmax回归虽然名字里带回归,但是常用来解决分类问题
我们通过比较这两个回归和线性回归来认识他们,他们也常被接在神经网络的最后一层。
(1)模型表达式:
机器学习2基础回归模型之逻辑回归和Softmax回归
上面g函数的名字为sigmoid函数,其特点是值位于0到1.其作用是把X映射到01之间
(2)分布假设:
线性分布假设样本服从正态分布
逻辑回归假设样本服从伯努利分布
softmax回归假设样本服从多项式分布
(3)损失函数:
机器学习2基础回归模型之逻辑回归和Softmax回归

首先说一下逻辑回归和softmax回归损失函数这么写的原因
最小化对数损失基本等价于最大化分类器的准确度
机器学习2基础回归模型之逻辑回归和Softmax回归
下面介绍稍微复杂一些的softmax回归里面损失函数对θ的导数
机器学习2基础回归模型之逻辑回归和Softmax回归
指示函数I在python中可以用int(y==q)来表示,true=1,false=0
同理,Logistic Regression的损失函数对θ的导数为
机器学习2基础回归模型之逻辑回归和Softmax回归

相关文章:

  • 2021-07-31
  • 2022-01-20
  • 2021-12-21
  • 2021-07-31
  • 2021-05-04
  • 2022-02-12
  • 2021-06-12
猜你喜欢
  • 2021-09-22
  • 2021-08-06
  • 2022-02-21
  • 2021-11-30
  • 2021-10-29
  • 2021-08-11
相关资源
相似解决方案