第一步--定义函数集

x 和 w 都是向量,可以从朴素贝叶斯推出来这个公式

李宏毅机器学习之逻辑回归笔记
)

第二步--定义函数的好坏

假设每个样本都是基于$$f_{w, b}(x)=P_{w, b}\left(C_{1} \mid x\right)$$ 该函数,所以可以得到训练数据的可能性函数,使之最大的参数就是最好的参数。

李宏毅机器学习之逻辑回归笔记
)

将函数取log,并且转化为求最小值的问题,将c1,c2换为取值为0,1的y1, y2

李宏毅机器学习之逻辑回归笔记
)

经过转换得到两个变量的交叉熵公式,也可以理解为损失函数,将其最小值最为优化的目标

李宏毅机器学习之逻辑回归笔记
)

第三步--找到最好的函数

对损失函数求导,得到变形

李宏毅机器学习之逻辑回归笔记
)

对 w 求偏导

李宏毅机器学习之逻辑回归笔记
)

逻辑回归和线性回归的对比

李宏毅机器学习之逻辑回归笔记
)

Discriminative v.s. Generative

采用概率模型找到\(\mu\) 和 协方差的方法称为生成法,通过逻辑回归直接找到w 和 b的方法称为discriminative,

李宏毅机器学习之逻辑回归笔记
)

Multi-class Classification

李宏毅机器学习之逻辑回归笔记
)

相关文章:

  • 2021-10-05
  • 2021-08-12
  • 2021-12-10
  • 2021-08-29
  • 2021-06-29
  • 2021-11-20
  • 2021-09-30
  • 2021-09-02
猜你喜欢
  • 2021-12-02
  • 2021-11-25
  • 2022-12-23
  • 2021-07-31
  • 2021-11-11
  • 2021-12-07
  • 2021-09-24
相关资源
相似解决方案