cost function的形式

cost function的推导满足以下过程:
1. 认为error 满足某个分布,写出样本点xi的样本的error
2. 认为样本点是相互独立的,推导出其对数似然函数
3. 求偏导,是得导函数为0,分离常数部分,得到误差的表达形式

e.g.
线性回归中关于MSE的推导:https://nk2000.github.io/2018/05/16/Linear-Regression/

常见的cost function

Cost function

均值和中位数的意义

在这样的框架下,假设fx是一个常函数,即fx=c

假设cost function 符合高斯分布时:

Cost function

样本的均值就是最好的模型

假设cost function 符合Laplace分布:

Cost function

中位数就是最好的模型

因此当给定损失函数形式的情况下,一个常函数的模型总是可求的

参考:
1. 邹博博士课件

相关文章:

  • 2021-04-21
  • 2021-08-21
  • 2021-08-21
  • 2021-11-14
  • 2021-08-21
  • 2019-10-04
  • 2021-09-23
  • 2020-05-02
猜你喜欢
  • 2021-04-29
  • 2022-01-10
  • 2018-06-10
  • 2021-08-21
  • 2021-12-23
  • 2021-08-21
  • 2021-08-21
相关资源
相似解决方案