Logstic回归采用sigmoid函数的原因(sigmoid函数能表示二项分布概率的原因)

sigmoid函数
\[f(x)=\frac{1}{1+e^{-x}}\]
Logstic回归采用sigmoid函数的原因

直觉上,采用sigmoid函数来模拟(0, 1)段函数是因为sigmoid函数接近(0, 1)分段函数且连续可导(即数学性质好)。

从分布的角度进行理解

指数族分布
Logstic回归采用sigmoid函数的原因

将二项分布表示成指数族分布
\[\begin{split} p(y;\phi)&={\phi}^y(1-\phi)^{1-y}\\ &=e^{(ylog\phi+(1-y)log(1-\phi))}\\ &=e^{[y(log(\frac{\phi}{1-\phi}))+log(1-\phi)]} \end{split}\]
Thus,
\[\begin{split} {\eta}^{\rm{T}}&=(log(\frac{\phi}{1-\phi}))\\ {\phi}&=\frac{1}{1+e^{-\eta}}\\ T(y)&=y\\ a(\eta)&=-log(1-\phi)\\ &=log(1+e^{\eta})\\ b(y)&=1 \end{split}\]
\({\phi}=\frac{1}{1+e^{-\eta}}\)看出可使用sigmoid函数代替(0, 1)分段函数。

相关文章:

  • 2022-12-23
  • 2021-11-11
  • 2021-08-03
  • 2021-11-09
  • 2021-08-13
  • 2022-01-12
  • 2021-04-20
猜你喜欢
  • 2021-04-07
  • 2021-04-06
  • 2022-12-23
  • 2021-07-11
  • 2022-12-23
  • 2022-12-23
  • 2021-10-10
相关资源
相似解决方案