本篇内容参考《百面机器学习》《统计学习方法》

第一部分 理论概述

1 Softmax回归是Logistc回归的一般化,适用于k分类问题,针对每个类别都有一个参数向量机器学习--回归算法--softmax回归理论从而组成一个参数矩阵机器学习--回归算法--softmax回归理论

2 Softmax函数本质上就是将k维度实数向量压缩成另一个k维实数向量,其中每个维度取值范围是(0,1)

 机器学习--回归算法--softmax回归理论

第二部分 理论模型

1 模型前提

1)对于数据集而言,目标属性y具有k个类别(y=1,2,...,k)

2)目标属性的分布律

机器学习--回归算法--softmax回归理论

3)引入置信函数机器学习--回归算法--softmax回归理论

机器学习--回归算法--softmax回归理论

2 建立模型

机器学习--回归算法--softmax回归理论

机器学习--回归算法--softmax回归理论

注意:softmax回归的损失函数是对数(交叉熵)损失函数

 

 

 

 

 

 

 

 

 

相关文章: