Chang-Xiao Li Machine Learning 2019 Task5

• 1.推导LR损失函数

 

损失函数：

给定一组参数w和b最大自然估计为：

取对数：

变换形式：

即为两个伯努利分布的交叉熵。

LR的损失函数为：

2.学习LR梯度下降

因此 LR 梯度下降：

3.学习LR梯度下降

4.softmax原理

对于多分类问题

5.softmax损失函数

 

6.softmax梯度下降