逻辑回归:名字虽为回归,实际为传统二分类器. 决策边界可为非线性.   工业应用中先简单后复杂

sigmoid 函数

机器学习-逻辑回归理论笔记机器学习-逻辑回归理论笔记机器学习-逻辑回归理论笔记

函数功能将输出值z映射为0-1的概率值

预测函数

机器学习-逻辑回归理论笔记

机器学习-逻辑回归理论笔记

整合函数 找到y的对应函数

机器学习-逻辑回归理论笔记

似然函数  对数似然梯度上升求最大值  凸优化问题 既梯度函数(目标函数)求最优解得问题

机器学习-逻辑回归理论笔记

批量梯度下降  目标函数

机器学习-逻辑回归理论笔记

找出最小值方程 标记处为求导后等式替换的结果 为了后续消除分母

机器学习-逻辑回归理论笔记

SOFTMAX

e^h(theta^t*x)每一个都是向量  以及one-hot编码要注意比如四分类 [0 0 1 0]

机器学习-逻辑回归理论笔记

交叉熵损失函数   真实标签和预测标签概率分布的一种关系.

机器学习-逻辑回归理论笔记

相关文章: