003 Classification

分类（Classification）

给个特征向量$x$x，输出判断它的类别（Class）

应用

• 信用评分
• 医学诊断
• 手写字体辨识
• 人脸识别

二元分类

$x$x属于分类$C_1$C1​的概率如下：

引入$\sigma$σ**函数，可以使分割的边缘软化（渐变化）

假设样本$x$x服从高斯分布：

一通数学推导

Probabilistic Generative Model（概率生成模型）

Logistic Regression（逻辑回归）

我们的函数$f$f可以准备预测每个点的概率可以用$L$L标识，目标就是找让$L$L最大的$w、b$w、b

$C_1、C_2$C1​、C2​分别取0,1

为什么用交叉熵（Cross entropy），不用平方误差（square error）

因为经过一通运算，发现平方误差的梯度下降太慢

对比

多元分类（Multi-class Classification）

逻辑回归的限制

有时候你找不到一条线，很好地把类别分开

Feature Transformation一下