cs231n笔记（3）

1. Hinge Loss 表达式

Hinge loss也称之为Multiclass SVM loss
$L(W) =1/N \sum_{i=1}^N \sum_{i\neq j} max(0, S_i-Sj+1)$L(W)=1/N∑i=1N​∑i​=j​max(0,Si​−Sj+1)

2. 正则化

当Hinge loss = 0 时，W的取值不唯一，而通过添加正则项可以使得w的值唯一。

3. Softmax 与cross-entropy损失公式

Softmax: $P(Y=k|X=x_i)=\frac{e^{s_k}}{\sum_j e^{s_j}}$P(Y=k∣X=xi​)=∑j​esj​esk​​
cross-entropy loss: $L = -log(P(Y=k|X=x_i))$L=−log(P(Y=k∣X=xi​))
最大值是无穷大，最小值是0.
softmax 求导：
$\frac{df(x)}{d(x)} = lim_{h->0} \frac{f(x+h)-f(x)}{h}$d(x)df(x)​=limh−>0​hf(x+h)−f(x)​

4. Hinge loss与Softmax的区别

Hinge loss主要用于SVM中，而Softmax 分类器可以理解为逻辑回归分类器面对多个分类的一般话归纳，其输出(归一化的分类概率)更加直观,且可以从概率上解释。