【发布时间】：2018-04-21 11:45:50
【问题描述】：
我正在尝试在 c# 中制作一个简单的 conv 网络，并且我想制作一个 Softmax 输出层，但我现在不知道它是什么。它是具有 Softmax 激活的全连接层，还是仅输出数据的 softmax 的层？
【问题讨论】：
标签： deep-learning softmax convolutional-neural-network
【发布时间】：2018-04-21 11:45:50
【问题描述】：
Softmax 只是一个函数，它接受一个向量并输出一个大小相同的向量，其值在 [0,1] 范围内。向量内的值也遵循概率的基本规则，即。向量中的值之和 = 1。
softmax(x)_i = exp(x_i) / ( SUM_{j=1}^K exp(x_j) ) # for each i = 1,.., K
但有时人们使用 Softmax 分类器，它指的是具有输入和 1 个输出层的 MLP（这使其成为像线性 SVM 一样的线性分类器），其中将 softmax 函数应用于输出层的输出。这种设置给出了输入接近每个输出类的概率。
【讨论】：
-
顺便说一句 - 答案最后部分定义的 softmax 分类器是 逻辑回归，它与 SVM 的连接非常松散