Flux.jl 模型在添加 Sigmoid 激活函数后总是输出 1.0

Question

我最初的问题是我希望我的模型只输出 0-1，这样我就可以映射回我的分类图像标签 (Flux.jl restrict variables between 0 and 1)。所以我决定添加一个sigmoid激活函数如下：

σ = sigmoid

model = Chain(
  resnet[1:end-2],
  Dense(2048, 1000),  
  Dense(1000, 256),
  Dense(256, 2, σ),        # we get 2048 features out, and we have 2 classes
);

但是，现在我的模型只输出 1.0。关于为什么或是否我使用了错误的激活函数有什么想法吗？

Answer 1

考虑为隐藏层使用激活函数，因为多个线性层（没有非线性激活函数的密集层）仅相当于单个线性层。如果您使用的类别是排他性的（狗或猫，但不是两者），涵盖了您的所有案例（它将始终是狗或猫，而不是例如鸵鸟），那么概率的总和应为 1，softmax 应该更适合最后一个功能。 softmax 函数一般与crossentropy 一起使用 损失函数。

model = Chain(
  resnet[1:end-2],
  Dense(2048, 1000, σ),  
  Dense(1000, 256, σ),
  Dense(256, 2),
  softmax        
);

为了获得更好的数值稳定性和准确性，建议将crossentropy分别替换为logitcrossentropy（这种情况下不需要softmax）。