loss/clone_0/softmax_cross_entropy_loss 和 loss/clone_0/aux_loss/value 的区别

Question

inception-v4 中的 loss/clone_0/softmax_cross_entropy_loss 和 loss/clone_0/aux_loss/value 有什么区别？ 目前，我正在使用 4 个 GPU（--num_clones=4）上的 tf-slim 和 inception-v4 网络训练一个大型模型。但这两个图表完全不同。在 batch-size=128 的 190K 步之后，我得到了这些图表：Losses

正如您在图像中看到的完全损失并具有类似的趋势。但是 softmax_cross_entropy 有一个完全不同的过程！ 这些损失中的哪一项可以更好地描述训练过程？

Answer 1

您应该使用第一个，主要的。您可以在Does the Inception Model have two softmax outputs?

阅读有关辅助头及其损失的信息

这里定义了这个 aux_loss：https://github.com/tensorflow/models/blob/4bd29ac0ba1004d7393b7d029b05257dffd5cbe6/inception/inception/inception_model.py#L135