关于 Google Colab Transformer 教程的问题答案

【问题标题】：Question about Google Colab Transformer Tutorial关于 Google Colab Transformer 教程的问题
【发布时间】：2022-01-16 00:26:06
【问题描述】：

我正在尝试按照此处的 Tensorflow Transformer 教程进行操作：

在教程中，他们从原始的“Attention is All You Need”论文中重现了 Transformer 模型的图像。在图像中，Transformer 模型的最后一层是 Dense 层，然后是 Softmax Activation。但是在代码中我只看到这样的内容：

self.final_layer = tf.keras.layers.Dense(target_vocab_size)

定义密集层的位置。但是我在教程中的任何地方都找不到 Softmax Activation。

我错过了什么？提前感谢您的帮助。

【问题讨论】：

【解决方案1】：

再仔细看notebook，发现损失函数是这样计算的：

loss_object = tf.keras.losses.SparseCategoricalCrossentropy(
    from_logits=True, reduction='none')

如以下链接中所述，将 from_logits 设置为 True 可确保在损失计算期间应用 Softmax。

因此 Softmax 激活不需要在 Transformer 模型的 Dense 层中应用。

【讨论】：