Keras - 如何获得非标准化的logits而不是概率

Question

我正在 Keras 中创建一个模型，并想计算我自己的指标（困惑度）。这需要使用非标准化的概率/logits。但是，keras 模型只返回 softmax 概率：

model = Sequential()
model.add(embedding_layer)
model.add(LSTM(n_hidden, return_sequences=False))
model.add(Dropout(dropout_keep_prob))
model.add(Dense(vocab_size))
model.add(Activation('softmax'))
optimizer = RMSprop(lr=self.lr)

model.compile(optimizer=optimizer, 
loss='sparse_categorical_crossentropy')

Keras FAQ 有一个解决方案来获取中间层的输出here。另一个解决方案是here。但是，这些答案将中间输出存储在不同的模型中，这不是我需要的。 我想将 logits 用于我的自定义指标。自定义指标应包含在 model.compile() 函数中，以便在训练期间对其进行评估和显示。所以我不需要将Dense 层的输出分隔在不同的模型中，而是作为我原始模型的一部分。

简而言之，我的问题是：

• 使用def custom_metric(y_true, y_pred) 定义here 概述的自定义指标时，y_pred 是否包含logits 或归一化概率？

• 如果它包含归一化的概率，我怎样才能得到非归一化的概率，即Dense层输出的logits？

Answer 1

尝试将上次激活从 softmax 更改为线性

model = Sequential()
model.add(embedding_layer)
model.add(LSTM(n_hidden, return_sequences=False))
model.add(Dropout(dropout_keep_prob))
model.add(Dense(vocab_size))
model.add(Activation('linear'))
optimizer = RMSprop(lr=self.lr)

model.compile(optimizer=optimizer, loss='sparse_categorical_crossentropy')

Answer 2

您可以创建一个模型用于训练，另一个模型用于预测。

对于训练，您可以使用函数式 API 模型，只需提取现有模型的一部分，将 Activation 放在一边：

model = yourExistingModelWithSoftmax 
modelForTraining = Model(model.input,model.layers[-2].output)

#use your loss function in this model:
modelForTraining.compile(optimizer=optimizer,loss=my_sparse_categorical_crossentropy, metrics=[my_custom_metric])

由于您将一个模型作为另一个模型的一部分，因此它们将共享相同的权重。

• 当你想训练时，使用modelForTraining.fit()
• 要预测概率时，请使用model.predict()。

Answer 3

我想我找到了解决办法

首先，我将激活层更改为线性，以便我收到@loannis Nasios 概述的 logits。

其次，为了仍将sparse_categorical_crossentropy 作为损失函数，我定义了自己的损失函数，将 from_logits 参数设置为 true。

model.add(embedding_layer)
model.add(LSTM(n_hidden, return_sequences=False))
model.add(Dropout(dropout_keep_prob))
model.add(Dense(vocab_size))
model.add(Activation('linear'))
optimizer = RMSprop(lr=self.lr)


def my_sparse_categorical_crossentropy(y_true, y_pred):
    return K.sparse_categorical_crossentropy(y_true, y_pred, from_logits=True)

model.compile(optimizer=optimizer,loss=my_sparse_categorical_crossentropy)