我们可以将 Keras 模型的准确度指标用于 Image Captioning 模型吗？答案

【问题标题】：Can we use Keras model's accuracy metric for Image Captioning model?我们可以将 Keras 模型的准确度指标用于 Image Captioning 模型吗？
【发布时间】：2020-07-13 09:59:48
【问题描述】：

请考虑以下代码行。

model.compile(loss='categorical_crossentropy', optimizer='adam',metrics=['accuracy'])

我可以将metrics=['accuracy'] 用于我的图像字幕模型。我的模型定义如下：

inputs1 = Input(shape=(2048,))
fe1 = Dropout(0.2)(inputs1)
fe1=BatchNormalization()(fe1)
fe2 = Dense(256, activation='relu')(fe1)
inputs2 = Input(shape=(max_length,))
se1 = Embedding(vocabsize, embedding_dim, mask_zero=True)(inputs2)
se2 = Dropout(0.2)(se1)
se2=BatchNormalization()(se2)
se3 = LSTM(256)(se2)
decoder1 = add([fe2, se3])
decoder2 = Dense(256, activation='relu')(decoder1)
outputs = Dense(vocabsize, activation='softmax')(decoder2)
model = Model(inputs=[inputs1, inputs2], outputs=outputs)

训练这个模型得到如下输出：

我可以使用这个准确度指标来评估我的图像字幕模型吗？
如果是，那么内置计算是否考虑了预测字幕的语义？
如果问题 1 的答案是肯定的，那么 BLEU 分数和其他评估指标有什么用？
我的模型为给定的新图像提供了不错的标题。这个准确度指标值是否必须大于0.5？

【问题讨论】：

标签： machine-learning keras deep-learning computer-vision training-data

【解决方案1】：

回答我应该说的所有问题：

对于语言模型，通常使用 bleu（双语评估替补）分数，因为它可以让您更好地了解模型性能

Keras 的 acc 指标还可以，但它实际上用于分类模型或具有确定性输出的模型，但语言模型不是这样的，例如（“我很好”和“我很好”或“我很好” " 具有相同的含义，但 Keras 的准确性使它们之间有所不同）。我建议查看 Keras 实现：https://github.com/keras-team/keras/blob/master/keras/metrics.py#L439

【讨论】：