我的图像标题模型在所有图像上给我相同的标题答案

【问题标题】：My Image Captioning Model giving me same caption on All images我的图像标题模型在所有图像上给我相同的标题
【发布时间】：2020-06-11 12:58:12
【问题描述】：

我正在做一个与医学图像字幕相关的项目。我正在使用来自this link 的代码。

我正在使用 Indiana Data set of X 射线照片并将结果用作培训的标题。我训练成功，损失值为 0.75。但是我的最终模型为我检查过的所有图像提供了相同的标题（有些人也面临同样的问题。请查看this link 的评论）。

您能否建议我对代码的任何部分或其他任何内容进行任何更改，以便它开始为我要检查的每张图片提供适当的标题。

提前致谢。

【问题讨论】：

【解决方案1】：

查看数据集，我可以看到大部分数据非常相似（胸部 X 射线的黑白图像） - 如果我错了，请纠正我。所以似乎正在发生的是 CNN 正在学习大多数图像的共同特征。网络不仅深度/先进到足以挑选出不同的模式。根据您正在学习的教程，我不认为 VGG-16 或 19 网络正在学习图像中的区分模式。

图像字幕模型只会与底层 CNN 网络一样好。如果您的数据中有一个类别标签字段（如提供的指示/印象字段here），您实际上可以通过训练网络来预测每个图像的类别来确认这个假设，如果性能很差，您可以确认这一点.如果您有类别标签，请尝试使用一堆 CNN，并使用分类准确度最高的一个作为特征提取器。

如果您没有类别标签，我建议您尝试一些更深层次的 CNN 架构，例如 Inception 或 ResNet，看看性能是否有所提高。希望这有帮助！

【讨论】：

【解决方案2】：

确保每个班级的图片数量相等。如果您有 1000 张属于“肺炎”类别的图像，而只有 5 个属于“断肋”类别，那么您的模型几乎每次都会选择“肺炎”标签。

【讨论】：