具有 CTC 损失的 CNN答案

【问题标题】：CNN with CTC loss具有 CTC 损失的 CNN
【发布时间】：2020-07-25 18:53:36
【问题描述】：

我想使用预训练的 CNN 模型（ResNet50、VGG 等）提取特征，并使用带有 CTC 损失函数的特征。

我想将其构建为文本识别模型。

有人知道我该如何实现这一目标吗？

【问题讨论】：

标签： loss-function resnet transfer-learning conv-neural-network ctc

【解决方案1】：

我不确定您是要微调预训练模型还是使用模型进行特征提取。要执行后者，冻结 pettrained 模型权重（在 PyTorch 中有几种方法可以做到这一点，最简单的方法是在模型上调用 .eval()），并将模型最后一层的 logits 提供给新的输出头。有关更深入的指南，请参阅 PyTorch 教程 here。

【讨论】：

我正在使用它进行特征提取。我正在使用 keras。我冻结了所有模型层，然后添加了两个密集层。第二个是softmax。在此之后，我使用 CTC 损失函数编译模型，如下所述：keras.io/examples/image_ocr 但出现错误：尺寸必须为 2，但对于具有输入形状的“ctc_3/transpose_2”（操作：“转置”）为 3： [?,82], [3].