如何使用连接到预训练 CNN 的句子嵌入来构建神经网络答案

【问题标题】：How to build a Neural Network with sentence embeding concatenated to pre-trained CNN如何使用连接到预训练 CNN 的句子嵌入来构建神经网络
【发布时间】：2020-12-12 07:17:03
【问题描述】：

我想构建一个神经网络，它将从 CNN 的最后一层（例如 VGG 或 resnet）获取特征图，连接一个附加向量（例如 1X768 伯特向量），然后重新训练最后一层层分类问题。所以架构应该是这样的：

但我想为每个特征向量连接一个额外的向量（我有一个句子来描述每一帧）。

我有 5 个可能的标签，输入帧中有 100 个帧。

有人可以帮助我了解如何实现这种类型的网络吗？

【问题讨论】：

@okuoub 不幸的是，这听起来像是一项任务、家庭作业或与工作相关的项目，而您并没有试图表现出任何解决它的努力。我可能对项目的性质有误，但至少请向我们展示你已经知道和对你的代码所做的事情，并具体告诉我们你到底在哪里挣扎或不明白。然后，我们将能够更好地帮助您。谢谢！（请注意，本站不是一个教程或教学网站，教你如何实现从0到100的整个项目。相反，我们是来解决具体问题的）。
^ 是的，请提供您当前如何处理帧的代码示例，以便人们可以跳进去并建议 concat 的意义所在！
@today 请看新问题：stackoverflow.com/questions/63809805/…
@ParthaMandal 我在一个新问题中添加了我的努力：stackoverflow.com/questions/63809805/…

标签： python tensorflow keras neural-network lstm

【解决方案1】：

我建议您研究一下 Keras 功能 API。

与顺序模型（通常足以解决许多介绍性问题）不同，功能 API 允许您创建所需的任何非循环图。这意味着您可以有两个输入分支，一个用于 CNN（图像数据），另一个用于您需要执行的任何 NLP（与您提到的描述性句子有关）。然后，您可以将这两个分支的组合输出输入到网络的最后一层并产生结果。

即使您已经使用 models.Sequential() 创建了模型，重写它以使用函数式 API 应该不会太难。

更多信息和实现细节，请看这里的官方文档：https://keras.io/guides/functional_api/

【讨论】：