数据库的大小是否会影响模型的预测速度

Question

我正在 keras 中构建聊天机器人模型，并计划在树莓派上使用它。我有一个大小为 (1000000, 15, 100) 的庞大数据库，这意味着有 100 万个样本，最多 15 个单词，使用 GloVe 的嵌入维度为 100d。我建立了一个简单的模型，由 1 个嵌入层、1 个双向 lstm 层、1 个 droput 层和 2 个输出形状为 (25,) 的密集层组成。

我知道由于数据库庞大，训练过程会花费很长时间，但是数据库的大小会影响 model.predict 的速度还是速度仅受模型结构和输入的形状？

Answer 1

不，数据集的大小不会影响模型本身的预测速度，正如你所说的预测计算时间仅受模型架构和输入的维度影响。

一般而言，在嵌入式硬件中制作快速的小型模型的问题在于，小型模型（参数较少）的性能可能不如更复杂的模型（在准确性或错误方面），因此您必须在模型复杂度和计算性能之间进行权衡。