如何加载模型进行推理？答案

【问题标题】：How to load model for inference?如何加载模型进行推理？
【发布时间】：2021-01-12 09:20:08
【问题描述】：

我正在使用一个简单的基于感知器的分类器在 Pytorch 中生成情感分析，完整代码在这里Classifying Yelp Reviews。

该示例进行情感分析，它输出给定的输入字符串是正面还是负面。

例子：这是一本非常小的古老的好书 -> 正面的

应用程序将最终模型与 vectorizer.json 一起存储。

所以我的问题是：为了测试模型而构建一个单独的应用程序的先决条件应该是什么，以便以后可以在网络应用程序中使用它？

以下是我目前对此的理解和疑问：

我假设测试，我们需要加载模型，加载模型参数并评估推理，请确认

model = TheModelClass(*args, **kwargs) # Model class must be defined somewhere
model.load_state_dict(torch.load(PATH))
model.eval() # run if you only want to use it for inference

一旦第 1 步完成，我希望我们可以使用 Flask 部署模型并公开一个 REST API 以进行模型推理。

【问题讨论】：

标签： python machine-learning flask deep-learning pytorch

【解决方案1】：

我找到了一个很好的教程，解释了如何加载模型进行推理，这是链接

https://pytorch.org/tutorials/recipes/recipes/saving_and_loading_models_for_inference.html

谢谢！

【讨论】：