如何使用从 Python 中的 pickle 文件加载的模型部署机器学习模型？

Question

我创建了一个 NLP 模型并将矢量化器和模型保存在 pickle 文件中。我正在使用这些泡菜文件来预测新数据。加载泡菜大约需要 10 分钟。我想将泡菜文件加载到内存中，并在获得输入时运行预测。

我有一个文件 prediction.py

from sklearn.externals import joblib

count_vectorizer = joblib.load("C:/Count_Vectorizer.pkl")

count_classifier = joblib.load("C:/Count_Classifier.pkl")

X=sys.argv[1]

X_count = count_vectorizer.transform(X)

prediction = count_classifier.predict(X_count )

print(X,prediction)

我正在运行带有输入字符串作为参数的 python 文件。

$ python prediction.py "Hello World"

每次我运行脚本时都会加载这个泡菜文件。无论如何要制作一个程序，使泡菜文件已经加载到内存中，然后我们运行预测文件并得到结果？

Answer 1

你必须稍微改变你的代码结构。

1。守护进程.py

这部分负责将模型加载到内存中一次，并且应该一直运行从“前端”部分获取输入

import numpy as np    
from sklearn.externals import joblib

count_vectorizer = joblib.load("C:/Count_Vectorizer.pkl")    
count_classifier = joblib.load("C:/Count_Classifier.pkl")

while True:
    # Load your data from file saved on disk, pass path via input
    # User can pass data, separate script saves it and passes it to daemon
    with open(input("Pass your data here")) as f:
        X_count = count_vectorizer.transform(np.fromfile(f))

        prediction = count_classifier.predict(X_count )
        print(X,prediction)

这只是一个草图，因为我不知道您的确切用例。基本上，有一个无限循环获取文件（或此处的文件路径）并输出预测。

2。前台.py

使用subprocess 模块，您可以将路径文件从'front' 脚本发送到Daemon 等待路径并返回答案。您必须附加 Daemon 的输入和输出流以传递文件路径并从该过程中获取预测。

subprocess.run 或Popen 可能是您执行此操作、查看文档和示例用例（例如here、here 等）所需的全部内容。

编辑： @Koalapa 答案是另一种选择，正如我们所说，这在很大程度上取决于您到底想做什么，用户负载是多少等。