使用 sklearn 和 gRPC 进行模型服务

Question

假设我有一个来自 sklearn 的训练有素的 RandomForestClassifier 模型。我们正在使用 gRPC 为该模型提供服务，并在高流量情况下实时提供预测。据我了解，gRPC 可以支持多个线程同时运行。他们能否同时调用 RF 的 predict 方法而不会遇到并发问题？ sklearn 的 predict 线程安全吗？

如果不是这种情况，听起来您必须在每个工作线程中加载模型的单独副本。

Answer 1

我对 sklearn 不是很了解，但总的来说，gRPC 是线程安全的，对同一个方法进行多次并发调用就可以了。