如何在 Google Colab 上创建火炬服务器并使用预测答案

【问题标题】：How can i create torch server on Google Colab and use prediction如何在 Google Colab 上创建火炬服务器并使用预测
【发布时间】：2022-07-26 03:23:22
【问题描述】：

我尝试在 google colab 上创建一个 torchserve，但加载需要很长时间，而且似乎我什至无法连接到该服务器。这可以在 colab 上创建一个 torchserve 吗？这是我尝试这样做时显示的内容。

删除孤立的 pid 文件。警告：不支持 sun.reflect.Reflection.getCallerClass。这会影响性能。 2022-05-01T10:56:00,634 [INFO] 主要 org.pytorch.serve.servingsdk.impl.PluginsManager - 正在初始化插件管理器... 2022-05-01T10:56:00,775 [INFO] 主要 org.pytorch.serve.ModelServer - 火炬服务版本：0.5.3 TS 主页：/usr/local/lib/python3.8/site-packages 当前目录：/内容临时目录：/tmp GPU数量：0 CPU 数量：2 最大堆大小：3248 M Python 可执行文件：/usr/local/bin/python 配置文件：/content/drive/MyDrive/COferenceGerman/config.properties 推理地址：http://0.0.0.0:8000 管理地址：http://0.0.0.0:8001 指标地址：http://0.0.0.0:8002 模型商店：/content/drive/MyDrive/COferenceGerman 初始模型：droc_incremental_no_segment_distance.mar 日志目录：/content/logs 指标目录：/content/logs 网络线程：0 Netty 客户端线程：0 每个模型的默认工人：2 黑名单正则表达式：不适用最大响应大小：6553500 最大请求大小：6553500 限制最大图像像素：true 首选直接缓冲区：false 允许的 URL：[file://.|http(s)?://.] 允许模型的自定义 python 依赖项：false Metrics 报告格式：prometheus 启用指标 API：true 工作流存储：/content/drive/MyDrive/COferenceGerman 型号配置：不适用 2022-05-01T10:56:00,784 [INFO] 主要 org.pytorch.serve.servingsdk.impl.PluginsManager - 正在加载快照序列化插件... 2022-05-01T10:56:00,824 [INFO] main org.pytorch.serve.ModelServer - 加载初始模型：droc_incremental_no_segment_distance.mar 2022-05-01T10:56:13,006 [DEBUG] main org.pytorch.serve.wlm.ModelVersionedRefs - 为模型 droc_incremental_no_segment_distance 添加新版本 0.0.1 2022-05-01T10:56:13,009 [DEBUG] main org.pytorch.serve.wlm.ModelVersionedRefs - 将模型 droc_incremental_no_segment_distance 的默认版本设置为 0.0.1 2022-05-01T10:56:13,010 [INFO] 主 org.pytorch.serve.wlm.ModelManager - 模型 droc_incremental_no_segment_distance 已加载。 2022-05-01T10:56:13,011 [DEBUG] 主要 org.pytorch.serve.wlm.ModelManager - updateModel：droc_incremental_no_segment_distance，计数：2 2022-05-01T10:56:13,032 [INFO] main org.pytorch.serve.ModelServer - 使用：EpollServerSocketChannel 初始化推理服务器。 2022-05-01T10:56:13,039 [调试] W-9000-droc_incremental_no_segment_distance_0.0.1 org.pytorch.serve.wlm.WorkerLifeCycle - Worker cmdline: [python3, /usr/local/lib/python3.8/site-packages/ ts/model_service_worker.py, --sock-type, unix, --sock-name, /tmp/.ts.sock.9000] 2022-05-01T10:56:13,051 [DEBUG] W-9001-droc_incremental_no_segment_distance_0.0.1 org.pytorch.serve.wlm.WorkerLifeCycle - Worker cmdline: [python3, /usr/local/lib/python3.8/site-packages/ ts/model_service_worker.py, --sock-type, unix, --sock-name, /tmp/.ts.sock.9001] 2022-05-01T10:56:13,318 [警告] W-9001-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 回溯（最近一次通话最后）： 2022-05-01T10:56:13,327 [警告] W-9001-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 文件“/usr/local/lib/python3.8/site-packages/ts/model_service_worker.py”，第 17 行，在 2022-05-01T10:56:13,329 [警告] W-9001-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 从 ts.model_loader 导入 ModelLoaderFactory 2022-05-01T10:56:13,331 [警告] W-9001-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 文件“/usr/local/lib/python3.8/site-packages/ts/model_loader.py”，第 16 行，在 2022-05-01T10:56:13,333 [警告] W-9001-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 来自 ts.service 导入服务 2022-05-01T10:56:13,333 [警告] W-9001-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 文件“/usr/local/lib/python3.8/site-packages/ts/service.py”，第 14 行，在 2022-05-01T10:56:13,339 [警告] W-9001-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 来自 ts.protocol.otf_message_handler 导入 create_predict_response 2022-05-01T10:56:13,340 [警告] W-9001-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 文件“/usr/local/lib/python3.8/site-packages/ts/protocol/otf_message_handler.py”，行15，在 2022-05-01T10:56:13,341 [警告] W-9001-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 导入手电筒 2022-05-01T10:56:13,347 [INFO] main org.pytorch.serve.ModelServer - 推理 API 绑定到：http://0.0.0.0:8000 2022-05-01T10:56:13,349 [INFO] main org.pytorch.serve.ModelServer - 使用：EpollServerSocketChannel 初始化管理服务器。 2022-05-01T10:56:13,350 [警告] W-9001-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - ModuleNotFoundError：没有名为“火炬”的模块 2022-05-01T10:56:13,367 [INFO] main org.pytorch.serve.ModelServer - 管理 API 绑定到：http://0.0.0.0:8001 2022-05-01T10:56:13,367 [INFO] main org.pytorch.serve.ModelServer - 使用：EpollServerSocketChannel 初始化 Metrics 服务器。 2022-05-01T10:56:13,369 [INFO] main org.pytorch.serve.ModelServer - Metrics API 绑定到：http://0.0.0.0:8002 2022-05-01T10:56:13,373 [警告] W-9000-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 回溯（最近一次通话最后）： 2022-05-01T10:56:13,377 [警告] W-9000-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 文件“/usr/local/lib/python3.8/site-packages/ts/model_service_worker.py”，第 17 行，在 2022-05-01T10:56:13,377 [警告] W-9000-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 从 ts.model_loader 导入 ModelLoaderFactory 2022-05-01T10:56:13,378 [警告] W-9000-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 文件“/usr/local/lib/python3.8/site-packages/ts/model_loader.py”，第 16 行，在 2022-05-01T10:56:13,378 [警告] W-9000-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 来自 ts.service 导入服务 2022-05-01T10:56:13,378 [警告] W-9000-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 文件“/usr/local/lib/python3.8/site-packages/ts/service.py”，第 14 行，在 2022-05-01T10:56:13,378 [警告] W-9000-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 来自 ts.protocol.otf_message_handler 导入 create_predict_response 2022-05-01T10:56:13,379 [警告] W-9000-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 文件“/usr/local/lib/python3.8/site-packages/ts/protocol/otf_message_handler.py”，行15，在 2022-05-01T10:56:13,379 [警告] W-9000-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - 进口火炬 2022-05-01T10:56:13,379 [警告] W-9000-droc_incremental_no_segment_distance_0.0.1-stderr MODEL_LOG - ModuleNotFoundError：没有名为“火炬”的模块 2022-05-01T10:56:13,400 [信息] W-9001-droc_incremental_no_segment_distance_0.0.1-stderr org.pytorch.serve.wlm.WorkerLifeCycle - 停止扫描仪 - W-9001-droc_incremental_no_segment_distance_0.0.1-stderr 2022-05-01T10:56:13,403 [警告] W-9001-droc_incremental_no_segment_distance_0.0.1 org.pytorch.serve.wlm.WorkerLifeCycle - terminateIOStreams() threadName=W-9001-droc_incremental_no_segment_distance_0.0.1-stderr 2022-05-01T10:56:13,400 [信息] W-9001-droc_incremental_no_segment_distance_0.0.1-stdout org.pytorch.serve.wlm.WorkerLifeCycle - 停止扫描仪 - W-9001-droc_incremental_no_segment_distance_0.0.1-stdout 2022-05-01T10:56:13,404 [警告] W-9001-droc_incremental_no_segment_distance_0.0.1 org.pytorch.serve.wlm.WorkerLifeCycle - terminateIOStreams() threadName=W-9001-droc_incremental_no_segment_distance_0.0.1-stdout 2022-05-01T10:56:13,428 [信息] W-9000-droc_incremental_no_segment_distance_0.0.1-stderr org.pytorch.serve.wlm.WorkerLifeCycle - 停止扫描仪 - W-9000-droc_incremental_no_segment_distance_0.0.1-stderr 2022-05-01T10:56:13,428 [信息] W-9000-droc_incremental_no_segment_distance_0.0.1-stdout org.pytorch.serve.wlm.WorkerLifeCycle - 停止扫描仪 - W-9000-droc_incremental_no_segment_distance_0.0.1-stdout 2022-05-01T10:56:13,430 [警告] W-9000-droc_incremental_no_segment_distance_0.0.1 org.pytorch.serve.wlm.WorkerLifeCycle - terminateIOStreams() threadName=W-9000-droc_incremental_no_segment_distance_0.0.1-stderr 2022-05-01T10:56:13,430 [警告] W-9000-droc_incremental_no_segment_distance_0.0.1 org.pytorch.serve.wlm.WorkerLifeCycle - terminateIOStreams() threadName=W-9000-droc_incremental_no_segment_distance_0.0.1-stdout 2022-05-01T10:56:13,431 [错误] W-9000-droc_incremental_no_segment_distance_0.0.1 org.pytorch.serve.wlm.WorkerThread - 后端工作者错误 org.pytorch.serve.wlm.WorkerInitializationException：后端流关闭。在 org.pytorch.serve.wlm.WorkerLifeCycle.startWorker(WorkerLifeCycle.java:139) ~[model-server.jar:?] 在 org.pytorch.serve.wlm.WorkerThread.connect(WorkerThread.java:292) ~[model-server.jar:?] 在 org.pytorch.serve.wlm.WorkerThread.run(WorkerThread.java:179) [model-server.jar:?] 在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:515) [?:?] 在 java.util.concurrent.FutureTask.run(FutureTask.java:264) [?:?] 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1128) [?:?] 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628) [?:?] 在 java.lang.Thread.run(Thread.java:829) [?:?] 2022-05-01T10:56:13,408 [错误] W-9001-droc_incremental_no_segment_distance_0.0.1 org.pytorch.serve.wlm.WorkerThread - 后端工作者错误 org.pytorch.serve.wlm.WorkerInitializationException：后端流关闭。在 org.pytorch.serve.wlm.WorkerLifeCycle.startWorker(WorkerLifeCycle.java:139) ~[model-server.jar:?] 在 org.pytorch.serve.wlm.WorkerThread.connect(WorkerThread.java:292) ~[model-server.jar:?] 在 org.pytorch.serve.wlm.WorkerThread.run(WorkerThread.java:179) [model-server.jar:?] 在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:515) [?:?] 在 java.util.concurrent.FutureTask.run(FutureTask.java:264) [?:?] 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1128) [?:?] 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628) [?:?] 在 java.lang.Thread.run(Thread.java:829) [?:?] 模型服务器已启动。 2022-05-01T10:56:13,759 [警告] pool-3-thread-1 org.pytorch.serve.metrics.MetricCollector - 工作进程 pid 尚不可用。 2022-05-01T10:56:13,833 [INFO] pool-3-thread-1 TS_METRICS - CPUUtilization.Percent:100.0|#Level:Host|#hostname:649a8b344986,timestamp:1651402573 2022-05-01T10:56:13,835 [INFO] pool-3-thread-1 TS_METRICS - DiskAvailable.Gigabytes:66.32177734375|#Level:Host|#hostname:649a8b344986,timestamp:1651402573 2022-05-01T10:56:13,837 [INFO] pool-3-thread-1 TS_METRICS - DiskUsage.Gigabytes:41.377681732177734|#Level:Host|#hostname:649a8b344986,timestamp:1651402573 2022-05-01T10:56:13,838 [INFO] pool-3-thread-1 TS_METRICS - DiskUtilization.Percent:38.4|#Level:Host|#hostname:649a8b344986,timestamp:1651402573 2022-05-01T10:56:13,839 [INFO] pool-3-thread-1 TS_METRICS - MemoryAvailable.Megabytes:11904.3984375|#Level:Host|#hostname:649a8b344986,timestamp:1651402573 2022-05-01T10:56:13,840 [INFO] pool-3-thread-1 TS_METRICS - MemoryUsed.Megabytes:794.34375|#Level:Host|#hostname:649a8b344986,timestamp:1651402573 2022-05-01T10:56:13,841 [INFO] pool-3-thread-1 TS_METRICS - MemoryUtilization.Percent:8.3|#Level:Host|#hostname:649a8b344986,timestamp:1651402573

当我尝试预测时 It just load forever

知道如何在 colab 上解决此问题吗？它在我的电脑上正常工作，但我需要在 colab 上。

【问题讨论】：

标签： google-colaboratory torchserve

【解决方案1】：

说有错误

ModuleNotFoundError: No module named 'torch'

即使你修复它。在 Google Colab 上运行服务器会很棘手，因为 google 禁止这样使用 colab 资源，并且他们禁用了 ssh 和其他可以将 torchserve 用作服务器的方式。但是，如果客户端进程也在 colab 上，我认为如果您修复错误，它可能会起作用。

【讨论】：