有没有办法从 triton 推理服务器获取 config.pbtxt 文件答案

【问题标题】：Is there a way to get the config.pbtxt file from triton inferencing server有没有办法从 triton 推理服务器获取 config.pbtxt 文件
【发布时间】：2022-07-08 14:19:33
【问题描述】：

最近，我在运行推理服务器时遇到了 triton 服务配置文件禁用标志“--strict-model-config=false”的解决方案。这将允许在从模型存储库加载模型时创建自己的配置文件。

sudo docker run --rm --net=host -p 8000:8000 -p 8001:8001 -p 8002:8002 \
-v /home/rajesh/custom_repository:/models nvcr.io/nvidia/tritonserver:22.06-py3 \
tritonserver --model-repository=/models --strict-model-config=false

我想从 triton 推理服务器获取生成的配置文件，因为我们可以使用批处理配置和其他参数。有没有办法为我在服务器中加载的模型获取内置生成的 config.pbtxt 文件，以便我可以调整批量大小和其他参数。

【问题讨论】：

标签： machine-learning deep-learning nvidia triton tritonserver

【解决方案1】：

根据以下链接的参考，在使用以下 curl 命令将模型存储库加载到 triton 服务器后，可以找到加载的模型配置。

https://github.com/triton-inference-server/server/blob/main/docs/model_configuration.md#minimal-model-configuration

命令：

curl localhost:8000/v2/models/<model_name>/config

【讨论】：