如何将多个图像输入（一批图像）输入到 Nvidia TensorRT 的推理中？答案

【问题标题】：How to feed multiple inputs of images (batch of images) in inference to a Nvidia TensorRT?如何将多个图像输入（一批图像）输入到 Nvidia TensorRT 的推理中？
【发布时间】：2021-03-10 10:04:03
【问题描述】：

环境

我使用支持 trt 和 pycuda 的 tlt container version2：张量版本：7.0.0-1+cuda10.0 GPU 类型：1080 Ti

当我对单个图像进行推理时，这部分代码可以完美运行：

np.copyto(inputs[0].host, img.ravel())

但是当我为列表中的多个图像运行它时（batch_size>1）：

np.copyto(inputs[0].host, img_list.ravel())

它给了我一个错误。

trt 模型是否支持在推理中输入多个图像？如果是，那么如何将多个图像输入到 tensorrt 推理部分的 input[0].host 中？

【问题讨论】：

标签： python nvidia tensorrt

【解决方案1】：

因此，GPU 及其容纳图像的“容量”决定了它可以容纳多少给定尺寸的图像。有一种叫做 GPU 内存的东西，如果是 NVIDIA A100（这是 NVIDIA 目前可用的最高容量 GPU），它是 40GB。所以这一切最终归结为你的 GPU 的内存，与 TensorRT 无关，TensorRT 只是一个 SDK

【讨论】：

感谢 Umang Sharma。你知道如何将多个图像输入到 tensorrt 的输入中吗？