如何实时运行基于 TensorRT 的深度学习模型？答案

【问题标题】：How to run TensorRT based deep learning model as real time?如何实时运行基于 TensorRT 的深度学习模型？
【发布时间】：2019-08-15 04:30:30
【问题描述】：

我已使用 TensorRT 优化了我的深度学习模型。 C++ 接口通过 Jetson TX2 上的优化模型推断图像。该接口提供平均 60 FPS（但不稳定。推断范围为 50 和 160 FPS）。我需要在实时修补的 Jetson 上以 实时运行此系统。

那么您对使用 TensorRT 进行实时推理有何看法？是否可以使用 TensorRT 开发实时推理系统以及如何开发？

我尝试为进程和线程设置高优先级以提供抢占。我希望每次推断都具有大致相同的 FPS 值。所以我需要确定性推理时间。但系统无法确定性地输出。

【问题讨论】：

【解决方案1】：

您是否尝试在 Jetson 上设置时钟：sudo nvpmodel -m 0

这里有一些链接可以了解更多信息：

【讨论】：