是否可以在不优化的情况下在 Jetson 中运行 yolo 模型？答案

【问题标题】：Is it possible to run yolo model in Jetson without optimizing it?是否可以在不优化的情况下在 Jetson 中运行 yolo 模型？
【发布时间】：2020-03-23 04:56:24
【问题描述】：

我在将 yolo.weight 模型转换为 tensorRT 时遇到了一些问题。那么，是否可以在 Jetson 中运行 yolo 模型并将其优化为 TensorRT ？会有同样的检测速度吗？（无论如何都不会在 Jetson 中进行培训）。

或者还有其他替代 TensorRT 的建议吗？

【问题讨论】：

标签： tensorflow nvidia yolo tensorrt

【解决方案1】：

是的，可以在 Jetson 中运行 YOLO 模型不使用 TensorRT 优化它。 TensorRT 仅优化模型的推理时间。

您可以尝试将其转换为 TF Lite 格式并从那里开始工作，但您可能需要自己处理大部分后端操作。

另外，对于这两种方法，训练都是在 PC 上完成的，而不是在边缘设备上。

您可以在这些链接中阅读有关他们的文档的更多信息。
Tensorflow RT Github
Tensorflow Lite

【讨论】：

谢谢！转换为 .trt 引擎会减少推理时间吗？
嗨@SaiKrishnadas，这是 TensorRT 优化的主要结果。子图被转换为优化的 TensorRT 节点。这在link 中有详细讨论。一般的想法是You want most of the graph optimized and replaced with the fewest number of TensorRT nodes for best performance，如上所述。