如何在 Jetson TX1 上使用 Nvidia 的 Tensor RT 运行预训练的 tensorflow 模型？答案

【问题标题】：How to run pretrained tensorflow model using Nvidia's Tensor RT on Jetson TX1?如何在 Jetson TX1 上使用 Nvidia 的 Tensor RT 运行预训练的 tensorflow 模型？
【发布时间】：2017-02-24 19:33:09
【问题描述】：

在Nvidia的博客中，他们介绍了他们的TensorRT如下：

NVIDIA TensorRT™ 是一款高性能神经网络推理引擎，用于深度学习应用的生产部署。 TensorRT 可用于快速优化、验证和部署经过训练的神经网络，以对超大规模数据中心、嵌入式或汽车产品平台进行推理。

所以我想知道，如果我有一个预训练的 Tensorflow 模型，我可以在 Jetson TX1 的 TensorRT 中使用它进行推理吗？

【问题讨论】：

标签： tensorflow deep-learning nvidia tensorrt

【解决方案1】：

从 JetPack 3.1 开始，NVIDIA 还增加了对 Tensorflow 的 TensorRT 支持。所以，训练好的TF模型可以直接部署在Jetson TX1/TK1/TX2中

【讨论】：

【解决方案2】：

更新 (2020.01.03)：TensorFlow 1.X 和 2.0 现在都已被 TensorRT 支持（在 Trt V6 & 7 上测试：请参阅本教程：@ 987654321@).

基于来自 Nvidia 论坛的this post，您现在似乎可以使用 TensorRT 与 caffemodel 进行推理，但不能使用 tensorflow 模型。除了 tensorRT，在 tx1 上构建 tensorflow 是另一个问题（参考这里：https://github.com/ugv-tracking/cfnet）。

【讨论】：