TensorRT/TFlite 示例实现

Question

拥有经过训练的“.h5”Keras 模型文件，我正在尝试优化推理时间：

探索了 2 个选项：

1. 通过 TensorRT 加速推理
2. 'int8' 量化。

此时我可以将模型文件转换为 TensorFlow protobuf '.pb' 格式，但作为旁注，它还包含几层的自定义对象。

看过几篇关于 TensorRT 转换和 TFLite 转换的文章，但我似乎没有找到一个健壮且清晰易读的实现。有人可以解释这是如何完成的（TFLite/Keras 量化或 TensorRT）以使用相同的模型进行更快的推理。

（开放其他建议以提高 TensorFlow 和 Keras 支持的推理速度）

Answer 1

这是关于如何在 TF 中使用 TensorRT 的用户指南：https://docs.nvidia.com/deeplearning/frameworks/tf-trt-user-guide/index.html

本演讲解释了 TensorRT 在 TF 中的工作原理：https://developer.nvidia.com/gtc/2019/video/S9431

请注意，TensorRT 还支持 INT8 量化（在训练期间或训练后）。

这篇博文也有类似的内容：https://medium.com/tensorflow/high-performance-inference-with-tensorrt-integration-c4d78795fbfe

这个存储库有一堆例子展示了如何使用它：https://github.com/tensorflow/tensorrt