Tensorflow Lite Benchmark 工具的输出是什么意思答案

【问题标题】：What do the Tensorflow Lite Benchmark tool's outputs meanTensorflow Lite Benchmark 工具的输出是什么意思
【发布时间】：2021-05-15 01:37:20
【问题描述】：

我有一个类似于this one 的问题。

链接的问题询问推理时间、预热时间和初始化时间。我对documentation 中提到的“初始化期间的内存使用情况”和“总体内存使用情况”特别感兴趣。这是指什么记忆？而且，“总体内存使用情况”是什么意思？这是指它在推理过程中分配的总内存吗？

如果有人可以提供有关这些输出的一些具体细节，那将非常有用。

谢谢，

【问题讨论】：

【解决方案1】：

“初始化期间的内存使用” - 在 C++ 中创建 TFLite 解释器对象并加载模型之前/之后的内存使用差异。

“总体内存使用”- 在 C++ 中创建 TFLite 解释器对象并加载模型之前以及运行基准测试任务之后的内存使用差异。

【讨论】：

感谢您的回答。我想了解更多有关如何处理 TFLite 对象以及解释器如何分配内存等的详细信息。我想知道，您能否指出有关此的更详细的文档？例如，我过去使用过 TensorRT，并且 TensorRT 的文档要详细得多——我指的是 TensorRT 开发人员指南，其中有很多关于 TensorRT 工作原理的信息，而不是关于 TFLite 的可用信息量。
我还有另一个后续问题。在谈论“整体内存使用情况”时，其中的因素是什么？会不会是诸如存储来自层的中间激活的内存、存储权重的内存等？所以从简单的意义上说，所有的内存分配（例如通过在 C++ 或 malloc 中使用“new”）。这些是我非常想知道的细节。