在 Tensorflow 2.X 中测量 TFLite 模型的触发器

Question

我正在尝试测量 TF2 中 TFLite 模型的 FLOPS。 我知道 Tensorflow 1.x 有 tf.profiler，它非常适合测量 flops。它似乎不适用于 tf.keras。

谁能描述如何在 TF2 中测量 TFLite 模型的 FLOPs？我似乎无法在网上找到答案。 非常感谢大家的宝贵时间。

编辑：下面评论的链接对 tflite 没有帮助。

Answer 1

我遇到了同样的问题，写了一个简单的python包来粗略计算FLOPS。

https://github.com/lisosia/tflite-flops

只考虑了 Conv 和 DepthwiseConv 层，但这对我的用例来说已经足够了。

Answer 2

很遗憾，您无法直接计算 tflite 模型的 FLOPS。但是，您可以通过以下 3 个步骤间接估算其价值：

1. 使用官方TFLite performance tool 测量您的模型执行单次推理所需的时间（以毫秒为单位）。
2. 使用一些基准应用程序（例如xOPS）来估计您的目标设备每秒可以运行多少次浮点运算 (FLOPS)。
3. 使用您从第 1 步和第 2 步获得的结果来估计您的模型在单次推理期间执行的浮点运算的数量。

最终结果可能是一个粗略的近似值，但它仍然可以为您的性能分析带来一些价值。