如何估计神经网络在手机上的运行时间？

Question

我训练了一个大约有 26000 个参数的神经网络，我打算用它在手机上进行实时推理。我想知道是否有一种方法可以根据网络的大小和操作设备来估计神经网络的运行时间。

Answer 1

您需要估计运行模型所需的浮点运算 (FLOPS) 的数量。例如，将两个N x N 矩阵相乘算作2 N^3 FLOPS。 （PyTorch 中有software packages that help you do that）顺便说一下，1 次乘加算作 2 次 FLOPS。

然后，您需要了解您的目标 设备的功能。它每秒可以执行多少次浮点运算？这提供了代码运行速度的上限。你的代码会达到这个理论极限吗？这还不清楚，但这给了你一些东西。问题越简单（小张量），您就越有可能落后于这个限制。

如果您量化模型以进行部署，则需要相应地调整计算（使用相关整数运算的速度）。