计算 Caffe CNN 架构中的乘加运算 (MAC) 的数量答案

【问题标题】：Counting the number of multiply-add operations (MAC) in Caffe CNN's architecture计算 Caffe CNN 架构中的乘加运算 (MAC) 的数量
【发布时间】：2017-11-14 09:53:49
【问题描述】：

最近我一直在对一些 CNN 进行关于时间、乘加运算 (MAC) 数量、参数数量和模型大小的基准测试。我见过一些类似的 SO 问题（here 和here），在后者中，他们建议使用Netscope CNN Analyzer。这个工具让我可以通过输入我的 Caffe 网络定义来计算大部分我需要的东西。

但是，我在论文和互联网上看到的某些架构的乘加运算的数量与 Netscope 输出的不匹配，而其他架构则匹配。我总是将 FLOPs 或 MAC 与 netscope 中的 MACC 列进行比较，但我有时会忘记大约 10 倍的因素（查看下表了解更多详细信息）。

Architecture  ----  MAC (paper/internet) ---- macc column in netscope
VGG 16                    ~15.5G                       ~157G
GoogLeNet                 ~1.55G                       ~16G

参考 Netscope 中的 GoogLeNet macc number 和 VGG16 macc number。

使用该工具的任何人都可以指出我在阅读 Netscope 输出时犯了什么错误吗？

【问题讨论】：

标签： deep-learning caffe conv-neural-network flops

【解决方案1】：

我找到了导致 Netscope 与我在论文中找到的信息之间存在差异的原因。 Nestcope 中的大多数预设架构都使用 10 的批量大小（例如 VGG 和 GoogLeNet 就是这种情况），因此 x10 因子乘以多加操作的数量。

【讨论】：