【问题标题】:Does Tensorflows quantization aware training lead to an actual speedup during training?Tensorflows 量化感知训练是否会导致训练期间的实际加速?
【发布时间】:2020-06-19 11:43:03
【问题描述】:

我们正在研究将量化感知训练用于一个研究项目,以确定训练期间量化对收敛速度和运行时的影响。尽管我们还没有完全相信这是正确的工具。您能否澄清以下几点: 1)如果在量化感知训练期间对层进行了量化,这意味着输入和权重被量化,并且包括激活函数在内的所有操作都被量化,然后在返回之前,将输出反量化到与下一层兼容的精度。这种理解正确吗? 2)张量板分析器兼容性? 3) 量化意识训练原则上是否会在您的一般经验中导致训练过程中的加速,或者这是否因为它仅仅是一种模拟而不可能? 4)您能否向我们指出有关如何将自定义量化器和数据类型添加到 tensorflow s.t. 的资源?它们与 GPU 兼容吗?

非常感谢您的帮助!

【问题讨论】:

    标签: tensorflow tensorboard tensorflow-lite quantization quantization-aware-training


    【解决方案1】:

    在做了一些研究之后,QAT 并没有加速训练,而只是为训练后量化准备模型。然而,MuPPET 是一种实际上通过量化加速训练的算法。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-03-02
      • 1970-01-01
      • 1970-01-01
      • 2017-07-16
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多