https://arxiv.org/pdf/2004.07320.pdf
论文的核心思想如下：
针对上图进行实例分析：
如对卷积层weight为（64,64,3，3）进行量化
- 设置centroids数目如（32,9）其中9表示3*3卷积核的flatten
- 通过k-means进行选取centroids
之后进行编码（codebook），生成三个矩阵：
- centroids=（32,9）
- assignments=[4096]来源(64*64)，其中里面的值对应centroids的index
- counts=[32]
其中centroids表示base字典，之后将根据assignments进行恢复原始到（64,64,3，3）权重。
counts矩阵中的所有值sum之后为4096，表示不同区间的分布状态。
如果仅仅进行此转换，这种转换是不可微的，且使用直通估计器（straight through estimator，STE）来逼近梯度。STE 在梯度中引入了一个偏置，该偏置取决于权重的量化级别，因此也取决于压缩率。
在每个前向传播过程中，随机选择这些块的子集，并添加一些失真；在反向传播过程中，使用 STE 逼近失真的权重，进而计算所有权重的梯度值。
===================下面开始分析论文中的证明过程
-
Quantizing Neural Networks
矩阵分解m*q个block子矩阵， -
正常标量的量化
-
Product Quantization
量化后的矩阵通过STE转化逼近原有矩阵
Iterative PQ，如何将loss更新codebook，见下面公式：
论文提出的内存计算公式： -
训练网络是采用的 Training Networks with Quantization Noise
- 主要实验结果