EIE为韩松博士在ISCA 2016上的论文,实现了压缩的稀疏神经网络的硬件加速。

与其近似方法的ESE获得了FPGA2017的最佳论文。

背景与介绍

最新的DNN模型都是运算密集型和存储密集型,难以硬件部署。

提出了EIE (Efficient Inference Engine)的方法,将压缩模型应用与硬件。

矩阵表示

这是一个稀疏矩阵相乘的过程,输入向量a,乘以矩阵W,输出矩阵为b,然后经过了ReLU。
韩松 EIE: Efficient Inference Engine on Compressed Deep Neural Network论文详解

用于实现相乘累加的单元称为PE,相同颜色的相乘累加在同一个PE中实现。例如上面绿色的都是PE0的责任。则PE0只需要存下来权值的位置和权值的值。所以上面绿色的权值在PE0中的存储为下面这样:

韩松 EIE: Efficient Inference Engine on Compressed Deep Neural Network论文详解

硬件实现

CCU(Central control unit中央控制器)用于查找非零值,广播给PE(Processing Element处理单元,可以并行的单元,也是上文中的PE)。图a为CCU,
韩松 EIE: Efficient Inference Engine on Compressed Deep Neural Network论文详解

b为单个 PE单元, 实现将CCU广播过来的数据进行卷积的相乘累加和ReLU**。
韩松 EIE: Efficient Inference Engine on Compressed Deep Neural Network论文详解

分为几部分

PE之间用H-tree结构,可以保证PE数量增加时布线长度以log函数增长(增长最缓慢的形式)

作者运用台积电TSMC的45nm的处理器。

相关文章:

  • 2021-08-21
  • 2021-11-06
  • 2021-05-25
  • 2022-01-10
  • 2021-06-21
  • 2022-12-23
  • 2021-10-17
猜你喜欢
  • 2021-12-22
  • 2021-05-13
  • 2021-12-06
  • 2022-02-16
  • 2022-01-20
  • 2021-06-11
  • 2021-06-30
相关资源
相似解决方案