光子神经网络的应用及发展概述

光子神经网络的应用及发展概述

最近研读光子神经网络论文，完成一个简单综述作为课程论文

参考https://blog.csdn.net/taochenning/article/details/106305319

1 引言

目前，人工智能作为当今计算机科学最为活跃的领域之一，在计算机视觉、自然语言处理、自动驾驶以及目标跟踪等领域有着广泛的应用。人工神经网络（Artificial Neural Network，ANN ）成为20世纪80 年代以来人工智能领域兴起的研究热点，通过模仿神经系统结构，建立神经网络中各层神经元之间的连接，具有良好的泛化能力和鲁棒性，凭借这些优势而被广泛应用于各类场景之中[1]。最近十多年来，人工神经网络的研究工作不断深入，已经取得了很大的进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性[2]。如图1。

 

图1. 人工神经网络

集成电路（Integrated circuit,IC）芯片，是当今主流神经网络模型训练和测试的硬件载体，传统神经网络可以在CPU、GPU、FPGA以及ASIC上运行。然而，受限于其采用的冯·诺伊曼结构，将数据空间与程序空间分离，无论采用何种IC芯片作为载体，导致计算单元与存储器之间产生大量潮汐性数据荷载[3]。

光子神经网络（Optical neural network, ONN）具有高带宽、高互联性、内在的并行处理等特点，能够加速软件、电子硬件两者的部分运算，速度可达到“光速”，提供了一种能够替代人工神经网络的具有前景的方法。光子神经网络中，矩阵乘法可以在“光速”下执行，可以有效解决人工神经网络中密集矩阵乘法，从而减轻能源与时间的消耗。其中，类似人工神经网络中的非线性**函数，在光子神经网络中也可以通过非线性光学元件实现非线性运算。例如，对于全光非线性运算元件研究较多的是饱和吸收体、石墨烯材料、光控相变存储器(phase change memory, PCM)以及Williamson I. A. D.等人提出的一种光电混合可控的非线性运算元件。

2 光子神经网络分类

目前，光子神经网络按照结构可分为三种：前馈神经网络、循环神经网络以及脉冲神经网络。①前馈神经网络（feedforward neural network，FNN），基本特征是神经网络各层之间的信息是由输入层至输出层单向传递，它一般包含全连接神经网络与卷积神经网络这两类结构。②与前馈神经网络不同，循环神经网络(Recurrent Neural Network, RNN)各层之间的信息除了单向传递，还存在节点间连接与后向反馈连接。③脉冲神经网络（spiking neural networks, SNNs），又被称为第三代神经网络。与前馈和循环神经网络相比，其模拟神经元更加接近实际，并将时间信息考虑在内。除此之外，SNN中的神经元并非在每一次迭代传播中都被**，而只当其膜电位达到某一特定值才被**。

根据使用的主要光学元件的不同又可以将全光神经网络分为光子芯片（nanophotonic circuit）、被动衍射光学元件（passive diffractive layer）、散射材料三类。

本文旨在通过回顾光子神经网络的发展，阐述目前已经取得的阶段性进展，分析目前典型的光子神经网络技术，为今后试验研究打下知识基础。

3 基于衍射光学元件的光电混合神经网络

2018年8月，美国斯坦福大学的Julie Chang等人在SCI上发表了一篇名为《Hybrid optical-electronic convolutional neural networks with optimized diffractive optics for image classification》的论文，提出了一种基于衍射光学元件的光电混合神经网络。该网络在电子计算前加入了一层光学卷积运算，由于进行光学的卷积，大大减少整个网络的计算量，如下图2所示。由两个焦距均为f的凸透镜组成的“4f系统”，能够实现级联的两个傅里叶变换。该系统中，有两个焦距均为f的凸透镜，第一个透镜距离物面f距离，透镜后面为傅里叶面，距离也是f；再往前f距离远处摆放的是第二个透镜，同样，透镜后面为第二个傅里叶面，距离也是f。这样就构成了“4f系统”。为了实现光学的卷积过程，我们对 “4f系统”中间的傅里叶平面放入相位板对入射光的振幅和相位进行调制，而将相位板划分为多个平铺的卷积核，就可以实现多卷积过程。

 

图2. 光卷积层设计（a）一种4f系统的示意图，该系·统可以通过在傅立叶平面中放置一个相位掩模来实现光学卷积（opt-conv）层（b）数字卷积层的标准组件，包括输入图像，一堆卷积核和相应的输出量（c）在opt-conv层中的等效组件，其中内核和输出被平铺在2D数组中，而不是在深度维度上堆叠

 

图3. 单个卷积层的分类系统图示

图3中，输入图像有N个类别，其中一个类别输入图像通过可优化的PSF投影到opt-conv块中，卷积层的输出图像被划分为与N个类别相对应的N个子图像的数组，然后通过获取每个子图像中的最大强度像素来计算每个类别的得分。输入图像的预测类别是得分最高的类别。

研究者们采用Google QuickDraw数据集进行试验，试验采用了16个32×32大小的卷积核，在改数据上识别正确率达到72.2%。相比于同样结构的电子神经网络正确率仅低于不到4%，其正确率为75.9%[4]。

4 全光衍射深度神经网络

2018年6月，美国一所加州大学洛杉矶分校（UCLA）研究者们创新性地提出了一种全光子衍射深度学习框架，研究人员将这个框架称为衍射深度神经网络（ diffractive deep neural network，D²NN）。D²NN光子神经网络由多层衍射表面（diffractive surfaces）构成物理层，通过协同这些衍射表面可以做到以光子形式进行神经网络的运算功能。该衍射神经网络训练学习部分是在电子计算机上完成，然后在光子神经网络中进行推理和预测。对MNIST数据集进行模拟和实验证明了其推理能力[5]。D²NN网络中的每层看作投射层或反射层，层上的点表示一个神经元，能够反射和传输光波，通过光学衍射连接到后续的层，实现了正向传播过程。如图4中A图所示。

4.1  D2NN与普通神经网络的区别

从图4的A图，我们可以得到：

1. D2NN中神经元以复数形式输入，层与层之间的物理距离看作权重（weights），还与自由空间的衍射系数有关，其中的乘法偏置（multiplicative bias）可以通过每个神经元的透射/反射系数得到。

2. 输入波的相位及振幅通过每个神经元进行调制，输出称为二次波。目前还未能实现跟其他普通神经网络一样的**函数如：sigmoid、ReLU。（但在D2NN中增加光学非线性器件也可以实现非线性函数）

3. 上一层网络中各神经元的输出之间会产生波的传播、相干（或部分相干）干涉耦合，这是一种光子神经网络中独特的互联性。这种互联作用受到多个因素的影响，例如：探测SNR、网络层间距、入射光束光强、照明光源的相干长度和半径等等与传播过程想关。波的强度会随传播距离发生衰，同时，神经元产生的二次波也会向各角度产生衍射。由于这个原因，那么下一层网络每个神经元只能接收有限半径内的波。与电子神经网络类似，我们称之为D2NN的接收域（receptive field）。

图4 . 衍射深度神经网络

4.2 D2NN实现分类器对MNIST数据集分类

（1）. MNIST手写数字数据集

本试验使用数据集为MNIST手写数字数据集，其中包含5.5万张图像(5000张用于检测图像)，在一个五层的D²NN框架上进行推断。首先，先将输入的数字通过编码技术编码到D²NN输入域的幅值中，在计算机进行训练学习，衍射网络将输入数字映射到10个检测器，每个检测器分别对应着1个数字。如图4中B图所示。目的是找出具有最大光强的检测器，对应的数字即为预测的结果。通过训练得到权重参数，然后进行推断测试，测试数据集是MNIST测试数据集中10000张图片，该部分图片未用作训练、验证图像集仅拿来作为测试推断使用。研究者们通过使用训练好的D²NN数字分类器进行数值测试，获得91.75％的分类准确率。接下来是把试验得到的数值结果运用3D打印技术，将这个5层的D²NN 通过3D打印机打印出物理模型，片状的模型面积为8cm×8cm，共五片。其中，每一层神经元的相位值用3D打印神经元的相对厚度进行物理编码。还要把衍射网络的输出平面做成10个检测器区域。最后，就可以使用制作好的3D打印模型进行网络推断测试。推断过程是通过0.4 THz的连续波光照作为输入来测试该生成网络的性能。得到的推断结果，如下图5所示。在 10000幅测试图像中，对设计好的包含五层衍射层的光子神经网络D2NN测试，获得91.75%的正确率。通过进一步改进，保持原来5层结构不变，在5层网络的基础上再增加两层，正确率有所提高，达到93.39%。

图5. D2NN 手写数字识别器的性能

（2）. Fashion-MNIST数据集

为了测试该网络性能，鲁棒性，研究人员继续对一个更复杂的图像数据集——Fashion-MNIST数据集进行试验。该数据集包含了10个类别的时尚产品。使用训练好的D²NN模型对Fashion-MNIST数据集进行推断，试验结果如图6所示。结果表明，对设计好的包含五层衍射层的光子神经网络D2NN，在phase-only和complex valued两种情况下的分类精度分别达到81.13%和86.33％。同样，通过进一步改进，保持原来5层结构不变的基础上，将衍射层的数量增加到10层，并将神经元的总数增加到40万，实验结果表明：该生成D²NN网络的分类精度有明显的提高，达到86.60％。与现有的基于卷积神经网络的标准深度学习研究试验做对比，其学习参数达到890万，以及具有250万个神经元，Fashion-MNIST分类准确度的最高性能相对光子神经网络得到结果相差没有特别大，其准确度为96.7％。

5 光子神经网络的应用

1. 通过有效结合光子神经网络与基于电子的人工神经网络，发挥其各自优势，在进行语音识别、图像识别等复杂任务时可以更便宜、更快速和更节能。
2. 将全光衍射神经网络D2NN应用在全光学图像分析、特征检测和对象分类中，还可以用于医疗技术、机器人、安全等领域。
3. 使用光子神经网络进行人脸识别，把D2NN作为传感器设计的一部分，那么将不需要超百万像素的成像器。

光子神经网络，作为光子技术与人工智能技术的交叉学科产物，能够将光子技术与人工智能优势结合，构建出高速、低功耗、大宽带的网络结构，突破传统电子神经网络瓶颈。经过研究者们的研究试验，相信在不久的将来，光子神经网络一定能够解决目前一些瓶颈问题，能够更好地发挥光电子技术与人工智能技术结合所带来的高速、低功耗优势，更好地构建绿色智能的世界。

 

图6. D2NN 时尚物品识别器的性能

参考文献

1. 陈宏伟,于振明,张天,臧裕斌,淡一航,徐坤. 光子神经网络发展与挑战[J].中国激光,2020,47(05):0500004.
2. 百度百科.人工神经网络[EB]/[OL].https://baike.baidu.com/,2020-06-12
3. Zaharia M , Chowdhury M , Das T , et al. Resilient distributed datasets: A fault-tolerant abstraction for in-memory cluster computing[C]// Proceedings of the 9th USENIX conference on Networked Systems Design and Implementation. USENIX Association, 2012.
4. Julie C , Vincent S , Xiong D , et al. Hybrid optical-electronic convolutional neural networks with optimized diffractive optics for image classification[J]. Scientific Reports, 2018, 8(1):12324-.
5. Lin X , Rivenson Y , Yardimei N T , et al. All-optical machine learning using diffractive deep neural networks[J]. ence, 2018, 361(6406):1004-1008.