基于可见光波段的衍射深度神经网络的研究

工程7（2021）1483研究光学神经网络-文章可见光波段陈航a，冯佳楠a，姜民伟a，王益群b，林杰a，c，陈伟，谭久斌a，彭进a，c，陈伟a哈尔滨工业大学超精密光电仪器中心，哈尔滨150001b中国科学院苏州纳米技术与纳米仿生研究所纳米纤维装置，中国苏州215123c哈尔滨工业大学微系统与微结构制造教育部重点实验室，哈尔滨150001阿提奇莱因福奥文章历史记录：收到2020年2020年5月19日修订2020年7月20日接受在线预订2021年保留字：光学计算光学神经网络深度学习光学机器学习衍射深度神经网络A B S T R A C T基于衍射光学元件的光学深度学习在并行处理、计算速度和功率效率方面具有独特的优势。一种具有里程碑意义的方法是基于在太赫兹光谱范围内操作的三维打印技术的衍射深度神经网络（D2NN）。由于太赫兹带宽涉及有限的粒子间耦合和材料损耗，本文将D2神经网络扩展到可见光波段。提出了一个包括修正公式的一般理论，以解决波长，神经元大小和制造限制之间的任何矛盾。一种新颖的可见光D2NN分类器被用于识别未改变的目标（从0到9的手写数字）和已经改变的目标（即，已被覆盖或改变的目标）在可见光波长632.8 nm。获得的实验分类精度（84%）和数值分类精度（91.57%）量化的理论设计和制造的系统性能之间的匹配该框架可用于将D2神经网络应用于各种实际应用，并设计其他新的应用。©2021 THE COUNTORS.Elsevier LTD代表中国工程院出版，高等教育出版社有限公司。这是一篇CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。1. 介绍深度学习是一种机器学习方法，可用于通过在计算机中模拟多层人工神经网络来实现数据表示，抽象和高级任务[1]。深度学习的最新进展引起了人们的广泛关注。在某些领域，深度学习的性能已被证明优于人类专家。深度学习已经彻底改变了人工智能（AI）和计算机科学领域，并且在这些领域中已经取得了巨大的进步深度学习已被广泛应用于计算机视觉[2]，语音/图像识别[3然而，电子和主动深度学习在处理时间和能耗方面受到冯·诺依曼架构的强烈限制[10，11]。在过去的几十年里，光学信息处理，实现卷积，相关，傅立叶变换的光学系统中的操作，已被发现表现出独特的并行处理的优势，并已被广泛研究[12基于计算机的深度学习已经通过使用衍射光学元件在光学系统中实现，并且光学深度学习已经在光学系统中*通讯作者。电子邮件地址：linjie@hit.edu.cn（J. Lin），P.jin@ hit.edu.cn（P. Jin）。基于衍射光学元件的学习已经使用图像分类进行了验证[18基于三维（3D）打印技术的太赫兹衍射深度神经网络（D2NN）是光学深度学习的标志性方法[18]。基于基于深度学习的设计和误差反向传播方法，使用计算机训练D2NN。在训练周期期间，衍射光学元件层中的每个像素是神经元。这些像素的透射系数（或复振幅分布）由计算机优化以控制从输入平面到输出平面的衍射光来执行所需的任务。当该训练阶段完成时，可以物理地制造这些无源衍射光学元件层。通过将这些层堆叠在一起以形成全光学网络，这些衍射层可以在不使用能量的情况下执行训练函数，除了用于对输入对象的信息和输出检测器进行编码的相干已经执行了各种非线性函数，例如傅立叶空间D2NN，其中使用铁电薄膜[17]引入光学非线性，以及线性函数，例如手写数字和时尚产品分类器[18-20]，使用D2NN[183D打印的太赫兹D2 NN已被证明是一种很好的方法。D2神经网络在太赫兹波段的有效性和性能https://doi.org/10.1016/j.eng.2020.07.0322095-8099/©2021 THE COMEORS.由爱思唯尔有限公司代表中国工程院和高等教育出版社有限公司出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可从ScienceDirect获取目录列表工程杂志首页：www.elsevier.com/locate/engH. 陈，J.冯，M.Jiang等人工程7（2021）14831484L我知道了我◦我我l+1l+1我我在许多研究中已经验证了平台[18尽管具有巨大的优势，但太赫兹本身在实际应用中受到一些众所周知的限制，例如材料损耗[22]和有限的粒子间耦合[22]。因此，越来越需要修改太赫兹方案，以用于可见光或近红外波长[23]将工作波长从太赫兹带宽范围扩展到可见光具有提供更多新颖视角的潜力[24然而，必须解决一些限制和缺点，以适应从长波长到短波长的D2在工作波长、神经元尺寸和制造限制之间存在一些矛盾较短的波长具有较小的神经元尺寸，这使得过程更加困难，并且传统的最大半锥衍射角理论不能用于克服这种矛盾[18在这项工作中，提出了一个新的通用公式，其中包含对D2NN框架的详细分析，包括设计空间所需的不同参数，以克服上述矛盾。该公式是在传统的半锥最大衍射角理论的基础上引入相关变量而得到的。所提出的一般公式是对可见光源如氦氖激光光源如何展开D2NN的定量分析一系列的仿真分析设计，以验证所提出的公式。作为一个例子，一个D2NN分类器使用的手写数字的一个子集，从混合国家标准和技术研究所（MNIST）的训练数据集，以减少训练时间和训练的复杂性。数字分类器用于识别从0到9的手写数字。在这种情况下，相位，五层的D2神经网络被用来防止过拟合和总共32 000个神经元。用新的测试数据集对不同情况下的数值盲检验精度进行了验证。基于所提出的一般公式，设计了一种新的可见光D2神经网络分类器，并进行了实验验证.工作光为波长为632.8nm的He-Ne激光器。与现有的D2 NN分类器[18-可见光对这个问题的一些见解。此外，理解人类大脑中生物神经元之间的相互作用是构建深度神经网络时的基本兴趣[31]。提出的D2神经网络可以提供深入了解目前的生物神经元之间的相互作用.该框架和理论可用于将D2神经网络应用于人机交互设备和人工智能交互设备的各种实际应用2. 材料和方法2.1. 深度学习和D2NN架构提出的可见光D2NN遵循光学衍射理论和深度学习结构[32与传统的深度学习系统相比，D2NN系统有一些不同之处：①D2NN系统遵循光学衍射理论，如惠更斯软最大交叉熵（SCE）损失函数）是基于入射到输出平面中的不同检测器区域上的光功率因此，基于相对于目标输出的计算误差并且根据期望的损失函数，可以使用误差反向传播算法来优化网络结构及其神经元相位值。通常，在深度学习中，每层中的神经元的相位值被迭代地调整（或训练）以通过将训练数据馈送到输入层来执行特定功能，然后通过光学衍射计算网络的输出。在具体分析D2NN内的前向传播模型之前，为第l层提供一些定义如下（其中l表示网络的层数）：t是第l层第i个神经元的复传输系数由幅度和相位组成，其中i表示位于层l的（xi，yi，zi）处的神经元（其中（xi，yi，zi）分别是第i个神经元沿x轴、y轴和z轴届它可以进一步定义为tl（x，y，z）=al（x，y，z）D2神经网络我我我我L我我我我训练数据集周期。对于该测试，MNIST训练数据集中总共55000个手写数字被扩展到具有80000个手写数字图像的新训练数据集。增量的25 000个手写数字被用作变形的MNIST训练数据集，其被覆盖或改变。在11000幅图像的新测试数据集上，采用5层、500万个神经元的纯相位D2神经网络实现了91.57%的数值盲测试准确率在二氧化硅（SiO2）衬底上采用多步光刻-刻蚀工艺制备了可见光D2NN实验的输入是50个使用微制造技术制造的透射数字对象。盲测准确率达到84%。实验分类准确率（84%）和数值分类准确率（91.57%）量化了理论设计和制造系统性能之间的与数值测试相比，实验网络的性能下降相对较小，证明了可见光D2NN设计理论的有效性。通过使用这些系统的进步设计的D2神经网络，报告的方法和改进设置的最先进的可见光D2神经网络。深度神经网络有时被称为黑盒[30]，因为隐藏层可能很难提取来解释数据是如何处理的。建议的D2NN可以提供exp（jUi（xi，yi，zi）），其中ai（xi，yi，zi）是幅度项，U1（x，y，z）是神经元相位项，j是虚数，并且j =p1。对于纯相位的D2NN结构，假设tudeal（x，y，z）是等于1的常数值W是紧接在第l层之后的二次衍射波位于层l的（xi，yi，zi）处的第i个神经元之后的次级衍射波是Wl+1。Wl+1的振幅和相位由层l的输入波与其复透射系数tl的乘积确定，这是复值函数。Y是当次级衍射波函数Wl+1传播穿过衍射层l和l+ 1之间的距离时的输出函数。Yl+1也是下一层l+ 1的输入函数。当输入函数Yl垂直照射在第l个衍射层上时，Wl+1的复振幅分布是tl的透射函数与输入函数Yl的乘积：Wl1Yltl 1哪里是阿达玛乘积运算在次级衍射波Wl+1从衍射层l传播到衍射层l+1之后，引入具有如下的对应相位因子的相移●●●H. 陈，J.冯，M.Jiang等人工程7（2021）14831485××expjkdlcoscexpjkdlq1-其中dl是衍射层l和l+1之间的距离;a、b和c分别是次级衍射波Wl+1沿着x轴、y轴和z轴的传播方向的角度;k是波数，并且k1/2p=k，k是波长。假设u<$cosa和v<$cosb，其中u和v是空间的在光致抗蚀剂和衬底之间。在旋涂光致抗蚀剂和曝光之后，使用显影剂剥离曝光的抗蚀剂。然后，在氧等离子体施胶处理之后，使用磁中性回路放电蚀刻。重复该过程直到获得D2NN层结构 更多的处理细节可以在图1和图2中找到。附录A中的S1和S2。3. 结果K K频率，传播后的相应相位因子从衍射层l到衍射层l+1的二次衍射波Wl+1可以表示如下：在SiO2衬底上采用多步光刻-刻蚀工艺，制作了五层衍射结构的D2NNexpansionjkdlcoscexpansion jkdl然后我们得到q1-k2u2v2ð3Þ光学元件，如图1所示安装。的提高了可见光D2神经网络的识别能力通过在训练周期内扩展目标数据集。对于一个变化的目标，例如，一个目标被覆盖或改变，现有的深度学习系统将错误地识别目标[18Yl1½Wl1 ·expjkdlq1-k2u2v2ð4Þ具有足够的对象识别准确性改进[20]。因此，我们的D2神经网络被训练成一个数字分类器来执行手写数字的自动分类.所设计的因此，前向传播D2NN内的模型如下：D2NN既可以对0到9的未改变数目的目标进行分类，也可以对已经改变（被覆盖或改变）的目标进行分类Yl1 我的天啊expjkdlq1-k2u2v2如图1（a）所示。针对这些任务，设计了一个纯相位传输的5层D2神经网络，通过训练80000幅图像，包括55000个不变的手写数字，这些数字是从MNIST训练数据集和25000个改变的手写数字2.2.基于TensorFlow的D2NN设计及处理流程所 提 出 的 可 见 光 D2NN 是 使 用 Python （ v3.7 ） 和 TensorFlow（v1.12.0，Google Inc.，USA）框架。所提出的D2NN系统使用台式计算机训练20个时期，所述台式计算机具有GeForce GTX 1080 Ti图形处理单元（GPU）和Intel® CoreTM E5-2650 中央处理单元（CPU）@2.00 GHz和128 GB随机存取存储器（RAM），运行Windows 10操作系统（Microsoft Corporation，USA）。衍射神经网络中的可训练参数是每层的调制值，在这里，使用自适应矩估计（Adam）优化器的反向传播方法以10- 3的学习率对每层的调制值进行优化。此外，网络层数和这些层之间的轴向距离也是设计参数。五层可见光D2神经网络对未改变和改变（覆盖或改变）的手写数字进行分类的训练时间约为20h。输入的数字对象根据输入的幅度编码到 D2NN 中，并通过激光直写（LDW）制作。目标物体是在钠玻璃衬底上制造的。首先使用丙酮和异丙醇清洁玻璃基板。使用电子束蒸发用厚度为几百纳米的铬（Cr）层涂覆透明基底。在旋涂正性光刻胶和预烘工艺之后，使用LDW技术曝光手写数字图案。使用显影剂剥离曝光的抗蚀剂，使用铬媒染剂剥离未覆盖的Cr。最后，还使用丙酮和异丙醇清洁任何残余抗蚀剂。为了提高可见光波段D2 NN的制作效率，采用sigmoid函数将每个神经元的相位值限制在0- p范围内使用传统的多步光刻-蚀刻方法。在处理之前，神经元相位值U需要被转换成相对高度图Dh（Dh=kU/（2pDn），其中Dn是制造的衬底与制造的衬底之间的折射率差。空气）。使用与上述类似的清洁工艺在SiO2衬底上制造D2NN层清洗后，用六甲基二硅氮烷对设备进行预处理，以改变SiO2衬底的表面活性，提高附着力（即，覆盖或改变的数字），其来源于变形的MNIST训练数据集。输入的数字根据输入的幅度编码到D2NN中.训练衍射神经网络将输入数字映射到11个检测器区域，这些区域由不同的数字标记，如图1（a）所示。从0到9的未改变的输入数字分别映射到第0到第9检测器区域。更改的输入数字都映射到X号探测器区域。这些检测器也在图1（a）中示出。分类标准用于找到具有最大光信号的检测器训练完成后，用11000幅附加图像对改进的D2NN数字分类器进行了数值测试，这些图像不作为训练图像集，包括从MNIST测试数据集获得的10 000个未改变的手写数字和1000个变形的手写数字（即，覆盖或改变的手指）。改进后的系统盲分类准确率达到91.57%。使用每一层神经元的数字相位值，如图1所示。 1（b），对所设计的五层D2神经网络进行了处理。基于每个层点的相对厚度，对每个层中的神经元的相位进行物理编码因此，在SiO2衬底上使用多步光刻-蚀刻工艺加工用于D2 NN的衍射光学元件整个五层D2NN的实验原理图如图所示. 1（c）. 基于He-Ne激光器（25-STP-912-230，MellesGriot，USA）的实验装置如图2和3所示。 1（d）和（e）。在实验中准直的He-Ne激光束用于照射输入平面内的目标物体。使用五层D2NN，通过电荷耦合器件（CCD）（北京大恒成像视觉有限公司，有限公司、中国）。由于训练集包含大量样本，每层包含100万个神经元（1000 ~ 1000），五层D2神经网络总共有500万个神经元.所用He-Ne激光波长所用He-Ne激光功率每个神经元大小约为4μm，的面积为4 mm 4 mm。两个相邻衍射层的厚度约为5cm。五层D2 NN的对齐细节可参见附录A中的图S3。H. 陈，J.冯，M.Jiang等人工程7（2021）14831486图1.一、可见光D2NN原理图及实验装置（a）用于从0到9的未改变的手写数字目标和改变的手写数字目标（例如，覆盖的数字7和改变的数字5）的分类器的示意图探测器的空间分布也在该图中示出(b)五层L1、L2、L3、L4和L5的神经元的数值相位值。（c）实验示意图。（d）实验装置。CCD：电荷耦合器件。对11000幅测试图像的数值测试表明，所设计的五层D2神经网络的分类准确率为91.57%。混淆矩阵在图2（a）中给出，并显示了正确识别的示例和错误识别的示例的细节和分布。对于50个数字对象的LDW制作，实验盲测试的准确率为84%。与数值测试相比，实验网络的性能下降相对较小，表明设计理论是正确的。图2（b）中的混淆矩阵显示了正确和错误识别示例的实验细节。一个带有特殊设计的光源的CCD对每个被照明的输入对象施加屏障以获得D2NN输出。光屏障的透射区域分别对应于从No. 0到No. X的检测器位置。其余区域不透明。本测试的第一步是评估未更改和更改的手写测试编号的识别能力。如图3（a）所示，选择手写体3、更改的手写体3、手写体4和覆盖的手写体4作为输入对象。图3（b）中的仿真结果和实验结果表明，可见光D2NN可以用于容易地分类变形对象输入。 如图 3（c），能量分布显示，图二、模拟和实验结果的混淆矩阵（a）模拟结果的混淆矩阵数值测试的五层D2神经网络设计实现了91.57%的分类精度超过约11000个不同的测试图像。(b)混淆矩阵的实验结果获得了50个不同的手写数字LDW准备。分类准确率约为84%。H. 陈，J.冯，M.Jiang等人工程7（2021）14831487图3.第三章。可见光D2NN手写数字分类器（a）光学显微镜下的物体，包括手写体3、修改后的手写体3、手写体4和覆盖的手写体4。：振幅。(b)模拟结果和实验结果表明，手写数字分类器D2NN在网络输出平面上基于11个不同的检测器区域成功地对手写输入数字进行了分类，每个区域对应一个数字。作为示例，3和4的手写输入的输出集中在No.3、不。4个探测器，如白色箭头所示3和4的更改和覆盖的手写输入都由编号表示。X射线探测器。Max：最大值。（c）我们的实验结果和模拟结果的能量分布百分比，这证明了所制造的衍射神经网络的成功及其推理能力。系统可以识别用于正确检测器的最大光信号该测试的第二步是使用四种不同形式的手写数字6作为输入对象，如图4所示。模拟结果与实验结果进行了比较。 4（c）证明了所构造的衍射神经网络和推理能力是有效的。可见光D2NN输出平面上的平均强度分布可以将最大输入能量会聚到分配给该数字的相应探测器总之，所提出的由He-Ne激光照射的D2NN被证明成功地识别未改变的目标（从0到9）和改变的目标（即，被覆盖或改变的目标）。此外，提出的可视D2NN系统具有迁移学习能力，如图所示. 五、当激光直接进入D2 NN系统而不通过任何手写数字时，现有的D2 NN系统[18这表明入射光被误判为数字。当激光直接入射到所提出的D2 NN系统上时，如图5（a）所示，所提出的可见光D2 NN系统将入射光聚焦到X号探测器中，这表明已经识别出不正确的数字，该数字不是分类集的一部分实验结果图5（b）所示的结果与模拟结果非常一致。演示的D2 NN可用于解决从长波长到可见光光源的适应时发生的矛盾定量分析表明，建立了可见光D2神经网络，解决了波长、神经元大小和处理难度之间存在的矛盾.层之间的连接性是直接影响神经元衍射的主要因素从而确定了D2神经网络的信息传递和推理性能.一个全连接的D2神经网络可以实现神经元之间充分的信息传递和光互连完全连接的网络要求所有神经元的衍射角应该足够大以光学地覆盖下一层中对于全连接结构，由波长和神经元尺寸控制的神经元的最大半锥衍射角（umaxumax<$sin-1½k=2df]6其中df是神经元大小。H. 陈，J.冯，M.Jiang等人工程7（2021）14831488图四、可见光D2NN手写数字分类器（a）光学显微镜下的物体，包括4种不同形式的手写体6。（2）模拟结果和实验结果表明，手写数字分类器D2NN成功地对不同类型的手写输入数字进行了分类。四种不同形态的6，全部聚焦在6号探测器上，如白色箭头所示。(c)实验结果和模拟结果的能量分布百分比，证明了所制造的衍射神经网络的成功和它的推理能力。图五、验证了所提出的D2神经网络的迁移学习能力（a）当平面波直接进入我们的系统而不通过任何手写数字时，输出平面中的光场分布的模拟结果大部分的光都集中在No.X区域，表示识别出错误的数字(b)输出平面内光场分布的实验结果。实验结果与模拟结果吻合较好。为了获得大的衍射角，需要具有小的神经元尺寸和长的波长。在以前的工作[18]中，太赫兹源波长为0.75 mm，神经元大小约为0.4 mm，最大半锥衍射角约为70°。然而，对于可见光，这里使用的He-Ne激光器的波长H. 陈，J.冯，M.Jiang等人工程7（2021）14831489F≥×比太赫兹波长小1/4。为了获得70°半锥衍射角，神经元尺寸应小于330nm，这也比太赫兹带宽的神经元尺寸小1200倍。330 nm的最大单元尺寸需要复杂的制造技术，这可能导致波长、神经元尺寸和加工难度之间的矛盾。因此，在设计可见光D2神经网络时，应采用通用的方法.对于两个相邻衍射层之间的传播距离D，每个神经元的衍射点的半径R可以表示如下：R¼D×tanu最大值为700如果df是神经元大小，N是每个衍射层中的神经元数量，则每个衍射层的边长w为D2神经网络将实现全连通性，并保证完美推理。对于红色箭头标记的情况，D2NN不能实现完全连通性.在图6（b）中，情况1和2在拟合曲线内，情况3在拟合曲线上方，并且情况4在拟合曲线下方。病例1的盲测准确度3的准确率均在90%以上，而情况4的准确率约为0.1%。案例1-4的混淆矩阵在图1和图2中详细示出。6（d）-（g）。这些结果证明了改进的连通性理论的准确性。改进后的理论为构造D2神经网络提供了定量分析，并展示了全连接D2神经网络的性能优势。图6（c）所示的模拟结果与先前的研究一致[18通过比较案例1和案例2可以看出，所提出的全连接理论可以通过以下方式克服神经元大小和处理难度之间的矛盾：调整距离。D2神经网络在长距离上的性能w¼qNð8ÞD（5.7×103k）和大神经元尺寸df（6k）是一致的其中衍射层被假定为正方形[18为了得到一个全连通的D2NN，需要满足Rw的条件.因此，在传统的最大半锥绕射角理论的基础上，提出了一个新的公式：8umax¼sin-1½k=102df]Ff=对于短距离D（15k）和小神经元大小df（0.53k），由于神经元大小df是基于距离D调整的，这降低了处理难度。我们还分析了衍射层之间的对准误差和衍射层的相位深度误差更多详情可在Figs中找到附录A中的S4和S5。：D≥pN·d·q4d2k2-1ð9Þ改进后的公式可用于定量分析D2NN连通性。当参数满足Eq. （九）、该公式表明，D2NN的连通性受波长、神经元大小、神经元数目和层间距离的影响.波长、神经元大小和处理难度之间的矛盾可以通过调整神经元的数量和间距但使用更长的波长来缓解。这个公式为D2NN在任何波长上的应用提供了一个一般的例子.实验参数如图1和图2所示。2-5使用Eq. 实验结果证实了新公式的准确性为了进一步验证所提出的公式，进行了一系列的仿真分析。为了减少训练时间和复杂性，一个纯相位的五层D2NN被训练成一个数字分类器，使用MNIST训练图像数据集的一个子集来识别从0到9的手写数字，如图所示。第6（a）段。训练集包含10 000个手写体-十位数字图像（从0到9）;每种类型的手写体数字大约有1000个图像，这些图像是随机选择的。这10000个输入数字被编码到输入场的幅度到D2NN中。训练衍射网络以将输入数字映射到十个检测器区域，每个数字一个区域。分类标准试图找到具有最大光学信号的检测器训练后，使用500个图像对D2NN数字分类器设计进行数值测试，这些图像也是从MNIST测试数据集中随机选择的，并且不包含在训练或验证图像集中。测试集的盲测精度被用来验证新提出的理论。对D2神经网络的连通性进行了定量分析，得到了Eq.（9）见图6（b）。例如，为了防止过拟合，根据以前的经验，假设每层中的神经元数量为6400（80 80）。D2NN的连通性空间用图2进行划分. 图6（b），考虑了波长、距离和神经元大小之间的关系。一旦参数在拟合曲线之内或之上，如绿色箭头所示4. 讨论和结论在这项工作中，提出了一个通用的模型，在可见光波长的D2神经网络.可见波长D2 NN可用于克服太赫兹带宽的一些缺点，并具有许多潜在的实际应用[25然而，存在一些限制和缺点，这使得将带宽从太赫兹改变到可见光区域具有挑战性。第一个困难是工作波长、神经元尺寸和制造限制之间的矛盾。较短的波长需要较小的神经元尺寸，这使得处理更加复杂.为了克服这些矛盾，提出了一个包括修正公式的一般理论。设计了一系列仿真分析，能够成功地验证所提出的公式。在此基础上，提出了一种新的可见光D2神经网络分类器，用于识别不变目标（0 ~ 9数字的手写图像）和变化目标（即，覆盖或改变的目标）在可见光波长632.8 nm。数值分类精度为91.57%，与实验分类精度84%高度匹配，证明理论分析和设计的系统可以成功地使用。虽然最近已经成功地实现了用于光学平台的深度神经网络[18-22，24]，但全光学设计尚未得到充分展示和实现。例如，训练过程仍然需要计算机此外，光学深度学习技术的应用仍在兴起，许多早期尝试[18其他学习参数，如无监督学习[37]，生成对抗网络[38]和强化学习[39，40]，也应该集成到光学神经网络中。预计未来将提出更快、更准确的光学深度学习框架，这可能能够提供甚至超越当前人类知识的能力。H. 陈，J.冯，M.Jiang等人工程7（2021）14831490见图6。用于验证改进Eq. （九）、(a)D2 NN分类器的示意图，用于将不变手写数字目标的训练时间从0减少到9。显示每个探测器的位置。(b)拟合曲线。(c)四个案子。研究了（c）中不同参数的盲测准确度，混淆矩阵显示在（d）情况1、（e）情况2、（f）情况3和（g）情况4中，这证明了修正理论的成功H. 陈，J.冯，M.Jiang等人工程7（2021）14831491确认本研究得到国家自然科学基金部分资助（61675056和61875048）。遵守道德操守准则Hang Chen、Jianan Feng、Minwei Jiang、Yiqun Wang、JieLin、Jiubin Tan和Peng Jin声明他们没有利益冲突或财务冲突需要披露。附录A.补充数据本文的补充数据可在https://doi.org/10.1016/j.eng.2020.07.032上找到。引用[1] 李康Y，本吉奥Y，辛顿G. 深度学习 Nature 2015;521（7553）：436-44.[2] Bohannon J.帮助机器人看到大局。Science 2014;346（6206）：186-7.[3] Hinton G ， Deng L ， Yu D ， Dahl G ， Mohamed AR ， Jaitly N ， et al. Deepneuralnetworks for acoustic modeling in speech recognition：the shared views offourresearch groups. IEEE Signal Process Mag 2012;29（6）：82-97.[4] Schofield D，Nagrani A，Zisserman A，Hayashi M，Matsuzawa T，Biro D，等.使用深度学习从野外视频中识别黑猩猩面部。SciAdv 2019;5（9）：eaaw0736。[5] BarbastathisG ， Ozcan A ， Situ G.深 度 学 习 在 计 算 成 像 中 的 应 用 。Optica2019;6（8）：921-43.[6] Giusti A，Guzzi J，Ciresan DC，He FL，Rodriguez JP，Fontana F，et al. Amachinelearning approach to visual perception of forest trails for mobile robots.IEEERobot Autom Lett 2016;1（2）：661-7.[7] Silver D，Huang A，Maddison CJ，Guez A，Sifre L，van den DriesscheG，et al. 用深度神经网络和树搜索掌握围棋游戏。 Nature2016;529（7587）：484-9.[8] Topol EJ十年的数字医疗创新。Sci Transl Med 2019;11（498）：eaaw7610。[9] AkhtarN，Mian A. 对抗性攻击对计算机视觉深度学习的威胁：一项调查。IEEEAccess2018;6：14410-30.[10] 马克拉姆湾 蓝脑计划 Nat Rev Neurosci2006;7（2）：153-60.[11] Hines ML，Pittsburgh NT. NEURON仿真环境。神经计算1997;9（6）：1179-209.[12] 邓R，刘X.光学多工：可调寿命奈米晶体。NatPhotonics 2014;8（1）：10-2.[13] 杨文，李文，李文.金纳米棒表面等离子体介导的五维光学记录。Nature2009;459（7245）：410-3.[14] LiX，Ren H，Chen X，Liu J，Li Q，Li C，et al. 用于三维全息图像的非热光还原氧化石墨烯。Nat Commun2015;6（1）：6984.[15] 任宏，李翔，张清，顾明.宽带光的片上非干涉角动量复用。Science2016;352（6287）：805-9.[16] 邓瑞，秦芳，陈瑞，黄伟，洪明，刘晓. 通过非稳态上转换实现时间全色调谐。NatNanotechnol 2015;10（3）：237-42.[17] Yan T，WuJ，Zhou T，Xie H，Xu F，Fan J，et al. Fourier-space diffractivedeepneural network. Phys Rev Lett2019;123（2）：023901。[18] Lin X，Rivenson Y，Yardimci NT，Veli M，Luo Yi，Jarrahi M等人，使用衍射深度神经网络的全光学机器学习。Science 2018;361（6406）：1004-8.[19] Mengu D，Luo Y，Rivenson Y，Ozcan A.衍射光学神经网络分析及其与电子神经网络的集成。IEEE J Sel TopQuantum Electron 2019;26（1）：3700114.[20] 李J，孟古D，罗Y，Rivenson Y，Ozcan A.衍射光学神经网络中的类特定差分检测提高了推理精度。AdvPhotonics 2019;1（4）：46001.[21] Khoram E，Chen A，Liu D，Ying L，Wang Q，Yuan M，et al. Nanophotonicmediafor artificial neural inference. Photonics Res 2019;7（8）：823-7.[22] 姚K，Unni R，郑Y.智能纳米光子学：光子学与人工智能的融合在的纳米级的纳米光子学2019;8（3）：339-66。[23] 戈伊·E，古·M。激光打印纳米成像仪以执行完整的光学机器学习[演示文稿]。在：激光和电光/欧洲会议;2019年6月23日至27日;德国慕尼黑; 2019年。[24] GuM，Fang X，Ren H，Goi E. 光学数字化全息术：全光学机器学习的前景。工程2019;5（3）：363-5。[25] YamazatoT，Takai I，Okada H，Fujii T，Yendo T，Arai S，et al. 用于汽车应用的基于图像传感器的可见光通信。IEEE Commun Mag2014;52（7）：88-97.[26] KhanLU.可 见 光 通 信 ： 应 用 、 架 构 、 标 准 化 和 研 究 挑 战 。 Digit CommunNetw2017;3（2）：78-88.[27] [10]杨文，李文.车辆联网的可见光通信：使用测量的前照灯光束模式模型的V2V系统性能研究。IEEE Veh TechnolMag 2015;10（4）：45-53.[28] ArsalanM，Hong HG，Naqvi RA，Lee MB，Kim MC，Kim DS，等. 可见光环境下基于深度学习的虹膜分割虹膜识别。 对称2017;9（11）：263。[29] Komine T，Nakagawa M.基于LED 光源的可见光通信系统的基本分析。IEEETrans Consum Electron2004;50（1）：100-7.[30] Benitez JM，Castro JL，Requena I 人工神经网络是黑盒吗？ IEEE Trans NeuralNetw 1997;8（5）：1156-64.[31] ZhangQ，Yu H，Barbiero M，Wang B，Gu M. 纳米光子学实现的人工神经网络。光科学应用2019;8：42.[32] [10]李文生，郭文胜，张毅，王宏，李文胜.深度学习显微镜Optica2017;4（11）：1437-43。[33] 李英，薛英，田丽.深度散斑相关：通过散射介质实现可扩展成像的深度学习方法。Optica 2018;5（10）：1181-90。[34] Lyu M，Wang W，Wang H，Wang H，Li G，Chen Ni，et al. Deep-learning-basedghost imaging. Sci Rep 2017;7：17865.[35] [10]杨文，杨文，杨文. D e e p - S T O R M ：通过深度学习实现超分辨率单分子显微镜。Optica 2018;5（4）：458-64。[36] 古德曼JW。傅立叶光学简介。科罗拉多州：罗伯茨&公司出版社; 2005年。[37] 巴洛 无监督学习 神经计算1989;1（3）：295-311.[38] [10] Goodfellow IJ，Pouget-Abadie J，Mirza M，Xu B，Warde-Farley D，OzairS，et al. 生成对抗网。In：Proceedings of the 27th InternationalConference onNeural Information Processing Systems; December 8 -13 2014; Montreal，QC，Canada; 2014. p. 2672- 80[39] [10] J.J. J，Maktoobi S，Froehly L，Fischer I，Jacquot M，Larger L，et al. 大规模光子递归神经网络中的强化学习。 Optica 2018;5（6）：756-60。[40] Naruse M，Terashima Y，Uchida A，Kim SJ.基于激光混沌的超快光子强化学习。 Sci Rep 2017;7：8772.