芯片研究：2022年春季的张X-M. Yung和M.-H.s的芯片1，2（DOI：10.1016/j.chip.2021.100...

芯片|Vol 1 |2022年春季张X-M. Yung，M.-H. 芯片1，2（2022）1月6×/===芯片研究文章人工智能DOI：10.1016/j.chip.2021.100002低深度光学神经网络Xiao-Ming Zhang1，2，刘&曼-Hong Yung1，3，4，5，刘1南方科技大学物理系，深圳518055 2香港九龙达之路香港城市大学物理系3南方科技大学深圳量子科学与工程研究所，深圳518055 4南方科技大学广东省量子科学与工程重点实验室，深圳518055 5南方科技大学深圳量子科学与工程重点实验室，深圳518055电子邮件：phyxmz@gmail.com（Xiao-Ming Zhang），yung@sustech.edu.cn（Man- Hong Yung）Cite as：Zhang，X.-M. Yung，M.-H. Chip1，2（2022）.https://doi.org/10.1016/j.chip.2021.100002投稿时间：2021年接受日期：2021年在线发布时间：2022年光学神经网络（ONN）是机器学习应用中一个然而，ONN的稳定性随着电路深度而降低，限制了ONN在实际应用中的可扩展性。在这里，我们演示了如何压缩电路深度，使其仅在数据维度方面按比例缩放，从而在噪声鲁棒性方面实现指数增益。我们的低深度（ LD ） -ONN 是 基 于 一 个 架 构 ， 称 为 光 学 计 算 点 积 单 元（OCTOPUS），它也可以单独应用作为一个线性感知器解决分类问题。我们提出的数值和理论证据表明，LD- ONN可以表现出显着的改善鲁棒性，与以前的ONN建议的基础上奇异值分解。关键词：光神经网络，光子芯片，机器学习介绍光子计算代表了一种新兴的技术，能够以低能耗实现高速信息处理1.这种技术可以潜在地应用于解决机器学习的许多问题，这已经对物理界产生了重大影响2特别地，几十年来，人们一直在努力用不同的方法对光学神经网络（ONN）进行解扰11近年来，可扩展的片上集成电路的研究取得了很大进展电路的深度。特别是，基于ONN的深度学习已经通过应用奇异值分解（SVD）来构建任何给定的线性变换得到了实验证明。物理上，这些酉变换可以用多端口干涉仪25、26以及一组对角衰减器来实现。然而，SVD-ONN的电路结构仅适用于由方阵表示的线性变换。在这里和之后，我们将输入和输出向量的维度分别记为N和M。ONN的SVD方法需要O（max（N， M））层干涉仪。由于每一层将向其输出引入误差，所以ONN的SVD方法的可缩放性受到误差缩放为O（max（N， M））的限制。此外，对于实际感兴趣的机器学习任务，N M（例如，图像识别27）和M N（例如，生成模型28）的情况都非常常见。因此，SVD方法将需要附加大量的辅助模式以为了克服鲁棒性和灵活性的问题，我们提出了一种替代方法的ONN执行机器学习任务。我们的ONN是通过连接基本的光学单元，称为光学计算的点积单位（OCTOPUS），光学输出两个矢量的点积;由此产生的电路深度尺度对数为O（logN）。甚至单个OCTOPUS也可以用作光学线性感知器29。此外，与SVD方法相比，OCTOPUS的噪声鲁棒性表现出指数优势（理论分析见补充材料）。为了构建深度神经网络，我们提出了两种低深度ONN的变体，称为树低深度（tree low depth，ARN）和递归低深度（recursive lowdepth，RLD）ONN。这两种结构都以OCTOPUS为基本的光学计算单元，并且它们也适用于每一层的非平方变换，即，N M。TLD-ONN需要更少的光学元件，但可能花费更多的能量; RLD-ONN涉及更复杂的结构，但它更节能。在噪声鲁棒性方面，我们的数值模拟表明，ST-ONN和RTD-ONN具有相同的鲁棒性水平，但它们都明显优于SVD-ONN。结果我们从线性变换开始讨论。给定一维实向量x和N M实变换矩阵W，我们的目标是光学地实现以下线性变换光子电路1，21-与其自由空间对应物相比，片上y= Wx。（一）ONN在可编程性和可集成性方面具有优势13。这种非传统的硬件架构可能会彻底改变人工智能计算领域。为了实现可扩展的ONN，最近已经提出了各种电路设计13，17，18，并且它们具有类似的特性，例如多端口干涉仪的形式和缩放复杂性在SVD方法13中，假设N M。否则，需要手动附加许多0来平方相应的矩阵和向量。然后，矩阵被分解为W V<$U（见图1a），其中U和V<$是酉矩阵，并且V <$是包含W的所有奇异值的对角矩阵。在光学实现中，U和Vt可以用多端口干涉仪来实现，并且可以用一组atten来实现。研究文章DOI：芯片|Vol 1 |2022年春季张X-M. Yung，M.-H. 芯片1，2（2022）2月6我ˇ8ˇ→=·我D−我σI=σA=0。005，沿对应于0xi的路径的输入幅度设为2·xi。 插图：当σI=0时，用于OC T OPU S方法的D（y，y = 0）。005，ˇ图1|（a）线性变换的SVD方法。8× 8方阵被分解为两个酉单位U和V†，以及一个对角矩阵。酉矩阵是由一组M-Z干涉仪实现的，而非线性矩阵是由一组衰减器实现（b）使用OCTOPUS进行线性变换每个OPCTPUS对应于变换矩阵wT的一行。（c）OCTOPUS计算yi=wT·x的示意图。输入向量x的维数为N=8。第一部分：衰减器（绿色）移相器（粉色）对wT的值进行编码。第二部分：干涉仪树执行求和。图2|（a）光学线性感知器的训练过程示意图。x（i）和y（i）分别对应于第i用OCTOPUS计算wT·x（i），然后我们得到fw（x（i））的值。如果y（i）/=fw（x（i）），则更新权重w（b）幅度测量。黑色（虚线）线表示50/ 50分束器。（c）光学线性变换在编码噪声和散粒噪声下的鲁棒性。我们让输入向量和输出向量的维数相同，即，M=N。主面板：SVD和OCTOPUS方法的余弦距离D（y，y）比较。已设置编码错误级别σA= 0。点是模拟数据，虚线拟合为D（y，y）=AlogN+B。所有结果均为10次运行的平均值（d）线性感知器模拟“虹膜”数据集红点对应于1000次训练迭代后的错误率与噪声水平σ=σI=σA。红线是眼睛的向导。黑色虚线对应于σ= 0。005.结果平均超过100次运行。13，30.因为该方案仅在最大奇异值smax不大于1时有效;当smax>1时，应首先将矩阵重新缩放为W1/smaxW。相比之下，我们的OCTOPUS（图）。 1b和图 1c）通过“逐个”计算输出y的元素来解决相同的问题。对于向量x，我们需要具有振幅A0x的光学输入的M个副本，其中A0是预定常数。每个副本都用作一个OCTOPUS的输入第i个OCTOPUS对矩阵W的第i行进行编码（用w i表示），目的是计算结果y i的第i个元素wiTX.与SVD方法类似，每个OCTOPUS都由一组干涉仪和衰减器构成我们建议读者参阅方法部分和补充材料以了解更多详细信息。光学计算的主要噪声源是编码噪声。干涉仪和衰减器的每个路径的不准确长度（这主要是由于波导制造的有限精度和不完美的调谐过程）将引入干涉仪和衰减器的额外相移。信号.在我们的模拟过程中，这个相移被假定为零均值服从正态分布计算结果受到由电路深度确定的编码噪声的影响SVD方法和OCTOPUS方法的电路深度非常不同。前者线性地缩放O（N），而后者线性地缩放O（logN），导致在针对光学元件的编码噪声的噪声鲁棒性方面的具体地，让我们用y表示受噪声影响的输出向量。误差可以用余弦距离量化（y，y）1y·y，（2）ǁy ǁǁy˜ǁ这在分类问题31-33中被广泛采用我们的仿真结果比较了SVD方法与OCTOPUS 方法的鲁棒性，如图所示。 2杯对于SVD方法，研究文章DOI：芯片|Vol 1 |2022年春季张X-M. Yung，M.-H. 芯片1，2（2022）3月6图3|（a）在不同层具有3、7、8和4个神经元的N-ONN和RLD-ONN的一般结构。红线代表光路。表示的输入数据x=[x1，x2，x3]在第一层被编码。神经元用圆圈表示。（b）在RLD-ONN的第一层（上图）和第二层（下图）的神经元的实现。输入信号通过一组可调衰减器（绿色）和移相器（粉色）。然后，递归地附加几个干涉仪树，直到所有输出端口连接到所有输入端口。这里，具有相同标签的路径彼此连接灰色面板表示非线性激活。用黑色十字表示的路径将被丢弃。（c）TLD-ONN的第一层（左图）和第二层（右图）的神经元的实现输入信号首先通过OCTOPUS，然后通过非线性激活。最后，它被均匀地分成几条路径。（d）信件分类任务的错误率比较。研究文章DOI：芯片|Vol 1 |2022年春季张X-M. Yung，M.-H. 芯片1，2（2022）4月6我的天，我的天。这些结果是一致的缩放=（）下一页=（）（）===×（y，y）随N线性增加。相反，OCTOPUS的D（y，y）这两种方法的电路深度在补充材料中，我们提供了噪声效应的进一步理论分析对于SVD AP-逼近时，误差与数据大小N成线性关系，D（y，y）<$σ2N+σ2，干涉仪树具有更小的尺寸递归。然后，非线性激活适用于所有的输出路径。如果下一层的神经元数量大于输出路径的当前数量，则可以使用50/50分束器扩展输出路径;如果它更少，则可以仅丢弃几个输出路径39。请注意，连接输入和哪里和A类输出路径不是唯一的，因此可以执行进一步的优化tenuators，分别。然而，对于OCTOPUS，误差尺度仅为log。例如，可以在RLD-ONN良好之后执行算术上，D（y，y）<$σ2logN+σA。这是受过训练的人的指数优势。一个人可以切断所有的联系，而对通信的影响很小-通过对计算结果的分析，可以显著简化ONN结构OCTOPUS方法与我们的数值结果吻合得很好（见图1的插图）。 2c）。另一个重要的噪声源是散粒噪声：相干光的测量结果不是固定值，而是信噪比（SNR），定义为估计的幅度除以其标准偏差与信号强度成比例。在补充资料中，我们讨论了随机矩阵和输入向量为零均值的线性变换的平均信噪比（SNR）与A0特别地，当N M时，SNR与A0成比例，并且对于OCTOPUS和SVD方法都与N我们还发现，如果需要SNR28，A0应选择为A0四三三7光子1/2的SVD和A0 388。1光子1/ 2用于OCTOPUS方法。由于OCTOPUS使人们能够直接寻址输入向量的每个元素，因此可以用OCTOPUS光学地实现线性感知器34、35，用于解决机器学习中的分类问题（参见图2a和方法）。对于二进制情况，线性感知器的目标是输出一个超平面，将两类标记为0或1的数据分开，允许我们对未标记的新数据进行预测（参见方法）。图2d显示了我们的光学线性感知器与“虹膜数据集”36的模拟结果我们将错误率定义为在标签上提供不正确预测的比率值得注意的是，错误率保持在0.1以下，噪声水平σ ≤ 0。05.众所周知，线性感知器表现良好，简单的任务。然而，对于涉及复杂非线性关系的问题在下文中，我们提出了多层ONN的两种变体，即树低深度（Tree Low-Depth，简称ARN）和递归低深度（Recursive Low-Depth，简称RLD）ONN。如图3a所示，它们都具有同样，输入数据x在每个节点处包含衰减器和移相器的第一层在每个神经元（用圆圈表示）上执行光学计算，封装网络的可训练参数。此外，每层顶部的光路表示相应层的如图3c所示，对于TLD-ONN，每个神经元由OC-TOPUS以及非线性激活函数组成，其可以用非线性晶体13、光电转换37、测量17或光学放大器38物理地实现。然后，每一条路径被均匀地分布到多条路径上，这些路径是下一层神经元的输入更多细节见补充材料。请注意，在TLD-ONN中，OCTOPUS仅选择一条路径作为其输出;许多路径被丢弃。为了实现深ONN，可能需要强光源或放大每层的信号。我们可以重新构建ONN，这是开发RLD-ONN方法的动机。可替代地，在补充材料中引入另一种变化如图3b所示，对于RLD-ONN，输入信号首先通过一组可训练衰减器和移相器，然后通过（3层或2层）干涉仪树。与TLD-ONN不同，在这些步骤之后没有信号被丢弃。此时，只有两条路径（例如为了连接所有其他输出路径，将剩余路径发送到虽然RLD-ONN需要更多的光学元件，电路深度保持对数。最近提出了用于光学神经网络和光学计算的其他低深度方法41然而，它们中没有一个被证明是通用的，使人怀疑它们是否有能力表示复杂的高度非线性函数。为了证实我们的方案的代表性，在补充材料中，我们证明了TLD-ONN的变换等价于标准的前馈神经网络。因此，根据神经网络的普适性近似定理44，TLD-ONN可以以任意精度表示任何连续函数我们还在补充材料中表明，对于任何给定形式的单隐层TLD-ONN，总是存在与之等价的RLD-ONN。因此，本文提出的双隐层TLD-ONN和RLD-ONN都是通用的。为了将LD-ONN的性能与SVD-ONN13的性能进行比较，我们对“字母识别”数据集36进行数值模拟在模拟中使用的ONN包含一个隐藏层与64个神经元。SVD和TLD-ONN是用标准的反向传播补充材料训练的，而RLD-ONN是用“前向传播”训练的在这项工作中，我们认为训练是预处理，即，首先在常规计算机上训练网络的参数。然而，训练也可以在几乎没有电子设备的帮助下以光学方式实现（参见补充材料）。如图3d所示，随着噪声水平的增加，RLD-ONN和RLD-ONN具有相当的错误率，而两者都显著低于SVD-ONN的错误率值得注意的是，与图2d不同，当噪声水平σ0.这是因为这里的分类任务更复杂，所以需要更复杂的ONN。错误率可以通过包括更多层和更多数量的神经元来进一步降低。讨论和结论我们将我们的ONN方案的性能与最先进的Radeon Instinct MI60 7nmGPU（以下表示为GPU）进行了比较。为了避免歧义，我们只关注一层TLD-ONN的推理。深度神经网络的性能取决于实现非线性激活的方式，并且应该根据具体情况进行评估。以每秒万亿次浮点运算（TFLOPS）为单位的吞吐量是数据处理速度的重要度量。在理想情况下，该值受光子检测器的检测速率的限制，该检测速率可以高达100 GHz45。注意，计算结果的幅度和符号应该通过两个单独的检测来获得，因此每秒可以计算5 1010线性变换。相应的吞吐量为0。1NM TFLOPS。对于较大的N和M，它可以远远高于GPU的峰值吞吐量（59 TFLOPS）。功率消耗主要由输入信号13、37的供应引起。我们感兴趣的是功率效率，其定义为通过量除以总功率.例如，对于float8（或int8）数据类型，GPU的功率效率可以通过除以σIσA表示干涉仪的噪声水平，研究文章DOI：芯片|Vol 1 |2022年春季张X-M. Yung，M.-H. 芯片1，2（2022）5月6N（）下一页×（）下一页a0级a0级--线性变换·（2. 1× 10−15NM）J。不热设计功率的峰值吞吐量为0.2 TFLOPS/W。在光学计算中，为了满足浮点8（或整数8）数据类型的精度要求，在估计结果的大小时要求SNR为28估计符号所需的SNR要小得多，因此其能量成本可以忽略不计。同样，能量成本取决于输入矢量的分布和变换质量。我们考虑一个简单的例子，其中矩阵和向量的元素都独立地从（0，1）中提取，波长设置为1550 nm。单个线性变换的能量成本为（2. 110- 15NM）J，每个线性变换对应于2NM浮点运算因此，线性变压器的总功率效率可以估计为952 TFLOPS/W。我们还在补充材料中提供了一种ONN的功率效率是否优于电子器件还取决于非线性激活的物理实现。本文以测量方法17为例，首先测量线性变换的输出，然后计算电子器件中的非线性函数光电探测器的功率要求大约为1W，并且还可以假设100GHz的检测速率。由于我们需要总共M个检测器和每个输出元件的两个测量值（符号和振幅），非线性激活的能量成本可以估计为2× 10−11MJ。 当N 9.5× 103，这个。值可以忽略不计，算术电路的深度，导致指数改善误差缩放的SVD方法。此外，TLD-ONN需要较少数量的光学元件，但我们注意到，它还需要在实现期间丢弃更多的路径。相反，RLD-ONN需要丢弃少得多的路径（与SVD-ONN相同），但是以更大数量的光学元件为代价，并且需要波导交叉。最后，基于OCTOPUS，我们提出了一种新的机器学习ONN架构，它提供了指数级的鲁棒性对编码错误的改善我们讨论了光学线性变换、线性感知器和多层ONNs的两种变体的不同方案随机变换和标准机器学习数据集的数值模拟来说明我们的计划的鲁棒性。所提出的LD-ONN可以用当前的光子电路1技术直接我们的建议，结合适当的实现非线性激活，提供了一个可能的解决方案，以机器学习任务的工业利益与强大的，可扩展的，灵活的ONNs。方法OCTOPUS的结构 如图 1c，我们的OCTOPUS包含两部分在第I部分，用一组可调谐衰减器编码，注意，可以进一步对LD-ONN结构进行若干简化首先，如补充材料中所讨论的，ONN可以用在饱和状态下工作的放大器进行二进制化通过权重、偏置和激活函数的二值化，可以去除每个OCTOPUS处的衰减器（用于幅度编码）其次，代替在移相器和衰减器处对参数进行编码，它们也可以在干涉仪处进行编码。更具体地说，可以去除OCTOPUS的第一部分，并用可调谐干涉仪代替第二部分的阿达玛变换第三，在训练过程之后，可以利用“修剪”技术40来“压缩”网络上述改进或修订在当前技术的范围内一个可积的，可扩展的，强大的，稳定的非线性激活也移相器具体地，衰减器对W1/T的幅度进行编码，而移相器在元件为负时有条件地将π在第二部分，我们需要一组光学阿达玛变换25，26。在每个Hadamard变换之后，我们只跟踪与其输入的“和”相对应的输出端口它们被构造成一种具有总共N=2的n层干涉仪树，n个输入端口和1个输出端口。最终输出的幅度变为<$Nwi·x=<$Nyi，这是所需结果乘以一个常数。振幅测量-在图2b中描绘了该部分。更多细节见补充材料。线性感知器。 对于一组训练数据x，需要确定以下函数f w（x）的参数w：ONN实际应用的关键。我们已经证明，放大器f（x）=. 1w·x0（三）在饱和区工作（补充材料第4节）可以-产生强烈的非线性效应。在文献中，还有其他可能的方法，包括利用光学腔46和具有电磁感应透明性47的冷原子的尖峰。除了使用全光学非线性效应，还有其他方法来非线性激活，如非破坏性测量。例如，参考文献37建议将一小部分光子转换为电信号，用于调制其余部分的光子信号。片上非线性激活是一个有待进一步研究的问题。SVD-、SVD-和RLD-ONN的总结在表1中给出，提供了具有输入维度N和输出维度M的ONN层的成本比较。RLD-ONN和RLD-ONN都具有日志-表1|不同ONN结构的每层成本汇总。所有值对应于缩放阶数O（），用于实现具有输入维度N和输出维度M的神经网络的一层。奇异值分解电路深度max（N， M）logN logN误差缩放max（N， M）logN logN元素数max（N2，M2）NMN2M0w·x 0<这可以通过一次性使用OCTOPUS，然后进行适当的测量来实现。如图2a所示，在第i次迭代时，我们使用训练数据x（i）作为输入，并确定其对应的标签y（i）是否等于fw（x（i））。如果不是，则根据以下公式更新权重：w←w+ηx（i），其中η是学习率。引用1. Flamini，F.，斯帕尼奥洛河Sciarrino，F. 光子量子资讯处理：回顾。众议员Prog.Phys. 82，016001（2018）。 https://doi.org/10.1088/1361-6633/ aad5b2.2. Biamonte，J.，Wittek，P.，Pancotti，N.，Rebentrost，P.，Wiebe，N.劳埃德，S.量子机器学习Nature549，195（2017）. https://doi.org/10.1038/ nature23474.3. Mehta ， P. ， Bukov ， M. ， 王 角 H 、 Day ， A. G. ， 理 查 森 角 ， 费 希 尔 角 K.&Schwab，D. J.. A high-bias，low-variance introduction to machine learning forphysicians（2018）arXiv preprint arXiv：1803.08823. https://doi.org/10.1016/j.physrep.2019.03.001.4. Carleo，G. &Troyer，M.用人工神经网络求解量子多体问题。Science355，602-606（2017）. https://doi.org/10.1126/science的网站。aag2302。5. Carrasquilla，J. Melko，R. G.物质的机器学习阶段。自然物理学13，431（2017）。 https://doi.org/10.1038/nphys4035。W研究文章DOI：芯片|Vol 1 |2022年春季张X-M. Yung，M.-H. 芯片1，2（2022）6月66. 妈妈，Y。- C. &容，M。H. 用机器学习将贝尔不等式转化为状态分类器。npjQuantum Inf4（2018）. https://doi.org/10.1038/ s41534-018-0081-3.7. Bukov ， M. ， Day ， A.G. R. ， 塞 尔 斯 ， D. ， Weinberg ， P. ， Polkovnikov ，A.Mehta，P.在量子控制的不同阶段再学习 Phys. Rev. X 8，031086（2018）.https://doi.org/10.1103/PhysRevX.8.031086。8. 杨X- C.对所述化合物进行修饰，Yung，M.- H. &Wang，X.神经网络设计的脉冲序 列 用 于 单 重 态 - 三 重 态 量 子 比 特 的 鲁 棒 控 制 。 Phys. Rev. A97 ， 042324（2018）。http：//doi.org/10.1103/PhysRevA.97.042324的网站。9. 张X- M.，崔，Z.- W.，Wang，X. &容，M。H.自动自旋链学习探索量子速度极限。Phys.Rev.A97，052333（2018）。网址：//doi.org/10.1103/PhysRevA.97.052333。10. 高，J.，乔湖F.、焦，Z。问：妈妈，Y。- C.对所述化合物进行修饰，胡角问：Ren，R.- J.，杨，A.- L.，Tang，H.，Yung，M.- H. &Jin，X. M.量子态的实验机器学习。Phys.Rev.Lett.120，240501（2018）。https://doi.org/10.1103/PhysRevLett。120.240501.11. 瓦格纳，K。Psaltis，D.多层光学学习网络。 Appl. 选购配件 26，5061- 5076（1987）中所述。 https://doi.org/10.1364/AO.26.005061。12. Jutamulia ， S.Yu ， F. 混 合 光 学 神 经 网 络 综 述 选购配 件 激 光 技 术 28 ， 59-72（1996）。https：//doi.org/10.1016/0030-3992（95）00070-4.13. 沈，Y.，哈里斯，N。C.对所述化合物进行修饰，Skirlo，S.，Prabhu，M.，Baehr-Jones，T.，Hochberg，M.，太阳，X.，赵，S.，拉罗谢尔湾Englund，D.，Deep learning with coherent nanophotonic circuits. Nat.Photonics11，441（2017）. https://doi.org/10.1038/ nphoton.2017.93.14. Tait，A.N.，Lima，T.F.、Zhou，E.，Wu，中国茶条A.X.，Nahoun，M.一、沙斯特 里湾J. Pruc- nal， P. R.使用 硅光子 权重库的 神经形 态光子 网络。 Sci.Rep.7，7430（2017）中所述。 https://doi.org/10.1038/s41598-017-07754-z。15. 林，X.，Rivenson，Y.，Yardimci，N.T.，Veli，M.，Luo，Y.，（1996年），美国 ， Jarrahi ， M. 厄 兹 坎 A. 使 用 衍 射 深 度 神 经 网 络 的 全 光 学 机 器 学 习 。Science361，1004（2018）。 https://doi.org/10.1126/science.aat8084。16. 张，J.，西茨曼，V.，敦，X.，海德里希，W。&韦茨施泰因湾，澳-地用于图像分类的具有优化衍射光学的混合光电卷积神经网络。Sci.重复报告8，12324（2018）。https://doi.org/10.1038/ s41598-018-30619-y.17. 休斯，T。W.，Minkov，M.，Shi，Y.范，S。通过原位反向传播和梯度测量训练光子神经网络Optica5，864-871（2018）.https://doi.org/10.1364/OPTICA.5.000864。18. Bagherian，H.，Skirlo，S.，沈，Y.，孟，H.，Ceperic，V. Soljacic，M.. 片上光学卷积神经网络（2018）。 https://doi.org/10.48550/arXiv.1808。03303.19. Penkovsky，B.，Porte，X.，Jacquot，M.，较大湖，澳-地Brunner，D.. 耦合非线性延迟系统作为深度卷积神经网络（2019 ）。https://doi.org/10 的网站。1103/PhysRevLett.123.054101。20. 费尔德曼，J.，杨布拉德，N.，Wright，C.，巴斯卡兰河Pernice，W.具有自我学习 能 力 的 全 光 脉 冲 神 经 突 触 网 络 。 Nature569 ， 208 （ 2019 ） .https://doi.org/10.1038/s41586-019-1157-8。21. 哈里斯，N。C.对所述化合物进行修饰，Steinbrecher，G.R.，Prabhu，M.，Lahini，Y.，Mower，J.，Bunandar，D.，陈春，Wong，F. N.，Baehr-Jones，T. Hochberg ， M. ， 可 编 程 纳 米 光 子 处 理 器 中 的 量 子 传 输 模 拟 。Nat.Photonics11，447（2017）. https://doi.org/10.1038/nphoton.2017.95。22. 王，H.，他，Y.，李，Y. H、苏，Z.- E、李，B.，黄鸿L.，丁，X.，陈文C.对所述化合物进行修饰，Liu，C.秦杰，高效多光子玻色子采样。Nat.Photonics11，361（2017）. https://doi.org/10.1038/nphoton.2017.63。23. J.，哈罗德角，斯派洛角，Martín-López，E.，Russell，N.J.，银石，J. W.，Shadbolt，P. J.，Matsuda，N.，奥古马，M。Itoh，M.，等，通用线性光学。Science349，711 https://doi.org/10.1126/science.aab3642。24. 斯普林，J.B.，梅特卡夫湾J.，汉弗莱斯，Kolthammer，W.美国，金，X。- M.，Barbieri，M.，Datta，A.，托马斯-彼得，N，Langford，N.K. Kundys，D.， 等人光子芯片上的玻色子采样。Science339，798-801（2013）。https://doi.org/10的网站。1126/science.1231692.25. 雷 克 ， M. ， Zeilinger ， A. ， Bernstein ， H. J.& Bertani ， P. ， ExperimentalRealization of Any Discrete Unitary Operator 。 物 理 修 订 信 函 73 ， 58-61（1994）。https://doi.org//PhysRevLett.73.58.26. Clements，W.R.，Humphreys，P.C.对所述化合物进行修饰，梅特卡夫湾J.，Kolthammer，W.S. 沃姆斯利I. A. 通 用 多 端 口 干 涉 仪 的 优 化 设 计 。 Optica3 ， 1460-1465 （ 2016 ） 。https://doi.org/10.1364/OPTICA.3.001460。27. 他，K.，张，X.，Ren，S.Sun，J..深度残差学习用于图像识别。在IEEE计算机视 觉 和 模 式 识 别 会 议 论 文 集 （ pp.770-778 ） （ 2016 ） 。https://doi.org/10.1109/CVPR.2016.90。28. 古德费洛岛供稿：Pouget-Abadie，J. ，Mirza，M. ，Xu，B. ，Warde-Farley，D. ，Ozair，S. ，Courville，A. &Bengio，Y..生成对抗网。在神经信息处理系统的进展（pp。267229. Freund，Y. &沙佩尔河E.大边缘分类使用的是tron算法机器学习37，277-296（1999）。https://doi.org/10.1023/A：1007662407062。30. Steinbrecher，G.R.，Olson，J.P.，Englund，D.J. 量子光学神经网络（2018）。https://doi.org/10.1038/s41534-019-0174-7。31. 奈尔河谷Hinton&，G. E. . 整流线性单位改善限制玻尔兹曼马-研究文章DOI：芯片|Vol 1 |2022年春季张X-M. Yung，M.-H. 芯片1，2（2022）7月6下巴在第27届机器学习国际会议（ICML-10）上，80732. 阮氏H. V. Bai，L..余弦相似度学习在人脸验证中的应用。在亚洲计算机视觉会议上， 709 ） 。 Springer （ 2010 ） . https://doi.org/10 。 1007/978-3-642-19309-5_55。33. Dehak，N.，Kenny，P.J.，Dehak河，Dumouchel，P.Ouellet，P.用于说话人确 认 的 前 端 IEEE Transactions on Audio ， Speech ， and LanguageProcessing19，788（2011）. https://doi.org/10.1109/TASL.2010.2064307。34. Rosenblatt，F.. 感知器，一个感知和识别自动机项目帕拉。康奈尔航空实验室（1957年）。35. MacKay，D. J. Kay，D. J. M. 信息论、推理与学习算法。剑桥大学出版社（2003）.36. C. Blake，1998，http://archive.ics.uci.edu.37. 威廉森岛A. D、休斯，T。W.，Minkov，M.，Bartlett，B.，Pai，S.Fan，S..光学 神 经 网 络 的 可 重 新 编 程 电 光 非 线 性 激 活 函 数 （ 2019 ） 。https://doi.org/10.1109/JSTQE.2019.2930455。38. 康奈利，M。J.. 半导体光放大器Springer Science Business Media（2007）.39. 由于最后四个输出路径是untraced，电路的许多部分是redundant。我们仍然在我们的插图中保留它们，以便更清楚地了解电路的总体思想40. 汉，S.，毛氏H. &达利，W。J.. 深度压缩：使用修剪、训练量化和霍夫曼编码压缩深度神经网络（2015）。网址：http：//doi.org/10.48550/arXiv.1510.0014941. Flamini ，F. ， Spagnolo ， N.， Viggianiello ，N. ， Crespi， A. ， 奥塞 拉 梅河&Scia-rrino，F.用于量子信息处理的集成线性光学架构的基准测试。科学报告7，1-10（2017）。https://doi.org/10.1038/ s41598-017-15174-2.42. 京湖，澳-地，Shen，Y. ，Dubcek，T. 供稿：J. ，Skirlo，S. ，LeCun，Y. ，Tegmark，M. & Solja ci c'，M.. 可调效率酉神经网络及其应用。在机器学习国际会议上（pp。173343. Pai，S.，威廉森岛，休斯，T。W.，Minkov，M.，Solgaard，O.，范，S。&米勒，D. A. 任 意 前 馈 光 子 网 络 的 并 行 编 程 。 IEEE Journal of Selected Topics inQuantum Electronics（2020） https://doi.org/10.1109/ JSTQE.2020.2997849.44. Hornik，K.多层前馈网络的逼近能力。神经网络4，251-257（1991）。https：//doi.org/10.1016/0893-6080（91）90009-T.45. 维维安湖，Polzer，A.，Marris-Morini，D.，Osmond，J.，哈特曼，J.M.，Crozat，P.，Cassan，E.，Kopp，C.，Zimmermann，H. &Fédéli，J. M.硅基零偏压40 gbit/s锗波导光电探测器。Optics express20，1096-1101（2012）.https://doi.org/10.1364/OE.20.001096。46. 向，J，Torchy，A.，Guo，X.Su，Y. 基于无源微谐振器的全光脉冲神经元。光波技术杂志（2020）。 https://doi.org/10.1109/ JLT.2020.2986233.47. 左，Y.，李，B.，赵玉，江，Y.，陈玉- C.对所述化合物进行修饰，陈佩，乔，G.-B、Liu，J. Du，S.具有非线性激活函数的全光神经网络。《光学》，第6卷，第1132- 1137页（2019年）。 https://doi.org/10.1364/OPTICA.6.001132。杂项补充材料与本文相关的补充材料可以在10.1016/j.chip.2021.100002的在线版本中找到。致谢X.- M. Z.感谢王希明的有益讨论。本工作得到了广东省自然科学基金（批准号：2017B030308003）、广东省重点研发项目（批准号：2018B030326001 ） 、 深 圳 市 科 学 技 术 创 新 委 员 会 （ 批 准 号 ：2018B030326001 ） 、 深 圳 市 科 技 创 新 委 员 会 （ 批 准 号 ：2017B030308003 ） 、 深 圳 市 科 技 创 新 委 员 会 （ 批 准 号 ：2018B030326001 ） 、 深 圳 市 科 技 创 新 委 员 会 （ 批 准 号 ：2018B030326001 ） 、 深 圳 市 科 技 创 新 委 员 会 （ 批 准 号 ：2018B030326001）的资助。JCYJ20170412152620376和No.JCYJ20170817105046702和国家自然