QuantumNAT：利用噪声注入、量化和归一化实现量子噪声感知训练

Table 2Noise-Free SimulationIBMQ-YorktownLimaSantiagoMNIST-40.86666666670.23333333330.55666666670.73333333330.61666666670.77333333330.80.10.40.70.800.730.770.560.620.230.00020330.140.310.6410QuantumNAT：噪声注入、量化和归一化的量子噪声感知训练01 Hanrui Wang，2 Jiaqi Gu，3 Yongshan Ding，4 Zirui Li，5 Frederic T. Chong01麻省理工学院，2德克萨斯大学奥斯汀分校，3耶鲁大学，4上海交通大学，5芝加哥大学0https://qmlsys.mit.edu0摘要0参数化量子电路（PQC）在近期量子硬件上实现量子优势方面具有潜力。然而，由于量子噪声（错误）较大，PQC模型在实际量子设备上的性能会严重降低。以量子神经网络（QNN）为例，无噪声模拟和IBMQ-Yorktown上的噪声结果之间的准确性差距在MNIST-4分类任务上超过60%。现有的噪声缓解方法是通用方法，没有充分利用PQC的独特特性；另一方面，现有的PQC工作没有考虑噪声影响。为此，我们提出了一种名为QuantumNAT的PQC特定框架，以在训练和推理阶段进行噪声感知优化，提高鲁棒性。我们实验观察到量子噪声对PQC测量结果的影响是从无噪声结果到有噪声结果的线性映射，具有一个缩放因子和一个平移因子。受此启发，我们提出了后测量归一化来减轻无噪声和有噪声情况下特征分布的差异。此外，为了提高对噪声的鲁棒性，我们根据量子硬件的实际噪声模型向PQC的训练过程中插入量子错误门进行噪声注入。最后，我们引入了后测量量化来将测量结果量化为离散值，实现去噪效果。在6个量子设备上进行的8个分类任务的大量实验证明，QuantumNAT可以将准确率提高高达43%，并在实际量子计算机上达到94%的2类分类准确率、80%的4类分类准确率和34%的10类分类准确率。构建和噪声感知训练PQC的代码可在TorchQuantum库中找到。01 引言0量子计算（QC）是一种新的计算范式，在各个领域中可以比经典对应物快指数倍。参数化量子电路（PQC）是包含可训练权重的电路，有望在当前设备上实现量子优势。在各种PQC中，量子神经网络（QNN）是一种流行的算法，其中构建了一组参数化量子门的网络，并对数据进行嵌入和执行某些机器学习任务，类似于经典神经网络的训练和推理。目前，我们处于噪声中间尺度量子（NISQ）阶段，其中量子操作的错误率高达10^-2至10^-3，远高于CPU/GPU（10^-6FIT）。不幸的是，量子错误对PQC产生了不利影响。0DAC'22，2022年7月10-14日，美国加利福尼亚州旧金山，由拥有者/作者举办的ACM ISBN978-1-4503-9142-9/22/07。https://doi.org/10.1145/3489517.35304000MNIST-40无噪声模拟IBMQ-Y0准确率0错误率01量子比特门错误率0由于量子错误，在真实设备上准确率严重下降0MNIST-40+QuantumNAT0图1：左：当前量子硬件的错误率（约为10^-3）比传统的CPU/GPU高得多。右：由于错误，PQC（QNN）模型的准确性大幅下降。不同的设备具有不同的错误大小，导致不同的准确性。这些情况激发了QuantumNAT，一种硬件特定的噪声感知PQC训练方法，以提高鲁棒性和准确性。0准确率。图1显示了不同硬件上QNN的单比特门错误率和分类任务的准确率。有三个关键观察结果：（1）量子错误率（10^-3）远大于经典CMOS设备的错误率（10^-6每10^9设备小时）。（2）与无噪声模拟相比，实际硬件上的准确性显著降低（高达64%）。（3）不同硬件上的相同QNN由于不同的门错误率具有不同的准确性。IBMQ-Yorktown的误差率比IBMQ-Santiago高五倍，较高的错误率导致较低的准确性。研究人员已经提出了噪声缓解技术[16，21]来减少噪声影响。然而，它们是通用方法，没有考虑PQC的独特特性，并且只能应用于PQC的推理阶段。另一方面，现有的PQC工作[3，8]没有考虑噪声影响。本文提出了一种名为QuantumNAT的PQC特定噪声缓解框架，该框架在训练和推理阶段优化PQC的鲁棒性，提高PQC参数的内在鲁棒性，并提高在真实量子计算机上的准确性。QuantumNAT包括一个三阶段的流水线。第一步，后测量归一化对每个量子位（比特）上的测量结果进行归一化，从而消除了由量子错误引起的分布偏移。此外，我们通过根据QC供应商提供的硬件特定的量子噪声模型，将噪声注入到PQC的训练过程中。在训练过程中，我们迭代地对错误门进行采样，将它们插入到PQC中，并更新权重。最后，我们进一步提出了后测量量化，将每个比特的测量结果的精度量化为离散值，实现去噪效果。在本文中，我们主要使用QNN作为基准，但这些技术也可以应用于其他PQC。QuantumNAT的贡献如下：•一种系统化的流水线来缓解噪声影响：后测量归一化、噪声注入和后测量量化。0本作品采用知识共享署名国际4.0许可协议进行许可。20一层块0编码器 可训练的量子层 测量 像素作为旋转0角度0层0数字10类别0数字20数字30数字40图2：量子神经网络架构。QNN具有多个块，每个块都有一个编码器将经典值编码到量子域，具有可训练权重的量子层和一个获得经典值的测量层。0•QuantumNAT在6个量子设备上使用5个不同设计空间对8个机器学习任务进行了广泛实验，结果显示在2类、4类和10类分类任务上，QuantumNAT可以将准确率提高高达42%、43%和23%；在真实的量子硬件上，2类、4类和10类分类任务的准确率分别达到了94%、80%和34%。•构建和噪声感知训练PQC的代码可在TorchQuantum库中找到。它是一个方便的基础设施，可用于从IBM等QC供应商查询噪声模型、提取噪声信息、在CPU/GPU上进行训练，最终在真实QC上部署。02 背景和相关工作0QML和QNN。量子机器学习探索在量子设备上执行机器学习任务。在QML上取得量子优势的路径通常是由于量子电路能够生成和估计高度复杂的核函数，这在传统计算机上计算起来是棘手的。已经显示出在各种任务中，包括度量学习、数据分析和主成分分析等方面，它们与经典对应物相比具有潜在的加速优势。量子神经网络是使用可训练参数的变分量子电路来完成输入数据的特征编码和复值线性变换的QML模型之一。已经提出了各种QNN的理论形式，例如量子玻尔兹曼机[1]和量子分类器[3，17，18，20]等。量子误差缓解。由于误差形成了量子领域的瓶颈，研究人员开发了各种误差缓解技术[21]。外推方法[16]在不同的错误率下对量子电路进行多次测量，然后在没有噪声时外推理想的测量结果。[11]使用带有噪声模拟器的RL训练PQC。QuantumNAT与现有方法根本不同：（i）之前的工作仅关注推理中的低级数值校正；QuantumNAT在训练和推理中都拥抱更多的优化自由度。它提高了PQC参数的内在鲁棒性和统计保真度。（ii）PQC具有很好的内置容错性，这激发了QuantumNAT的后测量量子化，以减小中间结果的数值精度，同时保持准确性。（iii）QuantumNAT的开销很小（<2%），而其他方法引入了高度的测量、电路复杂性成本等。我们在第4节中展示了现有外推方法与QuantumNAT之间的正交性。经典NN的量化和噪声注入。为了提高NN的效率，进行了大量工作来削减NN权重和激活的冗余位表示[4，19]。尽管低精度量化限制了模型的容量，但它可以改善泛化和鲁棒性[12]。直观的解释是量化通过值夹紧来纠正错误，从而避免了级联错误积累。此外，通过向神经网络训练中注入噪声，可以获得平滑的损失曲面，从而提高泛化能力[14]。0级联错误累积。此外，通过稀疏化参数空间，量化降低了NN的复杂性，作为一种正则化机制，缓解潜在的过拟合问题。类似地，向神经网络训练中注入噪声已经证明有助于获得更好的泛化的平滑损失曲面[14]。03 带噪声感知的PQC训练0我们在这项工作中使用QNN作为基准PQC。图2显示了QNN的架构。输入是像素等经典数据，输出是分类结果。QNN由多个块组成。每个块有三个组件：编码器使用旋转门（如 RY）将经典值编码为量子态；可训练量子层包含参数化门，可以训练来执行某些机器学习任务；测量部分测量每个量子比特并获得经典值。一个块的测量结果传递到下一个块。对于图2中的MNIST-4示例，第一个编码器将4×4降采样图像的像素作为16个旋转门的旋转角度。最后一个块的测量结果通过Softmax传递以输出分类概率。QuantumNAT概述如图3所示。03.1 后测量归一化0由于量子噪声对QNN的测量结果��进行了线性变换。这可以表示为�(��)=����+��，其中(1)�∈[−1,1]是一个与输入无关的常数缩放因子，(2)��是一个与输入相关的偏移。通过分析噪声分布，我们观察到测量结果的变化通常可以通过适当的后测量归一化在输入批次之间进行补偿。当应用于少量输入数据x={�1,...,��}时，该方法最为强大。对于小噪声，�接近1，��对于所有�∈[�]接近0。因此，噪声测量结果的分布通过�≤1的常数缩放和每个��的小偏移进行了变换。在小批次区域中，当�={�1,...,��}具有小方差时，分布通过其均值�=E[�]进行了平移。由于输入相关的偏移可以近似为其平均值，即�(��)≈���+�，我们的归一化方法可以有效地补偿这种噪声。后测量归一化。根据上述分析，我们提出了后测量归一化来抵消分布的缩放和平移。对于每个量子比特，我们收集其在一批输入上的测量结果，计算它们的均值和标准差，然后使批次中每个量子比特的分布零中心化和单位方差。这在训练和推理过程中都进行。在训练期间，对于一批测量结果：�={�1,...,��}，归一化结果为��=(��−E[�])/ �0Var(�)。对于有噪声的推断,30(1)后测量归一化0正则化0无噪声0信息损失0(2)真实QC支持的噪声注入(3)后测量量子化0量子误差0通过量子化进行去噪0敏感的鲁棒正则化0噪声匹配0小间距0间距0将真实QC噪声注入训练0错误0图3：QuantumNAT概述。(1)后测量归一化匹配无噪声模拟和真实QC之间的测量结果分布。(2)基于真实噪声模型，噪声注入将量子误差门插入训练过程以增加类别之间的分类间距。(3)进一步对测量结果进行量子化以进行去噪。0无噪声模拟真实设备0批次0每个测量结果的SNR0测量结果分布0测量结果分布0带后测量归一化的基准0第2个块的输出，3个块模型，IBMQ-Quito0每个测量结果的SNR0批次0图4：后测量归一化减少无噪声模拟和有噪声结果之间的分布不匹配，从而提高信噪比（SNR）。0我们将错误纠正为��(��)=(�(��)−E[�(�)])/ �0Var(�(�))=((���+�)-(�E[�]+�))/ �0�2Var(�)=ˆ��。图4比较了4个量子比特（蓝色）的无噪声测量结果分布与它们的有噪声对应物（黄色）在MNIST-4上的情况。在定性上，我们可以清楚地观察到后测量归一化减少了两个分布之间的不匹配。定量上，我们采用信噪比���=∥�∥22/∥�−��∥22，即相对矩阵距离（RMD）的，作为指标。每个量子比特和每个单独的测量结果的SNR明显改善。虽然类似，但它与批量归一化[7]不同，因为测试批次使用自己的统计数据，而不是来自训练的统计数据，并且没有可训练的仿射参数。03.2 量子噪声注入0尽管上述归一化可以减轻错误的影响，但我们仍然可以观察到每个单独测量结果上的小差异，这会降低准确性。因此，为了使QNN模型对这些错误具有鲁棒性，我们提出将噪声注入到训练过程中。量子误差门插入。如第2节所介绍的，不同的量子错误可以通过Pauli扭曲通过Pauli错误近似。Pauli错误的效果是将PauliX，Y和Z门随机插入到模型中，概率分布为E。如何计算E超出了本文的范围。但幸运的是，我们可以直接从由量子硬件制造商（如IBMQ）提供的现实设备噪声模型中获得它。噪声模型指定了每个量子比特上不同门的概率E。0单量子比特门，在原始门之后插入误差门。对于两量子比特门，错误门在一个或两个量子比特上的门之后插入。例如，IBMQ-Yorktown设备上量子比特1上的SX门具有E为{X：0.00096，Y：0.00096，Z：0.00096，None：0.99712}。当采样到“None”时，我们不会插入任何门。同一个门在不同的量子比特或不同的硬件上具有高达10倍的概率差异。如图5所示，在训练过程中，对于每个QNN门，我们根据E采样错误门并将其插入到原始门之后。每个训练步骤都会采样一组新的错误门。实际上，在进行门插入和训练之前，QNN会被编译为量子硬件（例如X，CNOT，RZ，CNOT和ID）的基础门集。我们还会通过常数噪声因子T来缩放概率分布，并在采样过程中将X，Y，Z概率缩放为T。T因子探索适当的噪声注入和训练稳定性之间的平衡。典型的T值在[0.5,1.5]范围内。门插入开销通常不到2％。读出噪声注入。从量子比特获得经典值被称为读出/测量，这也容易出错。实际噪声模型以每个量子比特的2×2矩阵形式提供统计读出误差。例如，IBMQ-Santiago的量子比特0具有读出误差矩阵[[0.984, 0.016]，[0.022,0.978]]，这意味着将|0�测量为0的概率为0.984，测量为1的概率为0.016。我们通过改变测量结果来模拟读出误差的影响。例如，原始�(0)=0.3，�(1)=0.7，注入噪声后的版本将为�′(0)=0.3×0.984+0.7×0.022=0.31，�′(1)=0.7×0.978+0.3×0.016=0.69。直接扰动。除了门插入之外，我们还尝试了直接扰动测量结果或旋转角度作为噪声源。对于结果扰动，我们使用验证集中的基准样本，获取无噪声和有噪声测量结果之间的误差���分布，并计算均值����和标准差����。在训练过程中，我们直接将服从高斯分布N(����,�2���)的噪声添加到归一化的测量结果中。类似地，对于旋转角度扰动，我们向QNN中的所有旋转门的角度添加高斯噪声，并使旋转角度高斯噪声对测量结果的影响类似于真实的QC噪声。我们在第4节中展示了门插入方法优于直接扰动的结果。03.3 后测量量化0最后，我们提出在归一化结果上进行后测量量化，以进一步消除测量结果的噪声。我们首先将结果裁剪到[����,����]，其中�是预定义的阈值，然后执行均匀量化。量化后的值后来传递给下一个块的编码器。图6显示了一个真实的Errors Before QuantizeMSE=0.235, SNR=4.256Errors After QuantizeMSE=0.167, SNR=6.455-2-1012-2-1012-2-101240子电0错误类型0错误类0编译的量子电路0样本量子错误门0（样本1）0读出0错误0概率0错误类型0QC支持0噪声模型0编译的量子电路0无噪声0样本量子错误门0（样本2）0图5：通过错误门插入进行噪声注入。X，Y，Z是采样的Pauli错误门。R是注入的读出错误。插入门的概率是从实际设备噪声模型中获取的。0量化前的误差 MSE=0.235，SNR=4.256 量化后的误差 MSE=0.167，SNR= 6.4550量化前的误差MSE=0.235，SNR=4.2560量化后的误差 MSE=0.167，SNR= 6.4550图6：左：后测量量化之前和之后的误差图。大多数错误可以纠正。右：具有二次惩罚损失的5级量化桶。0来自Fashion-4在IBMQ-Santiago上的示例，使用五个量化级别和���� =-2，���� =2。左/中矩阵显示了量子噪声和量子量化之前/之后的无噪声和有噪声结果之间的误差图。大多数错误可以通过纠正回零来纠正，只有少数错误被量化到错误的中心点。MSE从0.235降低到0.167，SNR从4.256增加到6.455。我们还在训练损失中添加了一个损失项||y-Q(y)||22，如右侧所示，以鼓励结果靠近量化中心以提高错误容忍度并减少被量化到错误的中心的机会。除了改善鲁棒性外，量化还降低了旋转门的控制复杂性。04 实验 4.1 实验设置0数据集。我们在包括MNIST [10]10类，4类（0，1，2，3）和2类（3，6）的8个分类任务上进行实验。以及4类元音（hid，hId，had，hOd）的元音数据集;时尚[22]10类，4类（T恤/上衣，裤子，套头衫，裙子）和2类（裙子，衬衫），以及CIFAR [9]2类（青蛙，船）。MNIST，Fashion和CIFAR使用“train”中的95％图像作为训练集，5％作为验证集。由于有限的真实QC资源，我们使用“test”中的前300个图像作为测试集。元音-4数据集（990个样本）被分为训练：验证：测试=6:1:3，并使用整个测试集进行测试。MNIST和Fashion图像被中心裁剪为24×24；然后对于2类和4类，下采样到4×4；对于10类，下采样到6×6；CIFAR图像转换为灰度图，中心裁剪为28×28，然后下采样为4×4。所有的下采样都使用平均池化进行。对于元音-4，我们执行特征主成分分析（PCA）并选择10个最重要的维度。QNN模型。2和4类的QNN模型使用4个量子比特；10类使用10个量子比特。第一个量子块的编码器将图像和元音特征嵌入其中。对于4×4图像，我们使用4个量子比特和4层，每层分别使用4个RY，4个RX，4个RZ和4个RY门。总共有16个门将16个经典值编码为旋转角度。对于6×6图像，使用10个量子比特和4层，每层分别使用10个RY，10个RX，10个RZ和6个RY门。对于10个元音特征，使用4个量子比特和3层，每层分别使用4个RY，4个RX和2个RZ门。0编码。对于可训练的量子层，我们使用交替使用U3和CU3层，如图2所示，除了表2。对于测量，我们在Pauli-Z基上测量期望值，并从每个量子比特获得值[-1,1]。测量结果经过后测量归一化和量化，并用作下一个块的编码器中RY门的旋转角度。对于最后的块，对于二分类，我们对量子比特0和1，2和3的测量结果进行求和，然后使用Softmax获得概率。对于4类和10类，Softmax直接应用于测量结果。量子硬件和编译器配置。我们通过Qiskit [6]API使用IBMQ量子计算机。我们研究了6个设备，其量子比特数从5到15，量子容量从8到32。我们还使用Qiskit进行编译。所有实验运行8192次。我们使用的噪声模型是由IBMQ团队更新的现成模型。04.2 主要结果0QNN结果。我们在5个量子设备上运行8项任务的四种不同QNN架构进行实验，以展示QuantumNAT的有效性。对于每个基准测试，我们在噪声因子T={0.1，0.5，1，1.5}和量化水平3，4，5，6中进行实验，并选择在验证集上损失最低的16种组合之一，在测试集上进行测试。对于最后一个块的测量结果，不应用规范化和量化，因为它们直接用于分类。如表1所示，QuantumNAT始终在26个基准测试中获得最高的准确性。由于其退役，雅典的第三栏不可用。平均而言，规范化，噪声注入和量化分别提高了10％，9％和3％的准确性。较大的模型并不一定具有更高的准确性。例如，雅典的模型比纽约圣地亚哥大7.5倍，但噪声无影响下的准确性更低。不同设计空间的性能。在表2中，我们评估了QuantumNAT在不同的QNN设计空间上的性能。具体而言，一个块中的可训练量子层在'ZZ + RY'[13]空间中包含一个ZZ门层，具有环形连接，并且一个RY层。 'RXYZ'[15]空间有五层：√0H，RX，RY，RZ和CZ。 'ZX + XX' [3]空间有两层：ZX和XX。 'RXYZ+ U1 + CU3'[5]空间根据其随机电路基础门集合按照RX，S，CNOT，RY，T，SW0SWAP，U1和CU3。我们在2台设备上对MNIST-4和时尚-2进行实验。在16个设置中的13个设置中，QuantumNAT获得了更好的准确性。因此，QuantumNAT是一种通用技术，不受QNN模型大小和设计空间的限制。可扩展性。当经典仿真不可行时，我们可以将注入噪声的训练转移到真实的QC中，使用参数移位等技术。在这种情况下，训练成本与量子比特数呈线性关系。测量后的规范化和量化也是线性可扩展的，因为它们是在50表1：QuantumNAT始终以平均准确率高出22％的结果获得最高准确率。 “B”代表块，“L”代表层。0模型方法 MNIST-4 时尚-4 誓言-4 MNIST-2 时尚-2 Cifar-202B × 12L圣地亚哥0基线 0.30 0.32 0.28 0.84 0.78 0.51 + 后规范化 0.41 0.61 0.29 0.870.68 0.56 + 门插入 0.61 0.70 0.44 0.93 0.86 0.57 + 后量化 0.680.75 0.48 0.94 0.88 0.5902B × 2L纽约圣地亚哥0基线 0.43 0.56 0.25 0.68 0.70 0.52 + 后规范化 0.57 0.60 0.38 0.860.72 0.56 + 门插入 0.58 0.60 0.45 0.91 0.85 0.57 + 后量化 0.620.65 0.44 0.93 0.86 0.6002B ×6L 贝伦0基线 0.28 0.26 0.20 0.46 0.52 0.50 + 后规范化 0.52 0.57 0.33 0.810.62 0.51 + 门插入 0.52 0.60 0.37 0.84 0.82 0.57 + 后量化 0.580.62 0.41 0.88 0.80 0.6103B ×10L 雅典0基线 0.29 0.36 0.21 0.54 0.46 0.49 + 后规范化 0.44 0.46 0.37 0.510.51 0.50 + 门插入 - - - - - - + 后量化 0.56 0.64 0.41 0.87 0.640.530模型方法 MNIST-10 Fash.-10 Avg.-All02B × 2L墨尔本0基线 0.11 0.09 0.42 + 后规范化 0.080.12 0.52 + 门插入 0.25 0.24 0.61 +后量化 0.34 0.31 0.640表2：不同设计空间上的准确性。0设计空间 MNIST-4 时尚-2 纽约圣地亚哥 纽约圣地亚哥0'ZZ + RY' 0.43 0.57 0.80 0.91 +QuantumNAT 0.34 0.60 0.830.860'RXYZ' 0.57 0.61 0.88 0.89 +QuantumNAT 0.61 0.70 0.920.910'ZX + XX' 0.29 0.51 0.52 0.61 +QuantumNAT 0.38 0.64 0.520.890'RXYZ + U1 + CU3' 0.28 0.25 0.48 0.50 +QuantumNAT 0.330.21 0.53 0.520表3：可扩展的噪声感知训练。0机器人波哥大 圣地亚哥 利马0无噪声感知 0.74 0.97 0.87 QuantumNAT 0.79 0.99 0.900表4：与现有的噪声抑制兼容。0方法 MNIST-4 时尚-40仅规范化 0.78 0.81 规范化+外推 0.81 0.830测量结果。使用真实QC获得的梯度自然具有噪声感知性，因为它们直接受到量子噪声的影响。为了证明其实用性，我们使用两个数字作为输入特征[8]训练了一个2类任务（表3）。QNN有2个块，每个块有2个RY门和一个CNOT门。无噪声感知的基线在经典部分上训练模型，并在真实QC上进行测试。在QuantumNAT中，我们使用参数移位在真实QC上训练模型并进行测试。我们始终优于无噪声感知的基线。与现有的噪声抑制技术的兼容性。QuantumNAT与现有的噪声抑制技术（例如外推法）正交。它可以与测量后的规范化结合使用（表4）。QNN模型有2个块，每个块有三个U3+CU3层。对于“仅规范化”，3层块的测量结果在批次维度上进行归一化0表5：测量后的规范化提高了准确性和信噪比。0Quantum设备↓0QNN模型 →02块 4块0× 2层 × 8层 × 2层 × 4层0准确性 信噪比 准确性 信噪比 准确性 信噪比 准确性 信噪比0圣地亚哥基线0.61 6.15 0.52 1.79 0.57 6.96 0.62 4.20 +正则化 0.66 15.69 0.794.85 0.70 11.36 0.68 6.550基多基线 0.58 6.64 0.35 1.43 0.60 3.98 0.29 1.73 +正则化 0.66 13.92 0.71 2.980.74 12.26 0.72 4.540雅典基线0.59 8.91 0.60 2.14 0.63 9.52 0.55 3.54 +正则化 0.64 20.27 0.78 3.470.74 14.07 0.69 6.090根据批量维度对测量结果进行归一化。对于“外推+规范化”，我们使用外推法估算无噪声测量结果的标准差。我们首先将QNN模型训练到收敛，然后将3层重复到6、9、12层，并获得四个测量结果的标准差。然后，我们线性外推它们以获得无噪声的标准差。我们将3层块的测量结果归一化，使其标准差与无噪声相同，然后应用所提出的测量后的规范化。结果表明，外推可以进一步提高QNN的准确性，因此是正交的。04.3消融研究0测量后的规范化消融。表5比较了MNIST-4上测量后的规范化前后的准确性和信噪比（SNR）。我们研究了4种不同的QNN架构，并在3个设备上进行了评估。规范化可以显著且一致地增加SNR。不同噪声注入方法的消融。图7比较了不同的噪声注入方法。扰动的高斯噪声统计数据来自误差基准测试。左侧显示了没有量化的准确性。使用不同的噪声因子�，门插入和测量结果扰动的准确性相似，均优于旋转角度扰动。可能的解释是旋转角度扰动没有考虑非旋转门，例如X和SX。右侧进一步研究了前两种方法在量化方面的性能。我们设置噪声因子� =0.5，并更改量化水平。门插入在3个不同的设备和QNN模型上平均优于扰动11％。原因是：直接添加到测量结果的扰动可以很容易地被量化取消，因此噪声注入难以生效。噪声因子和测量后量化水平分析。我们在IBMQ-Athens上对时尚-4进行了不同噪声因子和量化水平的QNN准确性轮廓可视化，如图8左所示。最佳准确性出现在因子0.2和5个级别。水平方向上，准确性先上升后下降。这是因为太少的量化级别会损害QNN模型的容量；太多的级别无法带来足够的去噪效果。垂直方向上，准确性也是先上升后下降。原因：当噪声太小时，噪声注入效果较弱，因此无法提高模型的稳健性；而噪声太大会使训练过程不稳定并降低准确性。提取的QNN特征可视化。MNIST-2分类结果取决于两个特征中的较大值：特征一是量子位0和1的测量结果之和；特征2是量子位2和3的测量结果之和。我们在贝伦上通过实验将这两个特征在二维平面上可视化，如图8右所示。蓝色虚线是分类边界。圆圈/星星是数字“3”和“6”的样本。所有基线点（黄色）聚集在分类边界附近，而QuantumNAT的点（紫色）则更远离边界，表明QuantumNAT可以更好地提取特征。Table 2Gate InsertionUntitled 1Measurement Outcome PerturbationNoise-Unaware SearchedRotation Angle PerturbationRandom Generated0.10.80.10.79333333330.03140.790.50.790.50.78333333330.06280.766666666710.810.77666666670.10.781.50.77666666671.50.740.3140.566666666720.7920.79333333330.50.510.6280.4710.15666666671.50.2520.17666666670.100.300.500.700.900%40%80%120%160%20.790.740.780.780.790.790.780.800.790.80Table 2-1Measurement Outcome PerturbationGate Insertion30.48333333330.496666666740.490.6150.53333333330.616666666760.51666666670.5830.430.413333333340.47333333330.373333333350.35333333330.616666666760.21666666670.5130.410.606666666740.44666666670.426666666750.44666666670.5660.360.68333333330.430.5411111111166670.20.30.40.50.60.73456345634560.540.680.560.430.610.510.620.370.410.580.620.610.500.430.360.450.450.410.220.350.470.430.520.530.490.480.570.510.470.160.250.18261001010.300.400.500.600.700.750.780.800.800.780.750.700.600.500.400.30234561001010.250.50.7510.740.80.930.480.660.830.820.340.640.660.850.920.440.430.570.720.860.290.4160测量准确率0门插入 测量结果扰动 旋转角度扰动0噪声因子0测量结果扰动 门插入0IBMQ-Yorktown（2块！2层）量化0#级别0在IBMQ-Santiago上无量子化（2块！4层）0IBMQ-Belem（2块！6层）IBMQ-Quito（3块！10层）0图7：不同噪声注入方法的消融。左：无量子化时，门插入和测量扰动表现相似，均优于旋转角度扰动。右：量子化时，门插入更好，因为量子化可以取消扰动效应。0基准 + 测量之后0归一化0+噪声注入0特征维度10特征维度20分类边界010 ° 20 ° 10准确率0.000量化级别数0噪声因子（对数刻度）0#级别=5噪声因子=0.20准确率=0.80图8：左：量化级别和噪声因子的准确率等高线。右：特征可视化。0MNIST-4Santiago0Vowel-4Santiago0MNIST-2Yorktown0Fashion-2Yorktown0平均0归一化 归一化 + 噪声注入 归一化 +量化 归一化 + 噪声注入+ 量化0结合噪声注入和量化提高准确性0测量准确率0图9：单独应用噪声注入和量化或联合应用的消融。0在一起，所有数字‘3’的样本被错误分类。通过归一化（绿色），分布显著扩展，大多数‘3’被正确分类。最后，经过噪声注入（红色）后，两个类之间的间隔进一步扩大，样本离分类边界更远，从而更加鲁棒。准确率提升的细分。图9显示了仅应用噪声注入、仅应用量化以及两者的性能。单独使用这两种技术都可以提高9%的准确率。结合两种技术可以获得更好的性能，准确率提高17%。这表明在QuantumNAT中协同应用三种技术的好处。05 结论0PQC是展示实际量子优势超越经典方法的有希望的候选者。实现这种优势的道路依赖于：（1）发现将经典数据非线性编码的新型特征嵌入，以及（2）克服量子噪声的影响。本研究侧重于后者，并展示了一个噪声感知的训练流程，其中包括测量后归一化、噪声注入和测量后量化，可以提升PQC的性能。0对抗任意的现实量子噪声的鲁棒性。我们预计这种鲁棒的PQC在探索实际的QC应用中将会有用。0致谢0我们感谢NSF CAREER奖励号码＃1943349，MIT-IBM Watson AI实验室，BaiduFellowship，Qualcomm Innovation Fellowship和IBM Quantum。0参考文献0[1] Mohammad H Amin, Evgeny Andriyash, Jason Rolfe, Bohdan Kulchytskyy, andRoger Melko. 2018. 量子Boltzmann机.  物理评论X  8, 2 (2018). [2] Gavin E Crooks. 2019.使用参数移位规则和门分解计算参数化量子门的梯度.  arXiv预印本1905.13311  (2019). [3]Edward Farhi和Hartmut Neven. 2018. 在近期处理器上使用量子神经网络进行分类.arXiv预印本arXiv:1802.06002  (2018). [4] Song Han, Huizi Mao和William J Dally. 2015.深度压缩: 用剪枝、训练量化和霍夫曼编码压缩深度神经网络. arXiv预印本arXiv:1510.00149(2015). [5] Maxwell Henderson, Samriddhi Shakya, Shashindra Pradhan和Tristan Cook.2020. 用量子电路驱动的图像识别的Quanvolutional神经网络.  量子机器智能  2, 1 (2020),1–9. [6] IBM. [n. d.]. IBM量子. ([n. d.]).  https://quantum-computing.ibm.com/ [7]Sergey Ioffe和Christian Szegedy. 2015. 批归一化:通过减少内部协变量漂移加速深度网络训练. 在ICML中. PMLR, 448–456. [8] Weiwen Jiang,Jinjun Xiong和Yiyu Shi. 2021. 一种神经网络和量子电路的共同设计框架，以实现量子优势.自然通信  12, 1 (2021), 1–13. [9] Alex Krizhevsky，Vinod Nair和Geoffrey Hinton. [n. d.].CIFAR-10（加拿大高级研究所）. ([n. d.]). [10] Y. Lecun, L. Bottou, Y. Bengio和P. Haffner.1998. 基于梯度的文档识别学习.  电气和电子工程师学会会议记录  86, 11 (1998),2278–2324. [11] Zhiding Liang, Zhepeng Wang, Junhuan Yang, Lei Yang, YiyuShi和Weiwen Jiang. 2021. 量子神经网络中的量子比特噪声是否可以学习?量子Flow的案例研究. 在ICCAD中. IEEE, 1–7. [12] Ji Lin, Chuang Gan和Song Han. 2019.防御量化: 效率与鲁棒性相结合.  arXiv预印本arXiv:1904.08444  (2019). [13] Seth Lloyd,Maria Schuld, Aroosa Ijaz, Josh Izaac和Nathan Killoran. 2020. 用于机器学习的量子嵌入.arXiv预印本2001.03622  (2020). [14] K. Matsuoka. 1992. 后向传播学习中的输入噪声注入.IEEE系统、人和控制学报  22, 3 (1992), 436–440. [15] Jarrod R McClean, Sergio Boixo,Vadim N Smelyanskiy, Ryan Babbush和Hartmut Neven. 2018.量子神经网络训练景观中