量子感知深度光学衍射快拍高光谱成像

19780量子感知深度光学用于衍射快照高光谱成像林根李立志王 伟涛宋磊张北京理工{林根利，王立志，张磊}@ bit.edu.cn熊志伟中国科学技术大学zwxiong@ustc.edu.cn北京师范大学huahuang@bnu.edu.cn摘要基于深光学框架的衍射快拍高光谱成像然而，现有的深光学框架都遭受由于衍射光学元件（DOE）制造中的量化操作导致的光学硬件和重建算法之间的失配，导致高光谱成像在实践中的性能有限。在本文中，我们提出了量化感知的深度光学衍射快拍高光谱成像。我们的主要观察是，在制造DOE中使用的常见光刻技术需要量化DOE高度图到几个级别，并且可以自由地设置每个级别的高度。因此，我们提出将量化操作整合到DOE高度图优化中，并设计一种自适应机制来调整每个量化级别的物理高度根据优化结果，我们直接制作了量子化衍射光学元件，并建立了衍射高光谱快拍成像系统。该方法通过对DOE物理结构的量子化操作的感知和适应，使深度光学框架更加实用化，使制作的DOE与重构算法系统地匹配。大量的综合仿真和实际硬件实验验证了该方法的优越性能。1. 介绍高光谱成像已经有益于大量的传感应用，从基础研究领域，例如，生物医学检测、材料分析和环境监测[1，4，9，27]，到计算机视觉通讯作者：王立志.应用，例如，外观采集、面部识别和对象跟踪[13，32，46]。传统的高光谱成像系统沿着空间或光谱维度扫描场景，因此需要多个传感器曝光来捕获完整的高光谱图像[21]。这些系统不适合测量动态场景，因此仅使用一个传感器的快照高光谱成像是最有吸引力的解决方案之一。已经开发了各种快照高光谱成像系统用于捕获动态场景的高光谱图像[3，11]。基于几何光学的经典方法主要由一系列折射或反射光学元件[10，25，28，41]组成，形状因子大，因此遭受系统复杂性和校准困难。为了克服这些限制，已经通过用薄衍射光学元件（DOE）代替几何光学元件来开发衍射快照高光谱成像系统[6，18，22，33]。衍射快拍高光谱成像需要设计用于高光谱图像编码的DOE高度图和用于高光谱图像解码的重建算法。先前的方法尝试利用关于点扩散函数（PSF）的手工制作或启发式知识来设计DOE高度图，但是将DOE硬件与重建算法隔离[22]。最近，已经引入了深度光学框架，其核心思想是光学硬件的端到端优化和重建算法[12，20，29，36，37]，这是衍射快照超光谱成像中最有前途的方法[5，15]。深光学框架中的瓶颈是DOE高度图优化没有对DOE制造中的物理量化进行建模。现有的深光学框架在DOE高度图优化中全部采用全精度（通常为32位浮点），并且在DOE制造中假定相同的全精度。然而，共同19781用于制造物理DOE的光刻技术需要配置DOE高度图的量化级别[30]。成熟的光刻技术通常支持不超过16个量化级别，并且如果需要高光刻稳定性，则仅支持4个在这种情况下，必须在物理制造期间量化以全精度优化的DOE高度图因此，由于量化操作，制造的DOE将偏离优化的DOE，这破坏了链接并导致光学硬件与重构算法之间的失配，从而降低了深层光学器件的能量并限制了衍射快照超光谱成像的性能。本文提出了一种用于衍射快拍超光谱成像的量化感知深度光学系统（QDO）。具体地说，我们在DOE高度图优化过程中对量子化操作进行了明确建模，并与重构算法的优化一起进行，以弥合DOE优化和DOE制造之间的差距通过利用每个量化级别的DOE高度图可以自由地设置为特定范围内的任意值的事实，我们进一步提出了一种自适应量化感知机制，该机制通过在DOE高度图优化期间调整每个级别的物理高度最后，根据优化结果制作了高度图量化的DOE，并构建了衍射高光谱快拍成像系统。该方法通过对DOE物理结构的量子化操作的感知和适应，使深度光学框架更加实用化，使制作的DOE与重构算法系统地匹配。大量的综合仿真和实际硬件实验验证了该方法的优越性能。我们的贡献总结如下：提出了一种基于量化的深度光学模型，通过对量化DOE和衍射快拍超光谱成像重构算法的联合优化，实现了深度光学模型的量化。我们提出了一种自适应机制，通过调整DOE高度图优化过程中的每个量子化级别的物理高度，以接近不可能的全精度制造的预言机。我们制作了用该方法优化的量子化衍射光学元件，并建立了衍射快拍超光谱成像系统。2. 相关工作快照高光谱成像。快拍高光谱成像只需一次二维曝光即可获取三维高光谱图像的编码信息，在捕获动态场景方面具有优于常规高光谱成像系统的明显优势。基于压缩感知理论[14]，编码孔径快照光谱成像器（CASSI）是可以有效地将高光谱图像编码成一个传感器图像的代表性解决方案之一[3，19，42然而，CASSI使用一系列折射或反射光学元件作为光学编码器，并且遭受系统复杂性和校准困难。因此，实际的成像应用限于实验室环境。随着计算摄影技术的发展，衍射超光谱成像系统已经被引入，其采用衍射光学元件以减小物理尺寸和复杂性。Jeon等人利用衍射思想设计DOE，以生成光谱变化PSF的各向异性形状[22]。Dun等人用同心环分解学习旋转对称DOE[15]。Baek等人通过与深度信息集成来扩展衍射快照高光谱成像[5]。衍射快照高光谱成像系统规避了许多光学元件的需要，允许普通用户捕捉高光谱图像。我们的工作继承了衍射超光谱成像的优点，并试图解决理论建模和物理制造之间的偏差。深度光学以端到端方式联合优化光学编码器和计算解码器的深度光学框架近年来已被广泛探索[5，12，15，20，29，36Sitzmann等人将深光学框架应用于扩展景深和超分辨率成像[36]。Chang和Wetzstein使用深层光学技术进行单目深度估计和3D物体检测[12]。Ikoma等人提出了一个更准确的遮挡感知图像形成模型，用于单目深度估计中的深度光学[20]。此外，深光学已经应用于高光谱成像[5，15]。然而，当前的深层光学模型不考虑模拟模型中的制造量化的影响，将高度图视为平滑结构（32位浮点）。这个问题导致优化的DOE和制造的DOE之间的失配，这降低了物理系统中的重构质量。相比之下，我们的量化感知模型通过直接建模量化DOE来修复这种失配。量化认知训练。在低精度网络训练中，需要量化感知与后训练量化方法不同，前向和后向传播是在具有量化权重的模型上执行的[16，23]。量化感知训练的关键挑战是近似不可微运算的梯度。常见的方法直通估计（STE）[8]将每个不可微运算近似为恒等函数。尽管STE在实践中表现良好[34，50]，但其培训···1978221λXyi2πx+y图1.概述了所提出的用于衍射高光谱快照成像的量化感知深度光学。量化感知DOE产生多级样式的高度图，并且衍射成像模型使用量化的高度图将高光谱图像编码为一个RGB图像。计算解码器将编码的RGB图像作为输入，并重建原始高光谱图像。所有的流水线，包括量化感知DOE都是可区分的，这样我们就可以以端到端的方式训练整个模型。这个过程很难用数学来解释，而且在某些情况下是不稳定的[47]。其他方法通过避免直接使用不可微操作来解决这个问题[7，24，26，31]。特别地，Liuet al.[26]提出了使用全精度分支和量化分支的组合来表示量化权重的阿尔法混合方法，这允许在反向传播中对全精度权重进行梯度更新，并最终将权重转换为量化结果。我们的方法集成量化感知训练方法阿尔法混合与深度光学框架来训练量化DOE高度图。与目的不同，压缩模型的低精度训练，我们图图2示出了从点光源发射的波场通过DOE传播到传感器平面的过程假设具有波长λ的点源位于距离DOE（dλ）的距离d处，DOE的位置（x，y）处的波场可以用公式表示为：22U0（x，y，λ）=eλd，（1）其中i是虚单位。一旦波场通过DOE，引入相位延迟φ（x，y）。然后，波场U1（x，y，λ）可以公式化为：U（x，y，λ）=A（x，y）U（x，y，λ）ei2πφ（x，y，λ），（2）需要的是可以直接用于DOE10的高度轮廓制造。因此，我们进一步提出了一种自适应机制的量化感知的训练方法，以减少量化误差，这促进量化DOE更适合这个联合优化任务。3. 衍射成像模型衍射快拍高光谱成像是致力于捕捉动态场景的光谱图像。我们提出了一种新的成像框架，QDO，用于衍射快照超光谱成像，如图1所示。该部分描述了作为QDO基础的衍射成像模型。3.1. 点扩散函数该成像系统由一个用于光学编码的DOE组成其中A（x，y）是系统的光学孔径。相位延迟Φ（x，y）由DOEH（x，y）的高度图确定为：φ（x，y，λ）=（n λ− 1）H（x，y）.（三）其中nλ是DOE材料在波长λ处的折射率。通常，DOEH（x，y）的高度图具有旋转对称参数化以降低计算复杂度[15]。当波场到达深度z处的传感器平面时，波场U2（x，y，λ）可以由U1（x，y，λ）通过菲涅耳衍射定律得到U（x，y，λ）=F−1，F{U}ei2πze−iπλz（f2+f2），，（4）和用于捕获编码图像的裸RGB传感器我们基于傅里叶光学建立了系统的PSF [17]。其中fx和fy是x和y的频率变量，并且F表示傅里叶变换。…衍射成像编码器ŏ…ComputationalDec*…Lh高光谱图像PSF+η响应传感器函数噪声编码RGB图像重建网络HS重建重构损失量化感知DOE等级#1#2#3`LQ落后向前#4调整后的多级高度图（4级示例）自适应量化全精度高程图权重（横断面）自适应量化感知高度图自适应量化损失高度λ19783··.Σα从0到1，并且量化感知高度图Hq从全精度版本过渡到量化感知高度图H q。Dz球面波衍射编码波全光谱点光源多级量化DOERGB传感器图2.波场从源通过量化DOE到传感器平面的传播。PSFP是波场U2（x，y，λ）的平方值的强度，为：QDO模型，我们进一步提出了一种自适应机制来决定每个量化级别的高度图我们将具有所提出的自适应机制的QDO模式命名为4.1.量化感知模型在这里，我们介绍了量化感知模型，考虑量化操作在DOE优化。我们利用阿尔法混合方法[26]来训练量化的DOE。假设我们可以像以前的方法[5，15]一样通过直接优化获得全精度高度图Hf则量化感知高度图Hq是量化分支和全精度分支的加权和：Hq=α×Q（Hf）+（1−α）×Hf，（8）其中Q（）是量化函数，α是混合参数。量化函数Q（）用于将全精度高度图划分为L个均匀划分的级别P（x，y，λ）|U2（x，y，λ）|二（五）hl∈{1，2，···，L}在最大物理高度h内最大值：3.2.传感器模型在制定PSF之后，我们可以使用该系统来封顶-Q（H）=hMax[（L − 1）× H f/h max）+0. 5♩L−1（九）真实的图像。 原始高光谱图像I（x，y，λ）将首先被PSF调制为卷积：混合参数α随着训练步长s增加，如下所示：I′（x，y，λ）= P（x，y，λ）<$I（x，y，λ），（6）其中<$是卷积算子。α（s）=03T1−sT1−T0s≤T0T0s≤T1<、（10）然后，传感器利用每个波长的光谱响应函数Rc（λ）捕获高光谱图像，并将其转换为RGB图像Ic∈{R，G，B}。这种成像过程通常会引入一些传感器噪声。1T1s<其中T0和T1分别是混合开始和结束时训练步骤的指示符在T 0之前的训练步骤中，α为0，高度图H q为全精度。∫λ1Ic∈{R，G，B}（x，y）=λ0在T0和T1之间的训练步骤中，三次函数变化其中λ0是最小波长，λ1是最大波长，η是传感器噪声。4. 量化感知DOE从衍射成像模型中的Sec. 3，我们可以看到DOE的高度图H（x，y）确定系统的PSF。因此，已经做出了很大的努力来优化DOE高度图以实现定制的编码[15，37]。在这里，我们要强调的是，现有的深度光学框架在PSF公式中假设全精度高度图在这一部分中，我们介绍了实际的QDO，其模拟PSF公式中的量化操作，以遵守DOE制造中的物理基于量化版本在步骤T1之后，α变为1，并且高度图Hq被完全量化。4.2.自适应机制全精度高度图是深光学框架中的理想高度图，因此在量化级约束下的量化DOE应尽可能接近全精度优化的预言性能。基于每个量化级别的DOE高度图可以在特定范围内自由设置为任意值的观察，我们进一步提出了一种自适应量化感知机制，通过在DOE高度图优化过程中调整每个级别的物理高度，可以有效地减少量化偏差。×1−I′（x，y，λ）Rc（λ）dλ+η，（7）19784L·2L2HK1128256512102420481024512乙状2561286464编码32RGB321*1 HSconv.重新开始图3.量化感知训练模型的自适应机制。参数α控制高度图从全精度结构到量化级别结构（这里的示例是4级别）的混合过程。可训练的自适应权重将在训练期间调整每个量化级别的物理高度。利用自适应机制，量化感知高度图Haq可以被公式化为：图4.在我们的实施重建网络Res-UNet的结构。总共有13个残差卷积块，其中6个块对其输出执行最大池化，并且其他6个块对其输入进行上采样。在具有相同过滤器大小的块之间添加长连接其输出将通过最终Sigmoid激活被削至（0，1）训练损失函数L由重建损失Lh组成，对高光谱图像重建具有自适应性Haq =α×F（Q（Hf））+（1−α）×Hf、（11）DOE高度图上的量化损失aq，以及网络权重上的L2其中F（）是对均匀量化的高度图Q（Hf）执行的自适应算子。图 3示出了自适应机制的细节。具体地，自适应操作器添加可训练权重W l∈{1，2，.，L}在每个量化级别中的DOE的量化高度图上的值为：F（Q（Hf））=Q（Hf）+W1（12）其中L表示特定的量化级别。通过训练Wl∈{1，2，.，L}，以最小化量化高度图与全精度高度图之间的均方误差，如：L=Lh+βLaq+γLω2，（14）其中β和γ是缩放参数，分别设置为10−2和10−4，ω表示重构网络的权重。重建损失h评价了重建的高光谱图像I和地面实况I之间的平均绝对误差：L=1I−I，（15）其中K表示图像的像素计数。DOE高度图和重建网络以端到端的方式训练我们训练整个拉克1=JF（Q（Hf））−Hf第二章（13）使用Adam optimizer对50个epoch进行建模，批量大小为4。DOE部分的初始学习率为0.01其中J指示高度图的像素计数这目标被视为训练损失的一部分。5. 高光谱图像重建一旦通过遵循衍射成像模型将高光谱图像编码成RGB图像，则需要计算解码器来从编码图像I c∈{R，G，B}重建高光谱图像。我们采用Res- UNet [49]，U-Net [35]的变体，作为解码器。作为如图4所示，我们在下采样和上采样级中配置六个层，并且在两个级之间配置中间层每一层是残差卷积块，并且ELU被用作每一层的激活我们还添加了一个额外的卷积层，使用Sigmoid激活，以将输出值限制在0和1之间。量化-×（1-α）+的感知高度地图Haq…全精度高度图HfQ（·）自适应损耗Laq向前落后等级划分自适应权重W11L残差卷积块1x1转换3x3转换H=NH=NBNELU3x3转换H=NBNELU最大池化上采样复制添加K量化高度图Q（Hf）×α1L2L…（L-1）L+1++++W1W2…WL-1WL19785网络部分为0.001，每个历元的衰减率为80%。 量化感知混合在时期5开始并且在时期40结束。我们使用NVIDIA GeForce RTX 3090 GPU作为计算平台，所有模 型 都 使 用 TensorFlow 2 实 现 。 我 们 已 经 在https://github.com/wang-lizhi/QuantizationAwareDeepOptics 上 发 布了代码。6. 综合仿真为了评估我们模型的有效性，我们对ICVL数据集进行了合成模拟[2]。我们将201个光谱场景随机分为三部分，分别用于训练（167个场景），验证（17个场景）和测试（17个场景）。 对于每一个场景，我们把它切成9个大小为512×512的重叠贴片。我们设置19786编码PSNR↑ SSIM↑ RMSE↓ ERGAS↓×PSNR↑SSIM↑RMSE↓ERGAS↓水平DO QDOQDO+A做QDOQDO+A做QDOQDO+ADO QDOQDO+A充分36.82--0.974--0.0167--10.35--3236.75 36.8036.820.9740.9740.9740.01680.01670.016710.43 10.3610.351636.55 36.7036.770.9730.9740.9740.01720.01690.0168十点六九十点五10.42835.17 36.2136.440.9690.9720.9730.02040.01800.017412.61 11.1010.80431.68 33.8935.320.9390.9620.9680.03190.02500.020519.16 14.8512.35228.56 33.4233.970.8910.9520.9580.04790.02880.025527.50 15.6914.53表1.在制造中忽略DOE量化的常规深层光学模型（DO）[5，15]、所提出的QDO和QDO+A模型之间对ICVL数据集的重建结果的数值比较我们比较的结果与量化水平从2到32。理想全精度模型的度量作为参考列在第一行。水平QDO（Hq−Hf1）QDO+A（CH3Haq−Hf<$1）3220.7070.7631644.0751.965894.1921.8224202.51018.9112285.000188.010菲涅耳27.410.8690.055632.18Cassi30.660.8990.035420.74做31.680.9390.031919.16QDO33.890.9620.025014.85QDO+A35.320.9680.020512.35表2.在具有或不具有自适应机制的所提出的量化感知模型中，全精度高度图和量化高度图之间的量化偏差（MAE，越小越好），单位为nm硬件系统的物理参数根据第二节中的物理实验配置确定。7 .第一次会议。具体而言，DOE像素大小为4µm4µm。场景与DOE之间的距离为1m，DOE与传感器平面之间的距离为50mm。DOE使用SK 1300熔融石英材料的折射率，并且基准面厚度被设置为2mm。在仿真中还测量了前视红外GS 3-U3- 41 S4 C-C相机的RGB响应曲线，并将其配置为光谱响应函数。6.1. 与传统深光学的由于当量化级别大于32时，量化偏差变得不显著，因此我们进行了从2到32量化级别的合成仿真，以比较不同DO模型在高光谱图像重建上的性能。对于[5，15]中的常规DO模型，DOE高度图在训练中以全精度（32位浮点）优化，并且在测试中量化为多级样式。选项卡. 图1示出了常规模型、非自适应量化感知模型和自适应量化感知模型的数值结果。具有全精度DOE高度图的理想模型的性能也被示出作为参考。我们可以看到，这两种量化感知模型在每个量化级别上都优于传统模型，这证明了表3.CASSI、菲涅耳透镜、常规深光学模型、QDO模型和QDO+A模型的定量比较衍射快拍超光谱成像的量化优化此外，自适应量化感知模型在每个级别上都比非自适应量化感知模型表现得好得多，这表明自适应机制的优越性。在这里，我们展示了我们模型中量化DOE高度图Hq和Haq的深入分析。我们计算了QDO和QDO+A模型的量化高度图与全精度高度Tab中的结果。图2说明了自适应机制有效地减小了量化高度图与其全精度权重之间的量化偏差，从而导致高光谱图像重建的显著改善图5示出了三个代表性图像的重建结果。为了同时呈现所有光谱带的结果，我们根据模拟中使用的光谱响应函数将高光谱图像转换为sRGB。显然，与传统模型相比，QDO和QDO+A可以产生视觉上令人愉快的结果，具有更少的伪影和更锐利的边缘。我们还绘制了随机斑块的光谱曲线，如图所示5e.第五章。所提出的模型重建的光谱曲线更接近地面实况。QDO+A在空间成像质量和光谱曲线保真度方面都明显优于QDO，这与数值计算结果一致。1978721波长（nm）波长（nm）3(a) DO（b）QDO（c）QDO+A（d）地面实况波长（nm）（e）光谱曲线图5.重建结果的视觉比较与Tab中的数值结果一致1、视觉感知实验结果表明，我们的量化感知模型能够有效地降低DOE量化带来的重构结果的退化，并且QDO和QDO+A模型重构的光谱结果也更接近真实值。地面实况图像中的红色矩形表示用于绘制光谱曲线的区域。6.2. 与其他光学编码的为了评估我们的模型在快拍高光谱成像中的性能，我们与代表性的快拍高光谱成像系统，菲涅耳透镜和CASSI [3].为了使比较公平，我们采用与第二节中使用的相同的重建网络。5适用于所有光学编码型号。同时，使用相同的优化器配置对所有模型进行50个时期训练，并且对于DO、QDO和QDO+A，量化级别数被设置为4。选项卡. 3示出了不同编码方法的重构结果。可以看出，这三种DO编码都具有优于其他快拍超谱编码的优点，而所提出的量化感知模型及其自适应机制进一步促进了这一优势。7. 物理实验我们制作了优化的DOE的4级QDO+A模型使用多级光刻技术。由于量化感知模型，优化的DOE结构已经被量化，这意味着不需要额外的量化，并且高度图可以直接用于DOE制造。图6示出了从400nm到700nm的31个光谱带中的优化DOE及其PSF的详细结构。然后，我们使用制作的DOE构建了原型在第二节中列出了照相机模型和制造实验中的所有物理参数六、使用定制的连接器将制造的DOE安装在相机上，该连接器支持相机侧的C接口，并将DOE保持在距离传感器平面50mm的DOE的直径为半英寸，衍射图案面积大小为4。096毫米。没有DOE的衍射图案的区域被定制的钢孔径阻挡。图7示出了我们制造的DOE和我们构建的原型相机。图8示出了原型相机的捕获的RGB图像和重建结果。我们还使用商用光谱仪（StallerNet Blue）捕获地面真实光谱曲线我们可以看到，我们的方法可以产生视觉上愉快的图像和高精度的光谱曲线。光芒光芒光芒19788（一）RGB图像2314(a) 优化的4层高度图(b) 对应的PSF（从400nm到700nm，31通道）图6.通过QDO+ A4能级和相应的PSF从400nm到700nm优化的高度图。该高度图自然地被量化并且可以直接用于制造。光芒(b) 重建（可视化为RGB图像）(c) 重建光谱曲线波长（nm）(a) 制造DOE（b）原型相机图7.制作的DOE和相机原型，我们建立衍射快照高光谱成像。8. 讨论局限性。所提出的量化感知方法具有有限的有效范围，并且光学建模的近似可能会阻止所设计的系统具有大的有效视场。请查阅弹性材料以进行详细讨论。结论在这项工作中，我们提出了用于衍射快照高光谱成像的量化感知深度光学，它可以联合优化作为编码器的量化DOE和作为解码器的重建网络。我们还提出了一种自适应机制，通过调整每个层次的物理高度来进一步减小量化偏差我们制作了一个原型-(d) 光谱图像（420nm、470nm、530nm、620nm和700nm）图8.捕获的编码图像、重建结果（RGB可视化）、光谱曲线和代表性波段的光谱图像。我们的系统可以产生视觉上愉快的超光谱图像和准确的光谱，表明我们的模型在物理系统中的有效性。根据所提出的衍射快拍高光谱成像模型，设计并搭建了一个实际的硬件系统综合仿真和物理实验验证了模型的有效性。量化感知深度光学器件也适用于其他任务，包括低级成像和高级视觉。我们将在推广方面做更多的努力。致谢本工作得到国家自然科学基金（62131003，62072038，61922014）的资助。14.096mm2121234DOE蚀刻高度等级#10μm等级#20.4479μm级别#30.9743μm水平#41.2867微米19789引用[1] TelelmoAdaBecuo ， Jona'sBecuhrusBecuka ，Lu 'sPa'dua， Jose'Bessa ， Emanuel Peres ， Raul Morais 和 Joaquim JoaoSousa。超光谱成像：基于无人机的传感器、数据处理及 其 在 农 业 和 林 业 中 的 应 用 。 Remote Sensing ， 9（11）：1110，2017. 1[2] 波阿斯·阿拉德和阿哈德·本·沙哈。从自然rgb图像中稀疏恢复高光谱信号在欧洲计算机视觉会议上，第195[3] Gonzalo R Arce 、 David J Brady 、 Lawrence Carin 、Henry Arguello和David S Kittle。压缩编码孔径光谱成像 ： 介 绍 。 IEEE Signal Processing Magazine ， 31（1）：105-115，2013. 一、二、七[4] V Backman ， Michael B Wallace ， LT Perelman ， JTArendt ， RGurjar ， MGMüller ， QZhang ， GZonios ，EKline，TMcGilli- can，et al.Nature，406（6791）：35-36，2000. 1[5] Seung-Hwan Baek，Hayato Ikoma，Daniel S Jeon，YuqiLi，Wolfgang Heidrich，Gordon Wetzstein，and Min HKim.单次超光谱深度成像与学习衍射光学。在国际计算机视觉会议上，第2651-2660页，2021年。一、二、四、六[6] Seung-Hwan Baek、Incheol Kim、Diego Gutierrez和MinH Kim 。 使 用 棱 镜 的 紧 凑 单 次 高 光 谱 成 像 ACMTransactions on on Graphics，36（6）：217，2017。1[7] Yu Bai，Yu-Xiang Wang，and Edo Liberty.Proxquant：通过邻近算子量化的神经网络。在国际学习代表会议上，第13[8] 约瑟芬·本吉奥，尼古拉斯·莱奥纳德，亚伦·库维尔。通过随机神经元估计或传播梯度以进行条件计算。arXiv预印本arXiv：1308.3432，2013。2[9] Marcus Borengasser ， William S Hungate 和 RussellWatkins。高光谱遥感：原理与应用。CRC Press，2007.1[10] 曹勋、杜浩、童欣、戴琼海、林志颖。用于多光谱视频采 集 的 棱 镜 掩 模 系 统 。 IEEE Transactions PatternAnalysis and Machine Intelligence ， 33 （ 12 ） ： 2423-2435，2011. 1[11] 曹迅，岳涛，林星，林欣，袁欣，戴琼海，劳伦斯·卡林，大卫·布雷迪.计算快照多光谱照相机：朝向光谱世界的动态捕获。IEEE Signal Processing Maga-zine，33（5）：95-108，2016。1[12] Julie Chang和Gordon Wetzstein用于单眼深度估计和3d物体检测的深度光学在国际计算机视觉上，第10193一、二[13] Tenn F Chen ， Glasgow VG Baranoski ， Bradley WKimmel，and Erik Miranda.皮肤外观的高光谱建模。ACM Transactions on on Graphics，34（3）：11[14] 大 卫 ·L· 多 诺 霍 压 缩 感 知 。 IEEE Transactions onInformation Theory，52（4）：1289-1306，2006. 2[15] Xiong Dun ， Hayato Ikoma ， Gordon Wetzstein ，Zhanshan Wang，Xinbin Cheng，and Yifan Peng.用于全光谱计算成像的旋转对称衍射消色差透镜。Optica，7（8）：913-922，2020。一二三四六[16] Amir Gholami ， Sehoon Kim ， Zhen Dong ， ZheweiYao，Michael W Mahoney和Kurt Keutzer。有效神经网络 推 理 的 量 化 方 法 综 述 arXiv 预 印 本 arXiv ：2103.13630，2021。2[17] 约瑟夫·古德曼。傅立叶光学导论。 3日Roberts and Company Publishers，2005. 3[18] Felix Heide ， Qiang Fu ， Yifan Peng ， and WolfgangHeidrich.用于全光谱计算成像的编码衍射光学。科学报告，6（1）：1-10，2016年。1[19] 黄涛，董伟胜，袁欣，吴金建，石光明。光谱压缩成像的深高斯尺度混合先验在IEEE计算机视觉和模式识别会议上，第16216-16225页2[20] 生驹勇人、阮欣迪、麦志乐、彭怡凡、韦茨斯坦.通过学习光学器件实现散焦深度，用于成像和遮挡感知深度估计。在IEEE计算摄影国际会议上，第1-12页一、二[21] 约翰·詹姆斯光谱仪设计基础。剑桥大学出版社，2007年。1[22] Daniel S Jeon ， Seung-Hwan Baek ， Shinyoung Yi ，Qiang Fu，Xiong Dun，Wolfgang Heidrich，and Min HKim.具有衍射旋转的紧凑快照高光谱成像ACM Transactions on Graphics，38（4）：1-13，2019。一、二[23] Raghuraman Krishnamoorthi Quantifying Deep Convolu-tional Networks for Efficient Inference ： A Whitepaper.arXiv预印本arXiv：1806.08342，2018。2[24] 冷聪、窦泽生、李昊、朱圣火、容瑾。极低位神经网络：用admm挤出最后一位。在艺术情报促进协会，2018年。3[25] Xing Lin，Yebin Liu，Jiamin Wu，and Qionghai Dai.空间谱编码压缩超光谱成像。ACM Transactions on onGraphics，33（6）：233，2014。1[26] Zhigang Liu和Matthew Mattina。学习低精度神经网络而不使用直通估计（STE）。在人工智能国际联合会议上，第3066-3072页三、四[27] 陆国兰和保卫飞。医学高光谱成像综述。Journal ofBiomedical Optics，19（1）：010901，2014.1[28] 马晨光，曹勋，童欣，戴琼海，林志颖。用混合摄像机系统获取高空间和光谱分辨率的视频。InternationalJournal of Computer Vision ， 110 （ 2 ） ： 141-155 ，2014。1[29] Christopher A Metzler，Hayato Ikoma，Yifan Peng，andGor- don Wetzstein.用于单次高动态范围成像的深层光学器件。在IEEE计算机视觉和模式识别会议上，第1375-1385页一、二[30] Brian Morgan，Christopher M Waits，John Krizmanic，and Reza Ghodssi.深硅相位菲涅尔器件19790透镜使用灰度光刻和深反应离子蚀刻。微机电系统杂志，13（1）：1132[31] Markus Nagel 、 Rana Ali Amjad 、 Mart Van Baalen 、Chris- tos Louizos和Tijmen Blankevoort。上还是下？用于 后 训 练 量 化 的 自 适 应 舍 入 国 际 机 器 学 习 ， 第7197PMLR，2020年。3[32] 潘 志 宏 ， Glenn Healey ， Manish Prasad 和 BruceTromberg 。 高 光 谱 图 像 中 的 人 脸 识 别 。 IEEETransactions Pattern Analysis and Machine Intelligence，25（12）：1552-1560，2003。1[33] Yifan Peng ， Qiang Fu ， Felix Heide ， and WolfgangHeidrich.衍射光学消色差全谱计算ACM Transactions onon Graph-ics，35（4）：31：1-31：11，2016。1[34] Antonio Polino，Razvan Pascanu，and Dan Alistarh.通过蒸 馏 和 量 化 进 行 模 型 压 缩 arXiv 预 印 本 arXiv ：1802.05668，2018。2[35] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234施普林格，2015年。5[36] Vincent Sitzmann，Steven Diamond，Yifan Peng，XiongDun，Stephen Boyd，Wolfgang Heidrich，Felix Heide，and Gor don Wetzstein.光学和图像处理的端到端优化，用 于 消 色 差 扩 展 景 深 和 超 分 辨 率 成 像 。 ACMTransactions on on Graph-ics，37（4）：1-13，2018。一、二[37] Qilin Sun ， Ethan Tseng ， Qiang Fu ， WolfgangHeidrich，and Felix Heide.单次高动态范围成像的秩1衍射光学学习。在IEEE会议计算机视觉和模式识别，第1386- 1396页，2020年。一、二、四[38] Shiyu Tan ， Yicheng Wu ， Shou-I Yu ， and AshokVeeraragha- van.Codedstereo：学习大景深立体声的相位掩模。在IEEE计算机视觉和模式识别会议上，第7170-7179页，2021年。2[39] Ethan Tseng ， Shane Colburn ， James Whitehead ，Luocheng Huang，Seung-Hwan Baek，Arka Majumdar，and Felix Heide.用于高质量薄透镜成像的神经纳米光学。Nature Communications，12（1）：1-7，2021。2[40] Ethan Tseng ， Ali Mosleh ， Fahim Mannan ， Karl St-Arnaud ， Avinash Sharma ， Yifan Peng ， AlexanderBraun，Derek N o wrouzezahrai，Jean-Fran c.Lalonde ，andFelixHeide. 用于端到端相机设计的可区分复合光学器 件 和 处 理 流 水 线 优 化 。 ACM Transactions on onGraphics，40（2）：1-19，2021。2[41] Ashwin Wagadarikar，Renu John，Rebecca Willett，andDavid Brady.编码孔径快照光谱成像的单色散器设计。OSA应用光学，47（10）：B44-B51，2008。1[42] Lizhi Wang，Chen Sun，Ying Fu，Min H Kim，and HuaHuang.使用深度空间-光谱先验的高光谱图像重建。在IEEE计算机视觉和模式识别会议上，第8032-8041页，2019年。2[43] Lizhi Wang，Chen Sun，Maoqing Zhang，Ying Fu，an