学习衍射光学单次激发高光谱深度成像方法

2651SGT学习衍射光学单次激发高光谱深度成像Baek Seung-Hwan*†Hayato Ikoma‡ Daniel S.Jeon*Yuqi Li§ Wolfgang Heidrich§Gordon Wetzstein‡ Min H.金**KAIST†普林斯顿大学‡斯坦福大学§KAUST摘要几十年来，成像深度和光谱一直被广泛最近，高光谱深度（HS-D）成像出现以通过组合两个不同的成像系统来同时捕获这两种信息;一个用于深度，另一个用于光谱。虽然是准确的，但这种组合方法引起增加的形状因子、成本、捕获时间和对准/配准问题。在这项工作中，从(a) 原型(b) HS-DPSF 0.50.40.30.20.10.0(c) 光谱重建我们GTH[nm]2.0[m的组合原则，我们提出了一个紧凑的单-450 500 550 600 650(d) 高光谱图像(e) 深度图0.4单镜头HS-D成像方法。我们的方法使用衍射光学元件（DOE），点扩散函数的变化，其中相对于深度和光谱。这使我们能够从单个捕获的图像重建光谱和深度。为此，我们开发了一个微分模拟器和一个基于神经网络的重构方法，通过自动微分联合优化。为了便于学习DOE，我们通过构建获取高质量地面实况的台式HS-D成像仪来呈现第一HS-D数据集。我们评估我们的方法与合成和真实的实验，通过建立一个实验原型，并实现国家的最先进的HS-D成像结果。1. 介绍光谱信息对于遥感、食品/农业、医学成像和国防领域中的大量应用至关重要[28，11，1，26，5]。同时，深度成像也已经发展了几十年，现在作为机器人、自动驾驶、移动摄影和增强/混合现实的关键功能[17，36，15]。这两种成像模式最近开始被合并为高光谱深度（HS-D）成像，其在鸟类学、地质学、生物学、艺术和文化遗产中具有各种应用[22，56，23，50，12，31，35]。具体地，单次拍摄HS-D成像具有诸如分析活体生物样本和来自车辆上的移动相机或手持式相机的几何光谱场景理解的应用。为了捕获光谱和深度，现有HS-D图1.（a）我们的紧凑单次激发HS-D成像方法使用优化的DOE，其产生（b）随光谱和深度变化的PSF。(c)-成像系统遵循组合方法;它们用单独的成像系统独立地捕获光谱和深度信息，并且在事后组合结果[22，47，12，50]。这使得准确的acquisi- tion的两个数据，利用长达十年的研究，在每一个政权。然而，这种组合设计从根本上限制了HS-D成像的潜力，因为它不可避免地增加了形状因子、成本、捕获时间以及附加的对准/配准问题。在这项工作中，而不是依赖于两个不同的成像系统和组合它们，我们提出了第一个紧凑的单次拍摄HS-D成像方法，其使用一个单一的衍射光学元件（DOE）在一个传统的相机传感器的前面。我们的关键直觉是深度和光谱在基于DOE的成像系统中紧密耦合，从而允许HS-D图像的单次拍摄捕获。然而，对于HS-D成像，设计一个DOE明显地随着场景深度和频谱变化是不平凡的为了解决这个问题，我们实现了一个完全可微分的图像模拟器，该模拟器基于自动微分和傅立叶光学的最新进展[38，8，51，42，41，43，49]，为给定的DOE高度轮廓合成传感器图像。结合卷积神经网络（CNN），从传感器图像中估计深度和光谱，我们构建了从DOE配置文件到输入重建WA维伦0.4 m2.0 m光芒26522.0波动光学模拟HS-D重建地面实况0.4图2.我们的单次拍摄HS-D成像是基于一个微分管道，包括波动光学模拟和HS-D图像重建部分。 对于DOE高度图，我们使用PSF模拟器f psf在每个深度和光谱样本处模拟其PSF。 然后，HS-D图像模拟器fimg借助于地面实况HS-D数据集来计算传感器图像。 基于CNN的重建器frec估计高光谱图像和深度图。由于整个流水线是可微的，我们通过反向传播损失L来优化DOE和CNN。重建的深度和频谱，使我们能够通过反向传播联合优化DOE和CNN所获得的DOE在其形状上相对于深度和光谱表现出明显的变化对于这种联合优化，一个关键的缺失部分是监督优化的地面实况HS-D数据集。由于不存在这样的HS-D数据集，我们构建了一个台式HS-D成像系统，该系统包括基于结构光的3D扫描模块和基于带通滤波器的高光谱成像模块。利用该台式设置，我们捕获了第一HS-D数据集，其可以用于数据驱动的全肺成像研究。我们将公开数据集。我们在HS-D数据集上训练的HS-D成像方法在形状因子和准确性方面都优于最先进的单次拍摄HS-D成像方法和替代光学设计。我们的具体贡献如下。• 第一种紧凑型单目HS-D成像方法，具有从单次拍摄捕获深度图和超光谱图像的学习DOE，• 由台式HS-D成像系统采集的高光谱反射图像和深度图的第一个HS-D数据集，可以为数据驱动的全光成像研究提供燃料，以及• 通过制造优化的DOE在模拟和真实实验中进行实验验证2. 相关工作高光谱成像高光谱成像在过去十年中得到了广泛的研究。基于扫描的方法通过使用一组带通滤波器、液晶可调谐滤波器（LCTF）或具有色散光学器件的狭缝将每个波长的光谱能量与其他波长的光谱能量隔离来捕获多个1D光谱信号[4]。压缩成像技术也就是。编码孔径快照光谱成像仪（CASSI）能够单次捕获超光谱图像[45，20，21，46，9]。最近的方法已经证明了从光谱变化的点扩散函数估计高光谱图像（PSF）[3，19]，其利用边缘信息而不是使用调制的孔径掩模。我们的方法通过向更高维视觉数据的快照成像迈出第一步来扩展这些来自PSF的光谱方法的能力：光谱以及深度。深度成像。深度成像是广泛研究的主题。最接近我们的方法包括使用PSF从单个图像进行深度估计的方法[2]。虽然传统的离焦深度（DfD）分析常规相机的深度相关PSF以从两个或更多个图像推断深度图[29，39]，但是由衍射光学元件实现的深度相关光谱PSF也已经被用于全聚焦粒子成像测速[53]。几个小组已经提出了采用幅度编码孔径[25，44]和相位掩模[33，51]来简化深度估计问题的计算摄影方法。我们的工作受到这些方法的启发，但我们探索HS-D成像的应用。超光谱深度成像。HS-D成像已经基于组合范例进行了探索，该组合范例将不同的成像系统组合用于光谱和深度。例如，被动立体声[50，18，56]和主动立体声[23，31，22]已经与光谱相机[50，22，56，31]和光谱光源[18，23]结合使用。这些方法针对光谱和深度信息使用两种不同的成像模态，显著增加了设备形状因子，并且在许多情况下，使得难以跨不同光谱带匹配立 体 特 征 CASSI 系 统 也 已 经 与 光 场 或 飞 行 时 间（TOF）成像组合以实现快照单眼成像[12，35]，但是这些系统使用仅限于室内场景的定制光学编码策略迄今为止，这些系统仅在具有大形状因子的光学台上被证明，限制了其应用。此外，视差和跨模态的相关对准问题会对重建结果产生负面相比之下，我们展示了一个紧凑的monocular HS-D成像系统与学习DOE，支持正倒向高度[um]1损失00.4 mHS-D PSF模拟器2.0 mHS-D图像模拟器LDOE（学习）fPSFPSFfimg模拟图像frec谱深深度[m]2653λ，zF·λzλλ，zλzCimgλ，zλΣΣΣΣDOE平面上的空间坐标。然后，波场穿过相机孔径，并且DOE重新成像。导致振幅和相位的变化：U（2）=A（x′，y′）·expΣi2π.x′2+y′2+（η−1）h（x′，y′）ΣΣ，其中图3.从深度z处的物体到具有焦距f的传感器的光传播的示意图。来自场景点的球面光波的相位由DOE调制并由常规传感器捕获。相应的PSF随着波长λ和深度z而变化，使得能够从单个图像进行HS-D成像。单发能力，以完全被动的方式操作微分光学模拟。联合优化光学元件与可微重建算法的想法最近已被探索用于各种应用[49]，例如，滤色器设计[6]，光谱成像[48]，超分辨率定位显微镜[30]，超分辨率SPAD成像[42]，深度估计[16，51，8]，扩展景深和超分辨率成像[16，51，8]。分辨率成像[38]、HDR成像[27，40]和图像分类[7]。基于这种范例，我们训练了一个用于HS-D成像的DOE，同时学习了一个重建网络。我们的方法是第一个提出并展示了单个DOE和CNN的端到端优化，用于快照超光谱和超光谱深度成像。3. 基于衍射的HS-D编码我们的关键直觉是DOE衍射光波的波前随光谱和场景深度而变化。我们通过以不同的方式建立基于傅立叶光学[14]的HS-D图像形成模型来检查这一点。这相当于模拟给定DOE的PSF和传感器图像，其包括图2所示的流水线。A是振幅孔径函数，其对于被阻挡区域为0并且在其他地方为1，并且ηλ是DOE材料对于波长λ的折射率。波场通过焦距f传播到传感器，得到点扩散函数Pλ，z，其是传感器平面处的复波场的平方幅度：P λ，z=| F{A·exp[ik（φ 场景+φDOE+φ 焦点]}|其中F是傅里叶变换，k是波数2π/λ和Φ{场景/DOE/焦点}是由以下引起的相位延迟：将场景传播到DOEφscene=（x′2+y′2）/z，DOE本身φDOE=（ηλ−1）h（x′，y′），以及从DOE传播到传感器φfocal=（x′2+y′2）/（2f）。PSF中的HS-D编码。等式（2）示出了由DOE生成的PSF取决于波长λ和场景点的深度z，如由波数k增加的三个相位项Φ场景/DOE/焦点所示。第一项kΦscene与波长λ和深度z两者成反比，第二项kΦDOE与DOE材料的折射率ηλ成正比并且与λ成反比，并且最后一项kΦfocal也与λ和DOE的焦距f成反比。然后将这些项相加并通过傅里叶变换转换到频域。分析结果表明，点扩展函数Pλ，z随波长λ和深度z的变化而变化。因此，我们原则上可以在单个图像中从PSF分析重构这两条信息然而，从单个图像分解深度和频谱是一个严重不适定的问题，因此使得传统的PSF工程方法很少尝试解决这个问题。为了缓解这一挑战，我们引入了一个统一的数据驱动的成像解决方案，其中包括一个学习的DOE和重建网络的端到端的方式。可微点扩散函数 我们记fpsf（）作为我们的可微PSF模拟器，它计算传感器图像合成。给定PSFP聚焦高光谱图像λ，z，一对-给定的DOE高度图h、波长λ和深度zPλ，z=fpsf（h），（1）I λ和来自我们的HS-D数据集的深度图Z，我们使用图像模拟器f im g（·）模拟对应的传感器图像Jc∈{R，G，B}。是其中Pλ，z是PSF。波长λ的波场基于卷积PSF模型和分层场景表示，其中场景被建模为合成源自深度z处的场景点的波可以被建模为孔径平面中的球面波Uλ，z参见图3。 在菲涅耳近似1下，这被建模为U（1）=expi2πx′2+y′2，其中（x′，y′）是不同深度的多层[8，51]。传感器图像Jc然后被建模如下：J=f（P，I，Z）1假定波长λ明显小于传播距离z：λz。= Ωc，λMz⊙（Iλ Pλ，z）+n，（3）λ∈Λz ∈ZDOE球面波调制波zF x，y传感器对象2654⊙⊗波长[nm]420四百四十四百六十四八○五百五二○五百四十五百六十五百八十六百六二零六百四十六百六十440波长[nm]540640图4.我们优化的PSF的变化，相对于光谱和深度的光谱范围从420至660纳米和深度范围从0.4至2.0米。它使用重建网络实现单次HS-D捕获，同时以端到端的方式进行训练(1) 投影仪(2) 相机(3) 中继透镜(4) LCTF(5) 准直透镜(6) 成像透镜图5.我们采取的传感器RGB图像和提取功能使用-ING编码器。两个解码器将特征分别转换为除了编码器和解码器之间的跳过连接之外，我们还通过频谱上采样模块实现了残差学习。其中Ωc∈{R，G，B}，λ∈Λ是相机响应函数，是逐元素乘积运算符，是卷积运算符，并且Mz是每个深度层z的权重图。我们通过将高斯滤波器应用于二值化的占用图来计算Mz，如果像素深度在z处，则该二值化的占用图具有值1，否则具有值0 [8，51]。最后，我们应用与信号无关的加性高斯噪声n。由于泊松噪声的不可微性，我们排除了泊松噪声，甚至其重新命名也会引入训练不稳定性[32]。HS-D采样。我们使用25个光谱通道的密集采样，从420到660纳米，在10纳米的间隔和7个深度水平，从0.4到2.0米的线性间隔dispar- ity。这不仅对于从PSF的光谱线索估计HS-D图像是必要的，而且对于准确地模拟图像形成模型也是必要的。4. 端到端HS-D重建PSF的光谱-深度依赖性允许我们从捕获的图像Jc重建光谱图像I^和深度图Z^。我们使用深度卷积神经网络（a）HS-D数据集的采集设置，示意图(b)我们的HS-D数据集深度0.42.5[m]图6. (a)我们使用结构光3D扫描和基于LCTF的高光谱成像建立了台式HS-D成像装置。（b）我们使用台式设置捕获由高光谱反射图像和深度图组成的第一HS-D数据集用于重建算法的网络frec（·）：Iλ，Z=frec（Jc）.（四）网络架构。我们基于具有双解码器设计的U-Net架构[ 34 ]设计网络架构：一个用于深度，另一个用于HS图像（图5）。这种设计是内存高效的，对于我们消耗大量GPU的端到端学习至关重要贴片尺寸：256 128 64 32 16 8163264128二百五十六跳过连接光谱上采样512二百五十六& 添加1286416164 一百二十八256512102451225612864三三二32251二、三、 56输出深度深度[m]输出HS图像2.00输入传感器1.200.670.550.460.400.86深度[m]0.672.000.402655L1一个∇c′Ω（λ，c）h，θuλp′N¨λλ¨1梅¨1M函数Ω：I=Σw（λ，c）Jc，其中w（λ，c）=1（我们进行综合评价我们的方法相比，国家的最先进的方法和实验HS-D成像Feng等人[12个]我们规格峰值信噪比[dB]SSIM23.620.7629.310.81深度RMSE [m]MAE [m]0.570.300.200.12表1.我们的方法优于最先进的HS-D成像方法[12]，该方法结合了光场成像和压缩光谱感测。DOE菲涅耳螺旋[19]费舍尔[37]E2E（我们的）规格峰值信噪比[dB]SSIM27.960.7426.900.6428.510.7929.310.81深度RMSE [m]MAE [m]0.210.150.320.200.230.150.200.12表 2. 我 们 的 优 化 DOE 优 于 HS-D 成 像 的 替 代 DOE 设 计（Fresnel，Spiral [19]，Fisher [37用于可微HS-D模拟的存储器。更多的网络细节可以在补充文件中找到。使用频谱上采样的残差学习。为了减少重建问题的不适定性，我们通过将初始谱张量添加到输出HS图像来应用残差学习[13]。然而，与用于超分辨率和去马赛克的常规残差学习不同，输出频谱通道的数量大于输入通道：从3到25。因此，我们建议基于相机响应将输入RGB通道强度分布到高光谱通道起来Ω（λ，c）/{Σλ′′ ΣcΩ（λ′ ，c）}和c，c′∈{r，g，b}。DOE高度h由Fisher信息初始化，其细节在补充文件中提供。学习的PSF。如果HS-D PSF在光谱和深度维度上包含太复杂的结构，则这不可避免地导致大的空间占用，从而限制了精确的反卷积。如果HS-D PSF不提供区分特征，则我们遭受频谱和深度的同色异谱模糊性图4中所示的我们学习的PSF是通过计算获得的，并且表现出具有紧凑尺寸的光谱深度变化。结合我们的神经网络和PSF，我们利用低级别的光学PSF线索和更高级别的上下文图像线索来重建高光谱图像和深度图。5. HS-D数据集为了监督训练，我们提出了第一个HS-D数据集。我们提供了18对对齐的高光谱反射率Rλ和深度图Z（参见图6）。小心放置物体以避免结构化照明的遮挡。使用29个CIE标准光源将反射率Rλ光谱增强为辐射率Iλ我们的数据集覆盖了420 nm到680 nm的可见光谱，间隔为10nm，深度范围为0.4 m到2.5 m。通过手动获得的背景掩模来保证清晰的对象边界，从而确保从有效区域进行补丁采样为此数据采集，我们提出了一个组合HS-D成像仪上采样图像I λ 添加到高光谱解码器，实现有效的残差学习（图5中的红色箭头）。损失函数。我们的损失函数被定义为倒数深度D= 1/Z和高光谱图像Iλ的平均绝对误差（MAE），以及深度上的总变差正则化子：结合结构光和基于LCTF的高光谱成像，使用蛮力扫描获取准确的光谱和深度数据（图6）。为了提高数据效率，采用了逐块训练，总共使用了20，000个不同的有关成像器的详细信息，请参见补充文档。L=α¨I-I¨+β¨D¨−D¨一个+γD，6. 结果其中N和M分别是高光谱图像和深度图中的总像素的数量，并且是空间梯度算子。α= 1，β= 10−2，γ= 10−2是平衡重。训练由于HS-D模拟和重构网络都是可微的，因此我们通过反向传播解决最小化问题来联合优化最小化L.{Z（h，θ），Iλ（h，θ）}，{Z，Iλ}Σ，（6）其中h是DOE高度，θ是一组网络参数。我们使用分片训练，补丁大小为256×256。验证我们的原型HS-D成像。先前的HS-D成像方法采用时域中的多采样策略[24]，具有多个传感器[54，55]，或直接分类滤波[10]。一个值得注意的例外是工作[12]，其通过组合压缩光谱成像和光场成像来瞄准单次拍摄HS-D成像他们的系统形状因子是显着大于我们由于复杂的元素，包括编码孔径掩模，中继透镜，棱镜，和微透镜阵列。我们的方法具有更紧凑的尺寸，优于他们的方法[12]，如表1和图7所示。DOE设计。 我们将优化后的DOE与更改后的DOE进行比较-2656深度[m]光芒深度[m]光芒光芒0.20.10.00.2450500550六百6500.10.00.2450500550六百6500.10.0450500550六百650重建的谱图像深度图波长[nm]图7.Feng等人重建的光谱图像和深度图的空间分辨率[12]由于基于光场的HS-D成像的基本架构而非常低相比之下，我们的HS-D成像可以以更高的精度捕获光谱图像和深度信息，而我们的基于DOE的相机具有比最先进的系统小得多的外形尺寸。2.00.42.00.42.00.42.00.42.00.40.30.20.10.00.40.30.20.10.00.40.30.21450 500 550 600 6502450 500 550 600 6500.40.10.0450 500 550 600 650重建的谱图像输入重建输入重建深度贴图波长[nm]图8.我们将我们学习的DOE与菲涅耳，螺旋[19]，Fisher [37] DOE进行比较。通过我们的DOE方法重建的光谱图像和深度图对分析驱动的DOE的结果提出了显着的改进。原生DOE设计：菲涅耳DOE、螺旋DOE [19]和FisherDOE [37]。为了公平比较，我们使用我们的重建网络的所有DOE设计。表2和图8显示我们的DOE设计优于分析驱动设计。菲涅耳透镜DOE遭受具有洗净的颜色伪影的光谱同色异谱（图8d）。Fisher信息DOE和螺旋DOE导致空间分辨率降低（图8b8 c）。数量上的差异虽然干扰可能看起来很小，但在定性重建中，影响是清晰可见的，其中高频结构保留在我们的结果中。高光谱成像图10将我们的系统与两个仅高光谱成像系统进行了比较：基于螺旋DOE的方法[19]和基于棱镜的光谱成像方法[3]。它清楚地表明，我们的方法优于两种方法。Baek等人[3]患顺利12GTFeng等人我们32.5GTFresnelSpiralFisherE2E3深度[m]0.4 2.5深度[m]0.4 2.5深度[m]0.4(b)Feng等人(a)我们地面实况(c)螺旋(b)Fisher(a)我们的E2E地面实况(d)菲涅耳深度[m]深度[m]深度[m]光芒1231322657GT我们GT我们GT我们1GTBaek 等 人Jeon 等 人我们322.0[m]0.42.0[m]0.40.0 450 500 5506000.46500.42.0[m]0.40.00.40.0450450500500550550600600650650波长[nm]图9.重建现实世界的超光谱深度图像，休闲场景。 我们用我们的原型和COM捕捉到了这些场景-将所得HS-D数据的归一化辐射率与由光谱辐射计（SpectraScan 655）在黄色箭头指示的点处测量的地面实况进行配对。重建光谱图像1.00.50.01.00.50.01.00.50.01.00.50.0五百六百重建的谱图像500 600 500 600 500 600 500 600 500 6000.40.30.20.10.40.30.20.10.40.30.20.1波长[nm]色标的图11.我们的HS-D成像的定量评价0.0450 500 550 6006500.0450 500 550 600 6500.0450 500 550 600 650ColorChecker在模拟中使用地面实况。光谱图波长[nm]波长[nm]波长[nm]的24补丁中的ColorChecker提出光谱重建我们的方法具有很高的精度。图10.我们将我们的方法与最先进的HS成像方法进行比较[3，19]。我们提出的方法优于这两种方法的光谱精度（PSNR和SSIM计算的高光谱立方体），同时实现第二个最好的性能，在空间结构（PSNR和SSIM计算的高光谱立方体的亮度图像）。边缘结构Jeon等人[19]产生过度平滑的光谱变化。另外，和他们的冰毒不同-ODS，我们的方法估计高光谱图像以及深度图。有关实验详情，请参阅补充文件。深度成像。我们将我们的方法与两种基于DOE的仅深度成像方法进行比较：Wu等人[51]和Chang等人[8]，通过为每个PSF重新训练我们的重建网络。图12示出了我们的方法可以重建比其他方法更清晰的深度图，同时它还重建光谱信息。有关实验详情，请参阅补充文件。输入侦察输入侦察深度输入侦察输入侦察深度输入侦察输入侦察深度132GT我们(a)我们光芒(c)Baek等人(b)Jeon等人地面实况反射率光芒光芒光芒HS成像Baek等人[3]第一章Jeon等人[19个]我们HS PSNR [dB]HS SSIM27.960.7528.810.8129.310.81亮度PSNR [dB]亮度SSIM280.91400.96320.942658×个0.4m0.7m0.4m0.7m0.4m0.7mPSF输入深度图2.00.4像素间距为6.22µ m，分辨率为3840 5760 pix-els。DOE的焦距为50mm。我们通过软光刻[ 52 ]制造优化的DOE，其细节在补充文件中。然后将DOE安装到C安装管，该C安装管通过EOS-C适配器附接到相机主体。我们用3D打印机制作了一个额外的C接口扩展器，以将DOE放置在与传感器的精确距离处校准详情、使用真实PSF的微调以及真实模拟PSF之间的不匹配参见补充文档。通过我们的紧凑型实验原型，我们捕获了图1和图9中所示的五个真实场景，分别在阳光和办公室LED照明下捕获使用光谱辐射计和激光测距仪测量场景点的地面真实光谱和深度。局限性。我们的单次拍摄HS-D成像方法与低光和强度饱和场景斗争。此外，所制造的DOE的长尾PSF导致真实捕获的图像的低对比度，这是由于制造而导致的现有基于DOE的成像方法图12.我们将我们的方法与最先进的DOE进行比较-基于深度成像方法[8，51]。注意，这些方法不是为高光谱成像设计的我们学到的DOE在深度精度方面优于其他两种替代设计PSF依赖于入射角。我们发现，我们学到的PSF相对于入射角表现出微不足道的变化。为了验证，我们在零度和八度入射角处模拟两个PSF，其中八度入射角为零。等于垂直FOV（27度）的60%PSF的鉴别能力。我们使用Cramer-Rao下限（CRLB）[37]评估DOE的区分能力。菲涅耳/螺旋/Fisher DOE的CRLB为2.73/1.89/1.36。由于Fisher DOE提供了最高的鉴别能力，因此我们将其用作初始化点。然而，CRLB度量最初仅针对3D位置处的单个样本和脉冲谱峰设计。 因为我们的目标是捕捉自然场景，而不是 一个单一的点，我们的端到端的学习优化DOE与初始化从费舍尔DOE。光谱评价。为了评估我们的系统的光谱准确性，我们比较了重建的辐射度的24个补丁在标准ColorChecker下的CIE D65光源与地面真实的模拟。如图11所示，我们的结果与地面真实数据中每个补丁的光谱功率分布非常 匹 配 ， 尽 管 我 们 在 训 练 过 程 中 故 意 排 除 了ColorChecker图像，以避免网络参数过度拟合该目标。所有24个贴片的反射率（0.0-1.0）的平均RMSEHS-D成像原型。 我们建立我们的HS-D相机pro- totype使用佳能5D马克III相机传感器，具有不准确具有更多通道和深度的网络架构将有利于提高重建质量。然而，这是禁止在我们的方法中，由于HS-D图像模拟作为内存占用。我们的方法customizes DOE的目标相机配置。将其推广到各种摄像机参数，是今后的一项有趣工作。最后，结合可重新配置的多个DOE可以提高深度和光谱精度。7. 结论我们已经提出了一个单次拍摄HS-D成像系统，它由一个学习DOE和一个传统的DSLR相机。与现有的组合方法相比，PSF的频谱和深度依赖性被仔细分析并以端到端的学习方式利用。为了启用联合学习过程，我们创建了第一个HS-D数据集。仿真和实际系统的各种实验验证了我们的方法的质量和准确性。此外，所提出的方法可以用于显著地减小HS-D成像的形状因子，从而实现紧凑且便携的HS-D成像，而不会损害质量和准确性。确认敏 H. Kim 感 谢 韩 国 NRF 赠 款 （ 2019 R1 A2C3007229）以及三星电子、韩国MSIT/IITP（2017-0-00072）、韩国国家文化遗产研究所（2021 A02 P02 -001）和三星研究资助中心（SRFC-IT 2001 -04）对开发部分3D成像算法的支持。(b)Wu等人(a)我们(c)Chang等人地面实况深度[m]深度成像Chang等人[八]《中国日报》Wu等人[五十一]我们RMSE [m]0.450.310.20MAE [m]0.250.190.122659引用[1] Telmo Adao，Jonas Hruska，Luis Padua，Jose Bessa，Emanuel Peres，Raul Morais，and Joaquim Joao Sousa.Hy-高光谱成像：基于无人机的传感器、数据处理及其在农林上的应用。Remote Sensing，9（11）：1110，2017. 一个[2] Seung-Hwan Baek、Diego Gutierrez和Min H.Kim. 用于单次激发深度采集的双折射立体成像。ACM事务处理图表（Proc.SIGGRAPH Asia 2016），35（6），2016。二个[3] Seung-Hwan Baek、Incheol Kim、Diego Gutierrez和MinH Kim。使用棱镜的紧凑单次高光谱成像ACM事务处理图表(TOG)，36（6）：217，2017. 二六七[4] 大卫·J·布雷迪。光学成像和光谱学。John Wiley Sons，Inc. 2009. 二个[5] X Briottet，Y Boucher，A Dimmeler，A Malaplate，ACini，Marco Diani，HHPT Bekman，P Schwering，TSkauli，I Kasen，et al.超光谱图像的军事应用。在TargetandbackgroundXII ： Characterizationandrepresentation，第6239卷，第62390B页中。国际光学与光子学学会，2006年。一个[6] 艾扬·查克拉巴蒂通过反向传播学习传感器复用设计。神经信息处理系统进展，第3081-3089页，2016年。三个[7] Julie Chang，Vincent Sitzmann，Xiong Dun，WolfgangHei-drich，and Gordon Wetzstein.混合光电卷积神经网络与优化衍射光学图像分类。科学报告，8（1）：12324，2018。3[8] Julie Chang和Gordon Wetzstein用于单目深度估计和3d物体检 测的 深度光 学。 在IEEE国际 计算 机视觉 会议（ICCV），2019年。一二三四七八[9] 作者：Daniel S. Jeon、Giljoo Nam、Diego Gutier-rez和Min H.Kim. 使用光谱先验的高质量高光谱ACM事务处理图表（Proc. SIG-GRAPH Asia 2017），36（6）：218：1-13，2017。二个[10] Qi Cui，Jongchan Park，R Theodore Smith，and LiangGao.基于图像映射光谱法的快拍高光谱光场成像光学快报，45（3）：772-775，2020。五个[11] Laura M Dale，Andre 'Thewis，Christelle Boudry，IoanRo-tar，PierreDardenne，VincentBa eten，andJuanAFerna'ndezPierna.高光谱成像在农业和农产品质量和安全控制中的应用：审查.Applied Spectroscopy Reviews，48（2）：142-159，2013.一个[12] Weiyi Feng ， Hoover Rueda ， Chen Fu ， Gonzalo RArce，Weiji He，and Qian Chen.三维压缩谱积分成像。Optics express，24（22）：24859-24871，2016。一、二、五、六[13] Mi cha eülGharbi ， Gaura vChaurasia ， Syl vainParis ，andFre´ doDurand.深度联合去马赛克和去噪。ACM事务处理图表，35（6）：191：1-191：12，Nov. 2016. 五个[14] 约 瑟 夫 · 古 德 曼 。 傅 立 叶 光 学 简 介 。 Roberts andCompany Publishers，2005. 三个[15] Tobias Gruber，Frank Julca-Aguilar，Mario Bijelic，andFelix Heide.Gated2depth：实时高密度激光雷达从门控im2660年龄在IEEE计算机视觉国际会议论文集，第1506-1516页，2019年。一个[16] Harel Haim 、 Shay Elmalem 、 Raja Giryes 、 Alex MBronstein和Emanuel Marom。使用深度学习的相位编码掩模从单个图像进行深度估计。IEEE Transactionson Computational Imaging，4（3）：298-310，2018。三个[17] Miles Hansard，Seungkyu Lee，Ouk Choi，and RaduPatrice Horaud. 飞行时间相机：原理、方法和应用。Springer Science Business Media，2012. 一个[18] Shuya Ito ， Koichi Ito ， Takafumi Aoki ， and MasaruTsuchida.一种多波段多视点彩色图像三维重建方法。亚洲计算机视觉会议，第236-247页。施普林格，2016年。二个[19] Daniel S Jeon ， Seung-Hwan Baek ， Shinyoung Yi ，Qiang Fu，Xiong Dun，Wolfgang Heidrich，and Min HKim.具有衍射旋转的紧凑快照高光谱成像ACM事务处理图表(TOG)，38（4）：117，2019. 二五六七[20] Daniel S Jeon，Inchang Choi，and Min H Kim.多采样压缩视频光谱。Computer Graphics Forum，35（2）：467-477，2016. 二个[21] William R Johnson ， Daniel W Wilson ， WolfgangFink，Mark Humayun，and Greg Bearman.眼科学中的快照高光谱生物医学光学杂志，12（1）：014036-014036，2007。二个[22] Min H Kim、Todd Alan Harvey、David S Kittle、HollyRush-meier、Julie Dorsey、Richard O Prum和David JBrady。用于测量固体物体上的高光谱图案的三维成像光谱学。ACM Trans.Graph. （TOG），31（4）：38，2012。一、二[23] Masahiro Kitahara，Takahiro Okabe，Christian Fuchs，and Hendrik PA Lensch.从少量图像同时估计光谱在VISAPP（1），第303-313页，2015中。一、二[24] Raimund Leitner ， Andreas Kenda ， and AndreasTortschanoff. 高 光 谱 光 场 成 像 。 在 Optical Sensors2015，卷9506，页950605中。国际光学与光子学会，2015年。五个[25] AnatLe vin，RobFer gus，Fre´ doDurand和WilliamT自由人。使用编码光圈的传统相机的图像和深度。在ACM事务图中。(TOG)，第26卷，第70页。ACM，2007年。二个[26] 陆国兰和保卫飞。医学高光谱成像综述。生物医学光学杂志，19（1）：010901，2014。1[27] C.梅茨勒，H. Ikoma，Y. Peng和G.韦茨斯坦用于单次高动态范围成像的深光学系统。在procCVPR，2020年。三个[28] RoopeNa¨ si 、 EijaHonkav aara 、 Pa¨i viLyytika¨ inen-Saarenmaa 、 Minna Blomqvist 、 Paula Litkey 、 TeemuHakala、NikoViljanen、TuulaKantola、TopiTanhuanpa¨a¨和Markus Holopainen。利用无人机摄影测量与高光谱影像于树层绘制小蠹虫危害图。遥感，7（11）：15467-15493，2015. 一个[29] Shree K Nayar和Yasuo Nakagawa。 从焦点塑造。 IEEETrans.Pattern Analysis and Machine Intelligence ， 16（8）：824-831，1994. 二个2661[30] Elias Nehme、Daniel Freedman、Racheli Gordon、BorisFer dman 、 Lucien E Weiss 、 Onit Alalouf 、 ReutOrange 、 TomerMichaeli 和 YoavShechtman 。Deepstorm3d：密集三维定位显微术和通过深度学习的点扩散函数设计。Nature Methods，17：734-740，2020中。三个[31] Keisuke Ozawa，Imari Sato，和Masahiro Yamaguchi.高光谱光度立体，用于单次拍摄。JOSA A，34（3）：384-394，2017. 一、二[32] Adam Paszke、Sam Gross、Soumith Chintala、GregoryChanan、Edward Yang、Zachary DeVito、Zeming Lin、