消费级打印机的随机印刷掩模捕获高光谱图像的简单且低成本方法

1基于随机印刷掩模的高光谱成像中国南京大学南京市南京大学南京市2南京大学传感与成像工程研究所，南京，中国{袁方，郭辉}@ smail.nju.edu.cn{马占，曹勋，月涛，雪梅湖}@nju.edu.cn摘要高光谱图像可以为各种计算机视觉任务提供丰富的线索。然而，获取高光谱图像所需的专业和昂贵的硬件限制了其广泛的应用.本文基于彩色打印机可以打印具有大量独立光谱透射响应的彩色掩模这一简单但未被广泛注意的现象，提出了一种简单且低成本的方案，利用消费级彩色打印机打印的随机掩模捕获高光谱图像。具体来说，我们注意到，具有不同颜色的印刷点堆叠在一起，形成乘法，而不是加法，光谱透射响应。因此，新的光谱透射响应不相关的原始打印机染料的生成。利用随机打印的彩色掩模，可以以快照的方式捕获高光谱图像。提出了一种基于卷积神经网络（CNN）的高光谱图像重建方法。所提出的系统的有效性和准确性进行了验证合成和实际捕获的图像。1. 介绍光谱可以提供超出人眼和商业RGB相机能力的场景的附加信息，具有促进计算机视觉任务的巨大潜力[3，9，29]。然而，光谱成像系统的高复杂度和高成本极大地增加了光谱图像获取的难度，从而限制了光谱成像的广泛应用。传统上，为了捕获高光谱图像，需要基于扫描的方法（空间扫描[18]或光谱扫描[15这些基于扫描的系统可以捕获具有几个到几百个光谱通道的图像，而处理动态场景的能力被牺牲。为了在单次快照中拍摄光谱图像，在过去的几年中提出了快照光谱成像方法[6，10，16，25，31，32]。但大部分一图1.所提出的高光谱成像系统的概述：使用消费级打印机，可以将随机颜色的印刷掩模附接到相机的传感器以对高光谱图像进行采样。通过随机叠加墨滴，不同点的光谱透射响应呈现高度不相关性，并且促进具有细节的全光谱恢复。提出了一种卷积神经网络从随机编码图像中恢复高光谱图像的方法.这些系统具有系统复杂性和校准困难的问题。提出了基于定制光谱滤波器的方法来实现紧凑的高光谱成像[5，20，23，28]，而这些方法受到滤波器的制造成本的影响RGB相机也被研究变成光谱仪[2，4，27，24，33]。然而，不相关的频谱调制（即，RGB Bayer滤波器）的分辨率有限，光谱细节难以提取.在本文中，我们提出了一个简单的和低成本的光谱成像方案与彩色掩模，它可以打印的消费级打印机。所提出的系统的想法是基于一个简单但不被广泛注意的现象，即。重叠的印刷色点的光谱透射响应是每个重叠色点的光谱透射响应的乘积。多重光谱透射响应与打印机油墨的多重光谱透射响应线性因此，我们可以生成具有大量不相关的光谱透射响应的颜色掩模利用颜色掩模，可以高质量地对高光谱图像进行编码。我们开发了一种基于CNN的方法来从捕获的图像中重建高光谱图像，并建立了一个原型高光谱图像。10149CNN方法输入输出编码图像高光谱数据重建采集123456710150中心成像系统在模拟数据和实际采集数据上对所提出的高光谱成像方法进行了验证该文件的主要贡献是：• 我们建议使用大量的不相关的光谱透射率sponses通过使用消费级彩色打印机，并提出了一个简单的高光谱成像方案的基础上随机打印的彩色掩模。• 我们开发了一个基于CNN的重建网络，从观测中恢复高光谱图像。• 我们建立了一个原型成像系统来验证这种方法，并证明了合成和实验数据的可行性和有效性。2. 相关工作近几十年来，高光谱快照成像技术发展迅速。为了用二维成像传感器以快拍的方式获取三维高光谱图像，引入了空间编码或光谱编码。就具体的编码技术而言，现有的方法可以分为三大类：基于色散的光谱成像方法[6，16，25，31，32]、基于散射的光谱成像方法[12，30]和基于光谱滤波器的方法[2，4，5，13，20，23，24，27，28，33]。基于色散的光谱成像方法具有分散元件，例如棱镜或光栅，每个点的光谱在空间上扩展。通过引入空间编码，光谱信息被间接编码和捕获[6，10，16，25，31，32]。这些光谱成像方法虽然可以实现快拍和高质量的高光谱成像，但通常需要复杂的定标，系统体积庞大。与这些方法相比，该方法只需要打印一个彩色掩模，并将彩色掩模粘贴在相机传感器前，易于实现，成本低，具有更广泛的应用前景。基于散射的光谱成像方法。 除了通过引入色散器进行光谱编码外，还引入了散射介质以利用不同的散斑图案对光谱信息进行编码[12，30]。虽然这些方法是有前途的紧凑的高光谱成像，光谱分辨率的能力是有限的，由于不同波长之间在我们的方法中，我们建议使用墨滴的叠加来生成光谱调制，该光谱调制是高度不相关的，并且可以实现高质量的高光谱成像编码。基于光谱滤波器的光谱成像方法。 除了那些间接频谱编码方法之外，还可以通过直接频谱编码来实现频谱成像：设计并在相机传感器前面安装光谱滤波器[5，20，23，28]。提出了基于深度学习或字典学习的方法，这些方法利用了复杂的空间-频谱先验，以实现高质量高光谱恢复[8，13，14]。这些高光谱成像方法可能需要高精度的光谱滤波器，而我们的光谱成像方法只需要用消费级打印机打印彩色掩模。最近，将商业RGB相机转换为高光谱成像也已成为热门研究课题[2，4，24，27，33]，这对于低成本光谱仪来说是有希望的。然而，不相关的频谱调制是有限的，可能不足以恢复频谱细节。该方法可以提供各种不相关的光谱调制，从而可以实现高质量的高光谱信息编码和恢复总之，我们提出了一种新的低成本和易于实现的高光谱成像技术。我们的方法校准简单，最重要的是，通过利用随机叠加墨滴的新生成的光谱透射响应，可以编码详细的高光谱信息。我们提出了一个基于CNN的网络模型来提取高光谱图像，并通过合成和物理实验。3. 随机印刷掩模的传输模型我们工作的基础是不同颜色油墨的光谱透射响应是不同的，光谱信息可以用随机印刷的彩色掩模编码。研究了印刷彩色网点的特性，建立了掩模印刷模型，分析了不同印刷参数下的彩色传输响应。在此基础上，我们可以选择最佳的物理参数来打印我们的光谱编码掩模。3.1. 随机印刷掩模随机分布特征。我们首先观察墨滴在微米级的分布，放大20倍的显微镜CMYK颜色模式通常用于彩色打印，包含四种标准颜色，即：青色（C）、品红色（M）、黄色（Y）和黑色（K）。由于黑色墨水吸收所有波长的光，因此我们使用CMYK模式生成背景图片，在这种情况下，C、M和Y通道分别设置为10，K通道设置为0。我们在透明胶片上打印一个具有CMYK值的均匀掩模，并在显微镜下观察打印的图片，如图所示。第2段（a）分段。可以观察到，微米级的液滴的位置不是规则排列的，而是相对随机和不受控的。每一滴墨水都近似于圆形。由于CMY墨滴的重叠而产生新的颜色，例如紫色、绿色和橙色。乘法叠加特性。观察墨滴的随机分布，我们进一步探索如何10151图2.（a）微米级的墨滴分布图像（b）CMY彩色印刷膜的光谱透射响应。如果堆叠不同的墨滴，光谱透射响应是否会改变我们假设透射响应将是重叠墨滴的透射响应的乘积，Ycp=ci，（1）我其中CP表示重叠层的传输响应，而Ci是第i层的传输响应我们进行了一个实验来验证假设的堆栈-ing模型。 单点光谱仪（ASD TerraSpec 4 Standard-Res矿物分析仪）用于测量透射响应。在消除光源和相机光谱灵敏度响应的影响后，图4.在不同的印刷参数下，彩色蒙版的RGB图像墨水颜色。对于一个单色层，印刷掩模可以被公式化为：Mi=I（p）<$K（d，ci），（2）其中I（p）表示尺寸为H×W的随机0-1印刷图案。Mi表示掩模透射响应矩阵，K表示直径为d的圆核（实际上印刷液滴的形状近似为圆形Ci是第i层的光谱透射响应。空间卷积运算（spatial convolutional operation）对于混合颜色的掩模，它相当于打印多种颜色的多层根据乘法叠加特性，多层单色掩模M可以被建模为：YLCMY油墨的透射响应如图所示第2段（b）分段。我们计算的传输响应的重叠品红色-品红色和青色-品红色的墨滴和QM =i=1Mi，（3）用一个光谱仪测量 所示哪里表示逐元素乘积，L表示如图3所示，测量的传输响应与乘法模型（等式2）估计的传输响应①的人。0.14层数。根据该模型，对不同参数印刷的掩模进行了模拟，并讨论了这些参数对光谱反演保真度的影响，以选择最佳的掩模印刷0.120.10.080.060.040.020400 500 600700（一）0.140.120.10.080.060.040.020400 500 600 700（b）第（1）款下一节的设置。3.3. 特性分析在本章中，我们分析了不同的物理参数打印的彩色掩模的光谱重建性能，并选择了最佳的成像技术。图4示出了根据本发明的实施例的在不同参数下的模拟掩模的伪彩色图像。图3.（a）具有相同油墨堆叠的透射响应(b) 不同油墨堆叠的透射响应。估计的光谱透射响应由方程计算。（一）.3.2. 随机印刷掩模的传输模型利用乘性叠加模型对多层单色光掩模进行建模，模拟印刷光掩模的透射响应矩阵。在建模中要考虑的主要因素是油墨密度p、层数l、单个液滴直径d和测量曲线-M M估计曲线-M M测量曲线-C M估计曲线-C M光谱透射响应光谱透射响应10152商业相机的校准光谱响应（点灰色Grasshopper 3）。我们首先建立了成像模型，并给出了一种非常简单的重建方法，从而可以用重建结果的准确性来评价随机印刷掩模的质量利用印刷掩模对来自场景的光谱信息进行编码的成像模型可以表示为y=Cs，（4）其中y=[y1，y2，···，yn]T表示由印刷掩模编码的信号，C=[c1，c2，···，cn]T表示传输10153印 刷 掩 模 的 矩 阵 。 s 表 示 场 景 的 光 谱 ， 可 以 通 过Tikhonov正则化的最小二乘问题估计[17]s=argmin（s2 2其中α是正则化系数，并设置为0。01.25020015010050005数量的油墨10 15图6.将打印密度p设置为0。01：（a）当将打印密度设置为0.01时使用的不同数量的油墨的等级分析，（b）(c) 对于具有（a）中标记的参数的重构光谱，在（c）中添加高斯白噪声（σ= 20）。将油墨i的数量设置为10：（d）针对不同层和印刷密度的等级分析。（e）-（f）具有在（d）中标记的参数的重构谱，在（f）中添加高斯白噪声（σ=20）。 将i设置为10图5.统计分析最大值与传输矩阵的秩和印刷参数p，i。至于打印颜色掩模，有四个物理参数：每个墨滴的直径d、打印密度p、墨的数量i和重叠层的数量l。在直径方面，它由打印机喷嘴物理确定，并在模拟中固定为4个像素，这与真实实验中的尺寸一致。众所周知，方程中C的秩越高，（4）得到的线性不相关光谱测量值越多，光谱恢复的保真度就越高。因此，我们致力于寻求参数，使印刷掩模的等级尽可能高。考虑到实现的实用性，我们将层数限制为150层。为了选择最佳的参数值，我们首先在不同的参数设置下随机模拟100次掩模，并统计分析传输矩阵的最大秩与参数p和i的关系，如图所示五、显然，当密度p固定时，墨水数越大，可以实现越高的然而，传输矩阵的秩下降，无论是太厚或太稀疏的打印。因此，p=0。01作为印刷密度。值得注意的是，当i达到10时，对于p = 0，秩增长缓慢。01.因此，在我们的实验中选择i=10为了更直观地建立不同参数下掩模的秩与重构性能之间的关系，我们进行了三组实验，如图所示。六、我们首先合成颜色p为0。01：（g）当p为0时，不同层的秩分析。（h）-（i）在（g）中标记的参数处的重构谱，在（i）中添加高斯白噪声（σ= 20）。当p = 0时，使用不同的i和l掩码。01，如图所示。第6（a）段。可以观察到，在固定i的情况下，秩首先增加，然后随着l的增加而减小。在同一张纸上印刷太多的层会降低光通量并劣化颜色掩模的光谱编码能力我们在图中可视化了在不同噪声条件下具有不同参数的相应重建结果。6（a）标有红十字。我们可以从无花果中看到。6（b）-（c），p=0。01和L=38时，油墨越多，透射响应的等级越高，并且以更高保真度重构光谱。然后，我们合成不同的印刷密度和层数的彩色掩模不同印刷密度和层数下的等级变化趋势如图所示。第6（d）段。我们进一步比较了在不同噪声条件下不同参数的相应重建结果。6（d）用红叉标记选择最佳参数打印，如图6（d）所示。6（e）-（f）.在图6（f）中，所添加的噪声的标准偏差σ为20。可以观察到，当p = 0时，印刷38层。01或当p=0时打印300层。001能够以高保真度和对噪声的高容忍度重建频谱。然而，打印太多的层对于实现来说是不切实际的，所以我们选择p=0。01.为了进一步确定打印层的最佳数量，我们分析了当p和i固定时要打印的不同层，如下所示×××(a)设置p = 0.01（b）无噪声（c）第（1）款×××(d)设置i = 10(e)没有噪声（f）第（1）款×××(g)设置p = 0.01和i=10(h)没有噪声（一）秩1015411示于图6（g）用红十字标记层数分别为30、38和50。重建结果示于图1A和1B中。6（h）-（i）。可以看出，印刷太多层可能导致随机性降低，相反，印刷太少导致信息收集能力不足。总之，印刷35-45层对应于合理的良好性能。基于以上分析，我们选择打印密度为0。01，直径4，色数10和层数35-41作为我们的最终印刷参数的颜色掩模（见第二节）。5.2执行细节）。在下面，我们将开发一种基于CNN的方法，用我们的成像技术重建高光谱图像。4. 成像模型及反演方法通过将彩色掩模放置在传感器前面，光谱图像被编码，沿波长积分并由2D传感器捕获。图像形成模型是ΣI（x，y）= Φ（x，y，λ）S（x，y，λ），（6）λ其中Φ表示颜色掩模的光谱透射矩阵，S表示3D高光谱图像，并且I是捕获的图像。从捕获的2D编码图像重建3D高光谱图像S是高度欠定的，其中需要高光谱图像的基于字典的方法已经被开创性地应用于引入统计信息，最大的poolings特征图的大小在每次下采样后缩小到前一层的一半。采用双线性上采样代替反卷积操作，防止了棋盘效应。Resnet [19]中的瓶颈是在上采样之后添加的，以平滑特征图。在我们的网络结构中引入了跳跃连接，以改善反向传播过程中梯度的消失多尺度方案的提出，基本上是为了从不同尺度的感受野像素中提取相关信息，以更好地进行光谱重建。S=F（I）.（七）损失函数。F中每层的参数定义为θ={Wl，bl}d+1，d为隐藏层数. 这些参数是用损失函数训练的由方程式8.第一项是地面实况高光谱图像S的均方误差（MSE）和预测的超光谱图像S.为了重新-覆盖了光谱维度上的详细特征信息，我们在等式中添加了光谱恒定性损失作为第二项8，它约束的一阶导数S和S在波长维度上是相似的。此外-为了避免过拟合，引入了权值的衰减项L=β1<$F（I）−S<$2+β2<$$>λS<$−<$λS<$2`x2`x数据项谱恒常性损失将高光谱图像的先验知识转化为逆问题，并成功地恢复了高质量的高光谱图像，+τw免费+1 2002年1月2日（八）年龄[1，14，25]。除此之外，CNN是从数据中学习统计先验的专家，也被应用于高光谱图像重建并取得了显着的性能[8，13，24]。在本文中，我们提出了一种基于CNN的频谱重建方法为了增加模型的感受野（RF）[21]并使其能够整合不同大小级别的掩模的编码信息，采用了多尺度如图7，所提出的方法从大量编码图像和地面实况高光谱图像对学习端到端映射。网络的输入是用印刷掩模编码的二维图像，输出是重建图像。结构化光谱图像我们使用的基于CNN的模型表示为F。馈送到F的输入和输出对被表示为{Ii|Si}N。 由Eq.（6）地面实况高光谱图像的综合实验其中Φ表示彩色掩模的透射响应矩阵，Φ∈RH×W×Λ，S∈RH×W×Λ，Λ表示光谱分辨率。网络的输出为网络结构。我们的模型（Fig. 7）基于多尺度结构，其被下采样四次，21联系我们衰减项实施详情。 的数据库使用用于训练的数据库是公开可用的，包括哈佛[7]、哥伦比亚[34]、KAIST [8]和曼彻斯特[26，11]光谱图像数据库。数据增广方法通过裁剪、缩放、旋转等方法对数据集进行等，对40000个大小为（256×256×31，256×256）的增强数据对进行采样。增强后的数据集按4：1分为训练集和验证集。Pytorch 框架用于训练我们的模型 。ADAM [22]采用用于优化。学习率最初设置为10−4，从第6个历元开始缩放到前一个的1 / 3。 β2从第6个时期开始逐渐增加，按1缩放。一个时代。衰减项的权重τw设为10−8。 网络培训过程持续约24小时。我们使用的硬件平台配置有64 GB内存的Intel（R）CPU E5-2609和16 GB内存的NVIDIA Tesla P100。 在训练和测试过程中加入标准差为5的零均值模拟高斯噪声。10155图7.神经网络结构输入是光谱编码图像，输出是31通道的恢复高光谱图像多尺度网络由卷积层、双线性上采样、最大池化和Resbottle模块组成，利用不同尺度感受野上像素之间的相关性。表1. 与最先进方法的定量比较方法峰值信噪比（dB）SSIMMSE[25]第二十五话25.970.860.0008[8]第十八话34.470.910.01CNN+RGB21.50.570.03我们的方法34.740.930.00045. 实验在本节中，我们通过仿真和物理实验来证明我们的方法的有效性。5.1. 合成光谱数据实验我们将我们的方法与其他三种最先进的方法进行比较：基于稀疏编码的方法（稀疏编码）[25]，具有编码孔径快照光谱成像系统（Deep CASSI）的基于CNN的重建[8]（作者提供的[ 8 ]的网络模型），以及我们的 具 有 RGB 图 像 作 为 输 入 的 CNN 网 络 （ 我 们 的CNN+RGB）。为了公平比较，将三种方法的参数进行转换并设置为具有最佳性能的参数。重建的定量比较。 如Tab.所示。5.1，我们在四个验证数据集上验证了我们的方法（Harvard [7]，Columbia[34]，KAIST [8]，Manch-ester [11，26]数据集）。平均 峰 值 信 噪 比 （ PSNR ） 、 结 构 相 似 性 指 数 度 量（SSIM）、均方误差（MSE）.如图所示，我们的方法在PSNR，SSIM和MSE方面的性能与其他最先进的方法相当。作为一个整体，我们证明了我们的方法的有效性，通过广泛的比较。重建的质量比较。 为了直观的比较，我们展示了我们的方法和其他三种方法在四幅图像上的重建结果，每幅图像来自不同的数据库。我们首先用重建的高光谱图像和商业RGB相机（点灰Grasshopper 3）的RGB光谱响应计算相应的RGB图像，如图1-4所示。图中的行8.通过与其他方法的比较，我们的方法从恢复的高光谱图像计算的彩色图像是最接近的地面真相。这可以通过比较不同方法的RGB图像的误差图来证明，如图5 - 8行所示。8.在此基础上，我们分别从这四个场景中随机选取四个点，直接在第一列第5-8行对恢复的光谱进行比较。如图所示，我们的方法可以恢复大多数光谱细节，证明了我们的方法的有效性5.2. 实际捕获数据为了证明我们的方法的有效性与实际捕获的数据，我们建立了一个原型系统与印刷掩模。为了提高掩模的 质 量 和 随 机 性 ， 我 们 研 究 了 C13T761280 、C13T761380、C13T761480、C13T761580、C13T761680、C13T761480、C13T761580、C13T761680、C13T761580、C13T76LAMY T52-Cyan、T52-Magenta、T52-Yellow和五种PI- lot INK-30系列），并比较了它们的消光系数。由于RGB拜耳模式在介绍了三种透射曲线不同的彩色滤光片的基础上，我们进一步选择了7种相互关联性最小的油墨 我们随机打印了通过喷墨打印机（两台XP-245打印机，一台装载3种油墨，另一台装载4种油墨）在透明膜上印刷油墨对于每台打印机，每次在一层上的彩色油墨数量取决于装载的油墨数量，即3或4。在我们的实验中，我们用3墨打印机打印6层，用4墨打印机打印5由于去除传感器前面的保护玻璃并将印刷的颜色掩模粘贴到传感器可能需要复杂的制造技术以避免潜在的伪影，因此我们将这一部分留到将来的工作中，并建立一个中继系统来简单地演示我们的方法。如图10、我们提出的采集系统包括物镜、印刷掩模、中继镜和编码图像高光谱图像maxpooling 2下采样双线性2上采样3x3，31Conv 31雷斯波特转换dConv 64下采样3x3Conv 128ReLU下采样3x3Conv 256ReLU下采样Conv 512下采样d1x1，Conv 1024ReLU雷斯波特3x3，641x1，d上采样DConv 512雷斯波特上采样Conv 256雷斯波特上采样Conv 128雷斯波特上采样Conv 64Conv 3110156Groundtruth稀疏编码深度CASSI我们的CNN+RGB我们点1点2点3点4点1点2点3点4图8.四幅图像的模拟结果，每幅图像都来自高光谱数据库（曼彻斯特，哥伦比亚，哈佛，KAIST）。我们比较了合成的RGB图像，恢复的光谱和误差图与其他三种方法。图像传感器。物镜用于将来自场景的光聚焦到印刷掩模上，光谱信息由印刷掩模调制。调制光最终通过中继透镜由传感器成像。印刷掩模的光谱透射响应为：使 用 高 分 辨 率 分 光 光 度 计 校 准 （ 光 谱 分 辨 率 ：0.1nm）。我们改变分光光度计的发射波长，并将单色光导入积分球，以产生空间均匀的光。传输的图像每隔曼彻斯特KAIST哥伦比亚哈佛10157440纳米480纳米520纳米560纳米图像传感600纳米640纳米中继透镜印刷掩模物镜透镜680nm720nm编码图像合成RGB图像490nm500nm580nm 590nm 610nm 630nm670nm 700nm图9.不同场景的实验结果，第一列是捕获的光谱编码图像，第二列是具有恢复的光谱的合成RGB图像，第3-10列是恢复的高光谱通道，最后一列显示恢复的光谱与ASD光谱仪捕获的地面真实光谱之间的比较从400 nm到700 nm的10 nm。在这里，我们显示了图中31个不同光谱透射响应图像中的8个。10个。利用标定的透射光谱响应和高光谱图像数据库，我们合成了40000对训练数据。训练网络大约需要24小时。利用训练好的网络，在物理实验中，我们用原型系统捕获光谱编码图像，并用训练好的网络恢复高光谱图像。采集系统的校准仅需一次即可获得光谱透射响应Φ。在碘钨灯光源的照射条件下，我们采集了几幅编码图像，如图1第一栏所示。9.第九条。结果示于图9.第九条。第一列是捕获的不同场景的光谱编码图像第二列是具有恢复的高光谱图像的合成RGB图像第3-10 列 分 别 为 490nm 、 500nm 、 580nm 、 590nm 、610nm、630nm、670nm和700nm。为了验证我们方法的有效性，我们进一步图10.对高光谱成像系统样机进行了实验研究，并对不同波长下拍摄的透射图像进行了标定.用ASD测距仪捕获地面实况频谱，并将重建的频谱与ASD捕获的如最后一列所示（在第二列用蓝色点标记），我们的方法可以恢复大部分光谱细节。实验结果表明，通过将随机彩色光谱编码与基于CNN的高光谱图像重建相结合，该方法可以实现高质量的高光谱图像重建。6. 结论在本文中，我们提出了一个简单的和低预算的超光谱成像方法。我们观察到重叠印刷彩色掩模的透射光谱是各层光谱透射响应的乘积，这可能引入大量不相关的光谱透射响应。通过印刷多层随机彩色图案，可以得到高效的光谱编码彩色掩模.结合新的光谱编码颜色掩模，我们开发了一个基于CNN的网络模型来恢复高光谱信息从编码图像与我们的颜色掩模。正如模拟和真实捕获的数据所示，我们的高光谱成像是最先进的光谱检索质量。未来的工作将是开发一个紧凑的波长计基于我们的方法。虽然我们的原型系统是不紧凑的，在其目前的中继系统的实现，我们的方法确实是有前途的紧凑型高光谱成像仪附加上的光谱掩模的传感器。谢谢。这项工作得到了批准号。 61671236国家自然科学基金，批准号：国家科学基金江苏省青年科学家项目BK20160634。10158引用[1] B. Arad和O.本沙哈尔从自然rgb图像中稀疏恢复高光谱信号。ECCV程序，第19-34页。施普林格，2016年。5[2] B. Arad和O.本沙哈尔高光谱估计的滤波器选择在Proc.CVPR，第21-26页，2017年。一、二[3] 诉贝克曼M.B. 华莱士湖Perelman，J.阿伦特河Gur-ja r，M.Müller ， Q. Zhang ， G. Zonios ， E. Kline ， T.McGilli-can等人，《浸润前癌细胞的检测》。Nature，406（6791）：35，2000. 1[4] S.- H.白岛Kim，D. Gutierrez和M. H. Kim.使用棱镜的紧凑单次高光谱成像。ACM Trans. on Graph. (TOG)，36（6）：217，2017. 一、二[5] J. Bao和M. G.巴文迪胶体量子点光谱仪。Nature，523（7558）：67，2015. 一、二[6] X. Cao，H. Du，X.通角，澳-地Dai和S.是林书一种用于多光谱视频采集的棱镜掩模系统。 IEEE Trans. Pat-ternAnal.马赫内特尔，33（12）：2423-2435，2011. 一、二[7] A. Chakrabarti和T.齐克勒真实世界的高光谱图像统计。在Proc. CVPR，第193-200页，2011中。五、六[8] I. Choi，D. S.全湾，澳-地南，D. Gutierrez和M. H. Kim.使用光谱先验的高质量高光谱重建。ACM Trans. onGraph. (TOG)，36（6）：218，2017. 二、五、六[9] W.德布斯基亚，P.Walczykowskia，A.克列夫斯基亚， 和M.兹兹诺夫斯基布多光谱视频技术用于实时目标识别的分析。在20世纪，减贫战略，2004年。1[10] M. Descour和E. Dereniak.计算机断层成像光谱仪：实验标定和再现结果。应用程序选项，34（22）：4817-4826，1995. 一、二[11] D. H. Foster，K. Amano，S. M. Nascimento和M. J·福斯特 。 自 然 景 物 中 同 色 异 谱 的 频 率 。 JOSA A ， 23（10）：2359-2372，2006. 五、六[12] R. French，S. Gigan和O. L.麝香基于散斑的超光谱成像结合了纳米线垫中的多重散射和可选信函，42（9）：1820- 1823，2017. 2[13] Y.傅氏T. Zhang， Y. Zheng，L.等，中国粘蝇D. Zhang和H.煌联合相机光谱灵敏度选择和高光谱图像恢复。在proc ECCV，第812-828页。Springer，2018.二、五[14] Y.傅，Y。郑岛Sato和Y.佐藤利用光谱-空间相关性进行编码高光谱图像复原。在Proc. CVPR，第3727-3736页，2016年。二、五[15] N. Gat.使用可调谐滤波器的成像光谱学：综述。在Wave。Appl. 第七卷，第4056卷，第50-65页。国际光学与光子学学会，2000年。1[16] M.格姆河John，D.布雷迪河Willett，和T.舒尔茨具有双分散器架构的单次激发压缩光谱成像。Opt. Express，15（21）：14013-14027，2007. 一、二[17] G. H. Golub，P. C. Hansen和D. P·奥利里Tikhonov正则化和总体最小二乘。SIAM J.在Matr。Anal.和附录，21（1）：185-194，1999. 4[18]R. O. 格林，M。L. 伊斯特伍德角M. Sarture，T.G. 克里恩，M. 阿龙松湾J. Chippendale，J.A. 浮士德湾E. 帕夫里，C. J. Chovit，M. Solis等人成像光谱学和机载可见光/红外成像光谱仪。环境的远程传感器。，65（3）：227-248，1998. 1[19] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。 在proc CVPR，第770-778页，2016年。5[20] J. Jia，K. J. Barnard和K.平川用于最佳多光谱成像的傅立叶光谱滤波器阵列 IEEE Trans. 模式分析马赫内特尔，25（4）：1530-1543，2016. 一、二[21] E. R.坎德尔Schwartz，T. M. Escherell，D.生物化学，M.B. T. Jessell，S.Siegelbaum和A.哈德斯佩思神经科学原理第四卷。纽约麦格劳希尔公司，2000年。5[22] D. P. Kingma和J. BA. Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。5[23] P. - J. Lapray，X.王建- B. Thomas和P.古通多光谱滤光片阵列：最新进展和实际应用。传感器，14（11）：21626-21659，2014。一、二[24] H. Li，Z.Xiong，Z.什湖，加-地Wang，中国山杨D.Liu和F.吴Hsvcnn：基于cnn的rgb视频高光谱重建。在Proc.ICIP，第3323-3327页中。IEEE，2018年。一、二、五[25] X. Lin，Y. Liu，J. Wu，and Q.戴.空间谱编码压缩超光谱 成 像 。 ACM Trans. on Graph. (TOG) ， 33 （ 6 ） ：233，2014. 一、二、五、六[26] S. M. 纳西门托F.P. Ferreira和D.H. 福斯特自然景物中空间视锥激发比的统计。JOSA A，19（8）：1484-1490，2002. 五、六[27] R. M.阮氏D. K. Prasad和M. S.布朗基于训练的单RGB图像光谱重建。在Proc. ECCV，第186-201页。Springer，2014. 一、二[28] S.涅湖，加-地Gu，Y. Zheng，中国春萤叶甲Lam，N.小野和我。佐藤深入学习的高光谱重建滤波器响应函数在Proc. CVPR，第4767-4776页，2018年。一、二[29] Z. 潘湾，澳-地希利，M。Prasad和B.特龙伯格高光谱图像中的人脸IEEE传输模式分析马赫内特尔，25（12）：1552-1560，2003. 1[30] S. K. Sahoo、D.Tang和C.见鬼用单色照相机进行单次多光谱成像Optica，4（10）：12092[31] A.瓦加达里卡尔河约翰河Willett和D.布雷迪编码孔径快拍光 谱成 像的 单色 散器 设计。应用 程序 选项 ， 47（10）：B44-B51，2008. 一、二[32] L. Wang， Z. Xiong，中国山杨D. Gao，G.施，W。Zeng和F.吴采用双摄像头架构的高速高光谱视频采集。在CVPR，第4942-4950页，2015年。 一、二[33] S.吴哦，M。S.布朗，M. Pollefeys和S.金珠用日常数码相机自己做高光谱成像。在Proc. CVPR，第2461-2469页，2016年。一、二[34] F. Yasuma，T. Mitsunaga，D. Iso和S. K.纳亚尔一般化的组合像素相机：分辨率，动态范围和光谱的捕获后控制IEEE Trans. on Imag. Proc. ，19（9）：2241-2253，2010. 五、六