硅相机转InGaAs相机——新的解决方案应用于短波红外成像

5987将硅相机变成InGaAs相机吕飞凡1郑银强2张博涵1卢峰1，3，4，刘1北京航空航天大学计算机工程学院虚拟现实技术与系统国家重点实验室2日本国立信息学研究所3中国深圳鹏程实验室4北京航空航天大学大数据精准医学北京先进创新中心摘要短波红外（SWIR）成像具有广泛的应用范围虚拟InGaAs相机+工业和民用的应用然而，目前常用的InGaAs短波红外传感器存在价格高、分辨率低、质量不稳定等缺点。在本文中，我们提出了一种新的解决方案，短波红外成像使用一个共同的真实世界场景长通滤波器硅相机硅传感器，与专业的传感器相比，价格便宜，分辨率更高，技术成熟度更好。高分辨率SWIR图像深度网络InGaAs传感器。我们的关键思想是近似InGaAs传感器的响应，利用很大程度上被忽视的硅传感器的灵敏度，弱，因为它是，在短波红外范围。为此，我们建立了一个多通道的光学系统来收集一个新的SWIR数据集，并提出了一个物理意义上的三阶段图像处理算法的CNN的基础上。定性和定量的实验结果表明，该方法是有效的。1. 介绍人眼只能感知一小部分光，通常在400- 700 nm的波长范围内。为了模仿人眼的三色色彩感知，前代数码相机通常配备有硅传感器，以及滤色器阵列以滤除可见光谱（VIS）之外的光然而，典型的硅传感器本身对300- 950 nm宽范围内的光高度敏感。该特性允许硅基相机在小于400nm的紫外（UV）例如，安全监控摄像机利用硅传感器在940 nm附近的灵敏度，以便清楚地看到由NIR LED灯照亮的物体。短波红外（SWIR）介于近红外和中波红外之间。* 通讯作者：卢峰（lufeng@buaa.edu.cn）本研究得到了国家自然科学基金61602020和61732016的部分资助图1.我们提出的解决方案的示意图，使用硅传感器的短波红外成像。我们的解决方案结合了硅相机，长通滤波器和基于CNN的图像处理算法来构建虚拟InGaAs相机。波长红外（MWIR）。与MWIR相比，它对热辐射的敏感性较低，因此与VIS和NIR光类似，可以实现具有足够对比度的高质量成像。另一方面，短波红外的波长相对较长，穿透能力较强，这在极端天气条件下的工业检测和能见度增强中至关重要。例如，一个好看的苹果内部的缺陷是我们的眼睛看不见的，但是当被SWIR成像设备观察时变得明显，并且隐藏在浓雾中的物体很可能在SWIR范围内被看到。捕捉SWIR图像需要特殊的传感器。与HgCdTe、InSb等替代物相比，In-GaAs传感器由于能在室温下稳定工作，且具有功耗低、体积小、灵敏度高等优点，因而被广泛应用。.尽管如此，与硅传感器相比，InGaAs传感器仍存在空间分辨率低、价格高、像素缺陷率高等缺点，严重限制了In-GaAs在短波红外成像中的广泛应用。已作出努力解决这些缺陷。例如，压缩传感技术已被用于提高低分辨率In-GaAs相机的空间分辨率[6]，甚至构建区域SWIR相机InGaAs相机5988通过使用单像素光电探测器[8]。然而，这种短波红外成像系统的重建是不平凡的，由于涉及的数字解调设备（DMD）的编码采样。它需要多次扫描，这妨碍了它在动态场景中的应用，并且由于必须使用至少一个低端InGaAs检测器，所以不能完全避免InGaAs传感器的上述缺点。与所有现有的解决方案不同，在本文中，我们提出用普通的硅传感器代替InGaAs传感器用于快照SWIR成像，如图2所示。所需的硬件是一个普通的硅相机，10080604020040080010001200波长（nm）1600 1800安装有950nm长通滤波器。一个高分辨率的图像，它近似于由InGaAs相机捕获的SWIR图像，将由我们训练的端到端深度神经网络生成。因此，我们的系统具有较高的传感器成熟度，较低的价格和较高的成像分辨率的优势。然而，这是一项极具挑战性的任务，因为硅传感器的灵敏度在SWIR范围内非常弱。通过实验，我们发现硅传感器可以感知高达1200 nm的光，而InGaAs传感器的典型响应范围在950 nm和1650 nm之间。我们的核心思想是适当地利用硅传感器在950- 1200nm范围内的灵敏度为此，我们开发了一个六通道的最佳成像系统来收集一个新的SWIR数据集，它允许训练一个物理上可解释的三阶段硅到InGaAs网络映射。定性和定量的实验结果表明，我们提出的三阶段方法能够生成逼真的短波红外图像，这比直接的图像到图像映射对应。总体而言，我们的主要贡献有三个方面：• 我们提出了一个大胆的和新颖的解决方案，快照，低成本和高分辨率的短波红外成像使用硅传感器，而不是InGaAs传感器。• 我们设计了一个六通道成像系统来采集数据，并建立了一个新的数据集与六对硅/InGaAs图像，这使得硅到InGaAs映射在一个更有原则的方式。• 我们设计了一种新的端到端的三阶段图像处理算法，从多光谱成像的角度来看，这是物理上可解释的。据我们所知，这是短波红外成像领域的首次尝试。2. 相关工作由于短波红外成像技术具有广泛的应用前景，国内外学者对短波红外成像技术进行了大量的研究图2.硅和InGaAs传感器的典型量子效率（QE）曲线。可以看出，硅对于短波红外区域具有差的QE，然而，InGaAs在该区域中具有我们的目标是根据代表硅传感器获取的短波红外区数据的斜线区域来模拟InGaAs相机的信号。最近移植的，他们中的大多数集中在图像质量的改善或将其应用到特定的应用。对于前者，目前的研究工作可以进一步分为基于压缩感知（CS）和基于图像增强技术。在本节中，我们将所有这些类别作为相关作品进行概述。请注意，据我们所知，以前没有使用硅相机进行SWIR成像的工作，因此我们的工作没有直接相关的工作。压缩感应。压缩感知（CS）[6]处理从远少于满足采样定理的样本中恢复信号的问题尽管这是一个不适定问题，但在某些条件约束下可以进行鲁棒估计[2，26]。使用CS的主要好处是降低了对图像分辨率的硬件要求，特别是在SWIR或Ter- ahertz（X射线）的情况一个典型的例子是单像素相机（SPC）[8]，它使用数字图像处理设备（DMD）和CS算法进行图像重建，只有一个传感器。Ke等人[17]提出了一种基于块的压缩成像系统，以达到优异的重建性能。Kerviche等人[18]提出了一种使用信息最优测量设计和单程分段线性重建算法的可缩放压缩成像器。Mahalanobis等人[24]证明了通过小型焦平面阵列测量可以成功地恢复中波红外中的高空间分辨率信息。LiSens [30]用一维线性阵列或线传感器取代SPC中的光电探测器，以提高测量速率。FPA-CS [3]提出了一种基于焦平面阵列的压缩感知架构，使用并行的SPC阵列来提高测量速率。此外，目前有许多研究将各种信号模型和约束条件结合起来，以提高视频可提供InGaAs硅可见光近红外短波红外量子效率（%）5989100806040203. 提出的解决方案如上所述，传统的SWIR成像研究依赖于特定的传感器。同时，由于材料科学和工艺的限制，SWIR传感器的价格在短期内不会大幅下降。因此，这些现有的研究仍然需要高成本的硬件。在本文中，我们提出了一种新的解决方案，可以避免使用昂贵的短波红外传感器。与一些现有研究的比较如图4所示。0900950975 1000 1025110016003.1. 光学设计波长（nm）图3.950nm长通滤光片和1000nm带通滤光片的透射曲线本研究中的带通滤波器的半高宽为50nm。通过灵活地组合滤波器，我们能够捕获特定光谱区域的信号。成像，如基于光流的重建[29]等。尽管上述基于CS的技术可以降低对成像的硬件分辨率的依赖性，但仍然需要至少一个（低分辨率）昂贵的SWIR传感器（如InGaAs传感器）此外，这种技术只能处理静态场景。对于动态场景，基于CS的方法可以帮助提高视频的帧速率[21，10，13]，但它不能帮助提高分辨率。图像增强。图像处理技术，如超分辨率（SR），是一种几乎零成本的方法来提高短波红外成像质量。随着深度学习的发展，许多超分辨率算法[20，16，27]可用于增强InGaAs图像。然而，这需要具有足够细节信息的大规模SWIR图像数据集，到目前为止，还没有报道。Dong等人[5]采用空间自适应迭代奇异值阈值法（SAIST）对短波红外图像进行恢复，并有效地抑制了噪声。然而，即使采用这种技术，仍然需要至少一个InGaAs相机。应用. 短波红外光谱由于其独特的特性，在可见光谱难以甚至不可能实现的广泛应用中显示出巨大的潜力，如农业和工业产品检测、过程质量控制、监视和分析等。首先，我们需要知道为什么可以使用硅传感器用于SWIR成像。图2显示了硅和InGaAs传感器的典型量子效率曲线，其中InGaAs传感器是典型类型的SWIR传感器。由于硅传感器对短波红外不敏感，因此在短波红外区域的量子效率很低，这也是它不能直接用于短波红外成像的主要原因。另一个原因是硅传感器对可见光的高灵敏度会严重影响SWIR区域的成像。后一个问题可以简单地通过使用一些光学滤波器来解决，以仅保持期望的光谱带。根据这个想法，在本文中，我们选择使用一个长通滤波器和一组带通滤波器，如图3所示。通过灵活地组合滤光片，我们能够抑制硅传感器的可见光影响，仅捕获特定波长内的光。由于硅传感器对短波红外不敏感的问题，很难在没有附加信息的情况下直接从硅图像重建短波红外图像另一方面，在每个较窄的波长带内学习从硅传感器到SWIR传感器的单独映射可以容易得多。基于此原理，我们设计了一种新颖的流水线，用于使用硅传感器进行SWIR成像，如图5所示。我们使用带通滤波器产生多通道信号，并试图模拟所有这些通道的响应，以近似InGaAs图像。此外，我们还引入了额外的光源，名称决议视频价格 [3]第一章硬件奈奎斯特采样低是的$$$$$高分辨率传感器阵列防伪、生物成像技术、光学相干断层成像等[3，11]。SPC[8]高限DMD +光电探测器DMD +低分辨率短波红外成像已经在雾霾天气和弱光条件下的观测中发挥了重要作用[9]。也有研究表明FPA-CS[3]高是$传感器阵列SWIR光谱法对于测量对变质等级变化敏感的矿物物理化学非常有用，特别是在非常低级的岩石中[7]。图4.与现有方法在成像分辨率、动态场景支持、制造成本和硬件要求等方面的比较。50nm长通带通CS-MUVI[29]中等是DMD +光电探测器我们更高是$硅传感器阵列+长通滤波器透射率（%）5990Silicon Image硅带通InGaAs带通InGaAs图像图5.硅传感器短波红外成像原理图。下半部分为短波红外成像流水线流程示意图，上半部分为各部分结果对应的光学设计和理论分析图详细的描述可以在正文中找到。解决了由于灵敏度低而导致的低信噪比问题这很容易应用于许多应用场景。3.2. 拟议SWIR成像管道如图5所示，SWIR成像流程包括四个步骤：采集、分解、模拟和重建。1. 我们使用具有950nm长通滤波器的硅传感器捕获硅图像作为输入，该滤波器用于屏蔽可见光。2. 输入图像被分解成一组图像，每个图像代表较窄波长带的信号该过程可以被视为物理地使用带通滤波器来从长通滤波器信号中截取特定波长带信号。3. 利用硅信号模拟InGaAs信号，学习了各个波段的不同映射关系4. 基于模拟信号重建了InGaAs图像。值得一提的是，硅信号并不覆盖所有SWIR区域，如图2所示。重构过程类似于使用采样信号（模拟InGaAs带通图像）来恢复整体信号（InGaAs长通图像）。总的来说，我们的管道是一个结合软件（图像处理算法）和硬件（带长通滤波器的硅传感器）的解决方案图像处理可以在我们设计的网络是专门设计的。详细的架构可以在下面找到。4. 硬件数据集为了支持所提出的方法，我们设计了一个多通道成像系统，并收集了一个新的数据集进行训练和基准测试。据我们所知，这是第一个公开的数据集短波红外成像使用硅康相机。4.1. 硬件配置成像系统的设计示意图和原型如图6所示。所使用的 硅 相 机 （ GS 3-U3- 15 S5 M-C ） 分 辨 率 为1384×1032，像素深度为14bit。与高分辨率的硅相机不同，使用的InGaAs相机（BK-51 IGA）的分辨率为128×128，需要冷却到-5°C才能正常工作。InGaAs图像的像素深度为16位。我们使用电动旋转器（Thorlabs FW102C）进行自动过滤器切换，以确保每个相机拍摄的每组图像都对齐。它有6个孔，用于分别放置950nm长通滤光片（Thorlabs FELH 0950）和5个带通滤光片（1000nm、1050nm、1100nm、1150nm和1200nm CWL，EdmundHard Coated 0D 4 50nm带通滤光片）。所有带通滤波器的半高全宽（FWHM）为50nm。 为了 为了确保成像的物理对齐，我们使用100硅806040长通2001400 9501200波长（nm）GTH100硅806040带通200240010001200波长nm）长度（100仿真806040带通2003100012001800瓦韦伦gth（nm）100InGaAs8060402004100012001800瓦韦伦gth（nm）量子效率（%）量子效率（%）量子效率（%）量子效率（%）5991滤波器硅相机InGaAs相机电动旋转分束光源反射对象过滤器和电动旋转器InGaAs相机分束硅相机光学系统原型照片图6.我们设计的多通道成像系统的硬件实现。该系统包括一个光源，一个InGaAs相机，硅相机，分束器和一个电动旋转器与六个不同的过滤器（一个长通滤波器和五个带通滤波器）。分束比为50： 50、波长覆盖范围为900~ 1600nm的分束器（Thorlabs CCM 1-BS 015）。我们使用的光源是卤素灯。 此外，我们在整个成像过程中保持相机设置和位置固定。4.2. 硅到InGaAs数据集如上所述，成像流程包括四个步骤：获取、分解、模拟和重构。其中，在第一步中获得的图像被用作输入，并且其他步骤中的每一个都需要被给予地面真值以约束输入。这意味着，对于每个场景，除了输入Silicon图像和相应的InGaAs图像外，我们还需要收集另外10张图像来指导第二步和第三也就是说，我们应该为每个场景收集12张图像（2个相机×6虽然人们已经在物理上对图像进行了很大的调整，但是由于两者相机在很多方面，如分辨率。由于图像的低亮度，一些众所周知的对齐算法，如Lucas-Kanade [23]，SIFT [22]及其各种变形无法达到完美的结果。因此，我们使用手动选择特征点的方法来对齐图像，如图7所示。经过对齐和裁剪后，数据集中灰度图像的分辨率为128×128，每幅图像的位深为16bit。我们收集了130个场景的1560幅图像，以确保数据的多样性。在本文中，我们使用前70个场景作为训练集，其余60个场景作为测试集。5. 方法本节将介绍所提议解决方案的具体实现，并提供所有必要的详细信息。基于上述分析，我们的解决方案主要集中在三个方面：长通图像的分解、InGaAs带通图像的模拟和基于模拟结果的InGaAs图像重建。我们设计了一种新的网络结构，它由三个子网络组成，分别对应于三个过程，作为我们解决方案中的图像处理算法。5.1. 网络架构如图8所示，所提出的网络由三个子网络组成：分解网络，仿真网络裁剪硅图像原始硅图像InGaAs图像34重建网。我们使用U-Net [28，15]和Res- Net [12，20]作为我们网络的基本元素，因为它们已被广泛证明是有效的我们从原始实现中删除了批处理-规范化[14]层，因为测试结果显示它们会稍微降低我们特定任务的性能。对于U-Net模块，我们使用步长为2的卷积层进行下采样，并使用大小卷积图7.上半部分是原始Silicon图像的对齐和裁剪操作的示意图。下半部分是SI数据集中的样本，数据集中的每个样本包含12个图像。在这个数据集中捕获的对象是不同的。层进行上采样，这将在一定程度上抑制棋盘伪影[25]。随着特征图的大小减小，特征图的数量加倍，第一层的特征图数量设置为32。12作物ref5992MaeMaeMae图8.建议的网络架构。它包含三个子网：分解网络、仿真网络和重构网络，它们对应于图5中的三个网络。虚线表示跳跃连接，圆圈表示不连续连接，相同的颜色表示相同的结构。Res-Net模块由一个卷积层、三个resblock和一个卷积层序列组成。对于Res-Net模块的每一层，特征图的大小保持与输入相同，所有层的特征图数量设置为32。对于这两个模块的所有层，我们使用整流线性单元（ReLU）作为激活函数，内核大小设置为3×3。沿通道尺寸连接而不是直接添加用于跳过连接。分解网因为它需要五个不同的模拟网络的输出作为输入的一部分。此外，我们采用了类似于仿真网络的引导策略。5.2. 损失函数根据我们的解决方案，我们不仅需要约束最终结果，而且还需要约束中间结果。这就是为什么我们需要为不同的子网络赋予不同的权重。同时，具有多个输出的子网络也需要不同的权重来约束它们的输出。总损失函数公式为：物理带通滤波器来分解长通Sili，con图像分为五个不同的带通图像，我们使用五个损失=α ·L德科姆 +β ·L SIM+γ·LRecon、（1）U-Net模型作为虚拟带通滤波器来模拟真实滤波器。因此，分解网包含五个分支，每个分支由一个U网模块组成。输入是长通硅图像，输出是五种不同带通硅图像的模拟。仿真网络我们根据相应的硅带通图像设计了模拟网络来模拟InGaAs带通图像。输入是分解网络的输出，输出是五个不同InGaAs带通图像的模拟考虑到相邻频带具有相似的性质，我们也使用相邻频带的估计作为当前频带的输入。其中LDecom、LSim和LRecon代表分解网、模拟网和重构网的损失函数，α、β、γ是相应的系数。以下是三项损失的详细情况由于图像的亮度较低，仅使用常见的误差度量（如MSE或MAE）可能会导致模糊环。为了保持结构一致性，我们使用众所周知的图像质量评估算法SSIM [31]以及MAE作为损失函数。 的值范围SSIM是（-1，1]。SSIM的定义见[31]。LDecom定义为：Σ5随着波长的增加，硅传感器的量子效率逐渐降低，如图2所示。LDecom=i=1λi·（Li伊西姆）、（2）因此，我们使用较短波长区域的结果来引导相邻较长区域的模拟过程。其中L是伊西姆，λi表示MAE，SSIM值重建网。为了根据模拟得到的InGaAs带通结果重建整个短波红外光谱范围内的InGaAs图像，和第i个输出图像的系数。 我们使用相同的仿真网络的损失函数Σ5重建网。除了直接使用它们作为输入之外，我们还使用U-Net模块从LSim=i=1i·（Li伊西姆）、（3）分解网仿真网络重建网络Silicon ImageInGaAs图像Conv + Relu调整大小+转换调整大小+转换连接Conv +ReluConv + ReluConvConv + ReluConvConv + ReluConcatenate+ 1−L，L+ 1−L5993图9.从短波红外成像的解决方案提出的一些结果上半部分是彩色场景，而下半部分显示估计的相应SWIR图像。为了更清晰，我们放大了框架部分。其中，Rai表示第i个输出图像的系数，并且其它参数具有与公式2相同的含义。LRecon类似地定义为：L Recon =Lmae+ 1 − Lslim，（4）其中Lmae和Lslim具有与之前相同的含义在实验中，参数的配置为：α= 100 ，β= 10 ，γ= 1 ，λ1−5=（1，2，5，5，5）和λ1−5=（1、2、5、5、5）。5.3. 实现细节我们的实现是用Keras [4]和Tensor-flow [1]完成的。使用建议的数据集，在 Titan-X GPU上训练6000个epoch后，建议的网络可以快速收敛为了防止在少量数据上的过拟合，我们使用随机裁剪，翻转和旋转来进行数据增强。我们将batch-size设置为30，随机剪切补丁的大小设置为80 × 80 × 1。输入图像值被缩放到[0，1]。在实验中，使用Adam optimizer [19]进行训练，α=0。001，β1= 0。9，β2= 0。999，且π= 10−8。我们还使用了学习率衰减策略，在下一个时期之前将学习率降低到95%同时，当损失指标停止改善时，我们将学习率降低到50%6. 实验为了证明我们的解决方案的性能，我们首先展示了几个静态场景的结果，以突出SWIR成像的能力。然后，通过与几种典型的端到端网络的比较，6.1. 短波红外成像我们提出了一个简单的实验来证明我们的解决方案的可行性。图9在视觉上突出显示了在可见光谱和SWIR中捕获的场景的差异。在可见光下观察，第一组图像中苹果的缺陷然而，我们可以清楚地识别他们在估计SWIR图像。此外，在第二个场景中，估计的图像捕获的表面的真实阴影，而不受不同的颜色的影响。这些结果为我们提供了我们的系统的潜在应用，如农业和工业产品检测，过程质量控制等。6.2. 对比实验由于这是第一次尝试用Sil icon相机对SWIR进行成像，因此没有任何先前的结果可供比较。为了证明我们的方法的有效性，我们重新实现了一些在图像处理领域已被证明有效的端到端网络来解决我们的问题。直接学习从硅到InGaAs的借助多渠道信息的杠杆作用，我们的解决方案实现了卓越的结果。我们使用常用的SSIM [31]和PSNR作为评估指标，如表1所示。可视化可以在图10中找到，从中我们可以看出，我们的结果显示出与InGaAs图像的最高估计SWIR图像可见光彩色图像5994[28]第二十八话[第15话]InGaAs601000 nm1050纳米1100 nm1150 nm1200nm的1000 nm1050纳米1100nm1150 nm1200nm的15PSNR图10.对比实验的可视化。该方法不仅更接近InGaAs图像，而且具有更高的客观评价指标.我们[第28话]CGAN [15]PSNR31.0628.2020.34SSIM [31]0.8690.8550.644表1.对比两种著名的网络结构的实验结果.由于问题的特殊性，我们在原网络的基础上该表报告了测试集上的平均PSNR和SSIM。我们的方法在这两个指标上都领先。6.3. 带通分析在本小节中，我们对数据集中的图像进行带通分析特别是，我们计算不同带通图像之间的PSNR，如图11中的两个混淆矩阵所示。我们可以看到，硅传感器捕获的带通图像彼此差异很大，而InGaAs传感器捕获的带通图像则更相似。这表明我们的数据集正确地捕获了不同传感器的量子有效性曲线的真实属性，如图2所示。我们特别设计了一个实验来证明中间结果的可解释性和有效性如图12所示，分解网络的输出在视觉上与每个波长中由真实滤波器截取的信号非常相似，这也可以从表2中的PSNR/SSIM度量中定量反映出来。实验结果表明了该方法的有效性和可解释性.分解仿真带通#1： 1000nm35.83 /0.94750.09 /0.984带通#2： 1050纳米45.27 /0.98352.88 /0.997带通#3： 1100nm57.34 /0.99648.68 /0.982带通#4： 1150nm45.89 /0.80750.51 /0.983带通#5： 1200nm的65.11 /0.99751.89 /0.981表2.该表显示了分解网络和仿真网络在不同带通波长下输出图像的PSNR/SSIMSilicon BandpassInGaAs Bandpass图11.左图和右图分别对应于我们的数据集图像的混淆矩阵，该数据集使用硅传感器和InGaAs传感器成像，并通过滤波器截取。带通#1带通#2带通#3带通#4带通#5图12.分解网络的解释性和有效性的实验结果。第一行显示了分解网络的输出，第二行显示了在每个波长带中由实际滤波器截取的地面实况。7. 结论讨论结论在本文中，我们提出了一种新的解决方案，结合巧妙的光学设计和先进的图像处理算法的短波红外成像使用的硅相机与长通滤波器。我们设计了一个多通道成像系统，并建立了一个新的数据集称为硅到InGaAs（SI）。使用新的数据集，我们使用多分支全卷积网络设计了一个概念验证原型。实验结果表明，该方法是有效和实用的。据我们所知，这是在短波红外成像领域的首次尝试效益我们的方法避免了使用昂贵的短波红外传感器，因此，显着降低了硬件成本。它保留了硅相机的优点，如高分辨率，成熟的工艺，对动态场景的良好支持等。局限性。我们的方法分析和模拟短波红外的较短波长区域（1200nm），而近似的休息，这可能会解决更先进的设备或光学设计，以证明我们的方法。今后的工作。未来，我们将继续提高成像质量和优化运行时间，以促进工业过程。未来的工作还包括动态场景优化、具体应用（如皮肤检测、监控）等。SSIM：0.723 SSIM：0.985 SSIM：0.914 SSIM：0.466 PSNR：16.46PSNR：41.66 PSNR：24.79PSNR：17.67SSIM：0.791 SSIM：0.951 SSIM：0.917 SSIM：0.914 PSNR：21.19PSNR：30.30 PSNR：25.65PSNR：25.54SSIM：0.639 SSIM：0.759 SSIM：0.758 SSIM：0.818 PSNR：14.40PSNR：22.21 PSNR：22.52PSNR：18.361200nm的1150 nm1100 nm1050纳米1000nm1000 nm1050纳1100 nm1150 nm1200nm的1000 nm1050纳1100 nm1150 nm1200nm的分解地面实况1200nm的1150 nm1100 nm1050纳米1000nmINF21.2718.4417.7917.5721.27INF29.5127.3926.7318.4429.51INF40.6237.9217.7927.3940.62INF49.3117.5726.7337.9249.31INFINF56.4843.8850.4956.0456.48INF42.6047.8057.2043.8842.60INF49.1842.1150.4947.8049.18INF47.2156.0457.2042.1147.21INF5995引用[1] Mart 'ın Abadi，Ashish Agarwal，Paul Barham，et al.张量流：异构分布式系统上的大规模机器学习。arXiv预印本arXiv：1603.04467，2016。7[2] 伊曼纽尔J坎迪斯。受限等距性及其在压缩感知中的应用 。 Comptes rendus math- ematique， 346 （ 9-10 ） ：589-592，2008. 2[3] HuajinChen，MSalmanAsif，AswinCSankaranarayanan，and Ashok Veeraraghavan.基于焦平面阵列的短波红外压缩成像。CVPR，第2358-2366页，2015年。二、三[4] FrancoisCholletetal.K时代https://github.com/keras-team/keras，2015.7[5] 董伟胜，石光明，李欣。非局部图像恢复与双边方差估计：一种低级的方法。IEEE Trans. Image Processing，22（2）：700- 711，2013。3[6] 大 卫 ·L· 多 诺 霍 压 缩 感 知 。 IEEE Transactions onInformation Theory，52（4）：1289-1306，2006. 一、二[7] 杜布利耶议员、罗奇议员和波特尔议员。短波红外光谱在极低级变质环境中的应用：与XRD方法的比较。西澳大利亚地质调查局，2010年。3[8] Marco F Duarte 、 Mark A Davenport 、 DharmpalTakhar、Ja- son N Laska、Ting Sun、Kevin F Kelly和Richard G Bara- niuk。通过压缩采样的单像素成像。IEEE信号处理杂志，25（2）：83-91，2008。二、三[9] H Figgemeier，M Benecke，K Hofmann，R Oelmaier，A Sieck，J Wendler，and J Ziegler.夜视漩涡探测器瞄准。红外技术和应用XL，卷9070，页907008。国际光学与光子学会，2014年。3[10] Mohit Gupta ， Amit Agrawal ， Ashok Veeraraghavan ，and Srinivasa G Narasimhan.灵活的体素运动感知摄像。欧洲计算机视觉会议，第100-114页。施普林格，2010年。3[11] Marc P Hansen和Douglas S Malchow。swir探测器、摄像机及其应用综述。在Thermosense Xxx，第6939卷，第69390 I页中。国际光学与光子学学会，2008年。3[12] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。5[13] Jason Holloway ， Aswin C Sankaranarayanan ， AshokVeer-araghavan，and Salil Tambe.用于视频压缩感测的颤振快门摄像机在计算摄影（ICCP），2012 IEEE国际会议上，第1-9页。IEEE，2012。3[14] Sergey Ioffe和Christian Szegedy。批次标准化：通过减少内部协变量偏移来加速深度网络训练。arXiv预印本arXiv：1502.03167，2015。5[15] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。CVPR，2017年。五、八[16] Younghyun Jo、Seoung Wug Oh、Jaeyeon Kang和SeonJoo Kim。深度视频超分辨率网络动态上采样滤波器而没有显式运动补偿。CVPR，第3224-3232页，2018年。3[17] Jun Ke和Edmund Y Lam.基于块的压缩成像中的目标重建Optics express，20（20）：22102- 22117，2012. 2[18] Ronan Kerviche，Nan Zhu，和Amit Ashok。信息最优可扩展压缩成像系统。在计算光学传感和成像中，第CM2D美国光学学会，2014年。2[19] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。7[20] Chri s tianLedig ， LucasTheis ， FerencHus za'r ， Jo seCaballero ， Andrew Cunningham ， Alejandro Acosta ，Andrew P Aitken ， Alykhan Tejani ， Johannes Totz ，Zehan Wang，et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。CVPR，2（3）：4，2017年。三、五[21] Patrick Llull，Xuejun Liao，Xin Yuan，Jianbo Yang，David Kittle，Lawrence Carin，Guillermo Sapiro，andDavid J Brady.编码孔径压缩时间成像。Optics Express，21（9）：10526-10545，2013. 3[22] 大卫·G·洛从尺度不变关键点中提取独特的图像特征。国际计算机视觉杂志，60（2）：91-110，2004. 5[23] 布鲁斯·D卢卡斯和金田健夫。一种迭代图像配准技术及其在立体视觉中的应用IJ-CAI'81，第674-679页，1981年。5[24] A Mahalanobis，R Shilling，R Murphy和R Muise。中波红外压缩传感的最新研究结果.应用光学，53（34）：8060-8070，2014。2[25] Augustus Odena Vincent Dumoulin和Chris Olah。反卷积和棋盘式伪影。Distill，2016. 5[26] Stanley Osher，Martin Burger，Donald Goldfarb，JinjunXu，and Wotao Yin.基于全变分图像复原的迭代正则化方法。多尺度建模仿真，4（2）：460-489，2005。2[27] 瞿颖，齐海荣，关志民。高光谱图像超分辨率的无监督稀疏dirichlet网络在IEEE计算机视觉和模式识别会议论文集，第2511-2520页3[28] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234施普林格，2015年。五、八[29] Aswin C Sankaranarayanan ， Christoph Studer ， andRichard G Baraniuk. Cs-muvi：用于空间复用相机的视频压缩传感。在计算照相术（ICCP），2012 IEEE国际会议上，第1-10页。IEEE，2012。3[30] JianWang，MohitGupta，andAswinCSankaranarayanan.一种可扩展的视频压缩感知体系结构在计算摄影（ICCP），2015 IEEE国际会议上，第1-9页IEEE，2015年。2[31] Zhou Wang，Alan C Bovik，Hamid R Sheikh，and EeroP Si-moncelli.图像质量评估：从错误可见性到结构相似性。IEEE图像处理学报，13（4）：600-612，2004。六七八