一次性高光谱成像技术：基于反射面的彩色滤光片实现的高光谱图像捕捉方法

4039面向反射面的单次超光谱成像高谷刚<$青藤孝仁<$向川康弘<$奈良科学技术大学国立情报学{takatani.tsuyoshi.to2，mukaigawa}@ is.naist.jpaoto@nii.ac.jp摘要高光谱成像是一种用于各种计算机视觉任务（如材料识别）的有用技术。然而，这种技术通常需要昂贵的专业设置，并且由于传统的高光谱图像由大量的观测组成，因此是耗时的。在本文中，我们提出了一种新的技术，一次性高光谱成像，使用面临的反射器上的彩色滤光片。其关键思想是基于这样的原理，即滤光片上的多次反射中的每一次都具有不同的光谱，这使得我们能够通过不同的光谱观察到多个强度。我们的技术可以通过耦合镜或万花筒几何来实现。实验结果表明，我们的技术是能够准确地捕捉高光谱图像，通过使用耦合镜设置，这是现成的。1. 介绍高光谱图像包括对各种计算机视觉任务有用的有价值的信息，如材料识别[29]、颜色一致性[3]和异常检测[27]。然而，传统的高光谱成像需要昂贵且专业的系统，这是不容易获得的。大多数商用高光谱相机利用大量窄带滤波器或可调谐窄带滤波器多次捕获场景。由于窄带滤波器允许特定波长的光谱光通过，因此可以通过将滤波器附接在相机前面来捕获该波长的图像。使用不同的窄带滤波器进行多次捕获使我们能够获得高光谱图像。另一种商业系统采用通过使用棱镜或衍射光栅将光分散成各个波长由于相机一次仅捕获场景中2D切片上的分散光，因此需要在整个场景中扫描以获得高光谱图像。在本文中，我们提出了一种新的技术，一次性高光谱成像使用的面反射器上的彩色滤光片，如图所示1.一、光会发出-观测模型光源目标滤波器相机- 是的Λ观察到的强度关键思想 滤光片上的每一次反射都会改变光谱优化重建高光谱图像无反射一次反射两次反射三次反思波长图1：使用面反射器的单次超光谱成像这种简单的设置采用了耦合镜，其上连接有滤色器。由于光的光谱在每次反射时变化，我们可以从单个图像中获得多个观察结果。这些观测使我们能够重建高光谱图像。来自光源的TED在目标场景上被漫反射，然后被照相机观察为图像。此外，在场景上反射之后的光在被摄像机观察之前也在反射器因此，该观察的光谱不同于没有在反射器上反射的光谱也就是说，我们可以观察到由不同光谱过滤的另一幅图像在光被多次反射的面反射器上，每次反射的光被视为被不同的光谱过滤因此，我们可以一次获得由不同光谱滤波的多个观测。该技术可以通过各种面反射器设置来实现，例如耦合镜和万花筒几何形状，如将在第4节中解释的。我们的实验结果表明，即使是一个耦合镜设置只有一种颜色过滤器是能够捕获的超光谱图像的重建误差平均为14%的实际数据，如第5节所示。光源反射器滤色目标RGB相机40401.1. 贡献我们的贡献总结如下：• 单次高光谱成像：我们的技术可以通过使用一种颜色的耦合镜一次捕获高光谱图像滤波器，其定量误差平均为14%。• 极低成本的测量系统：实现我们的技术只需要一对平面镜和一个彩色滤光片，这对大多数人来说都是现成的。用户，所有这些都花费不到100美元。2. 相关工作我们首先简要回顾了现有的工作，超光谱成像。传统的高光谱成像采用多个窄带滤波器[28]、可调谐窄带滤波器[11，21]和衍射介质[15，8]。通常，基于窄带滤波器的方法是耗时的，因为需要使用多个不同的滤波器多次捕获场景。基于衍射介质（如光栅和棱镜）的方法也需要长时间来捕获场景，因为其高光谱图像由通过推扫成像获得的多个柱组成大多数商用高光谱相机都是基于耗时且昂贵的传统方法。为了解决这些问题，有许多可供选择的方法。计算摄影已有多用于计算摄影中的多光谱/超光谱成像的方法大多数方法依赖于主动照明。D’Zmura[ Park等人[25]通过在不同LED的组合的多路复用照明下捕获场景来Chi等人[7]选择了一组优化的宽带滤波器来估计光谱反射率。他们把这套滤镜放在光源而不是相机前面。Han等人[14]提出了一种使用DLP投影仪和高速相机快速恢复光谱反射率的方法。而不是主动照明，哦等。[24]提出了一个使用多个消费级数码相机重建高光谱图像的框架 他们利用多个相机光谱灵敏度的微小差异来重建高光谱图像。然而，需要多个虽然这些方法可以有效地提高高光谱成像的精度和使用方便，但它们仍然需要昂贵的专用设备。单次高光谱成像已经提出了几种用于单次高光谱成像的方法。Mo- rovic和Finlayson [22]提出了一种从单个RGB图像估计光谱反射率的方法。因为反射率的维数高于RGB矢量的维数，所以不可能在RGB矢量和光谱反射率因此，他们做出了强烈的假设，即反射率遵循正态概率分布并且是平滑的，然后在反射率必须遵守的某些条件下训练模型Abed等[2]提出了一种利用查找表的线性插值方法。在相同照明下的场景的情况下，将包围场景中的RGB点的多面体的反射率和Nguyen等人。[23]介绍了一种非线性映射策略，用于对RGB值和光谱之间的映射进行建模。这些单次高光谱成像技术在一定程度上是有效的，但其精度高度依赖于训练数据集。其他用于单次超光谱成像的是计算机断层摄影图像光谱仪[12]，其通过衍射光栅将超光谱图像切片为3D数据来获得衍射信号，以及编码孔径快照光谱成像仪[4]，其采用色散元件和编码孔径的压缩感测这两种方法都可以从衍射信号中估计出三维数据，但仍然需要昂贵的专用设备。万花筒几何学万花筒几何学已经在计算摄影学中得到了广泛的应用. Han和Per-lin [13]通过使用万花筒测量场景中的双向纹理反射率。Reshetouski等人[26]介绍了一种使用万花筒进行三维成像的框架，然后实施该框架以获得密集的半球形多视图数据。Forbes等人[10]通过使用带有未校准相机的耦合镜，从轮廓重建物体的形状。Manakov等人[20]提出了一种使用万花筒的相机附加组件，用于高动态范围，多光谱，偏振和光-现场成像他们的工作看起来与我们的想法相似，但他们将输入图像复制到3×3图像上，然后使用9个选定的颜色过滤器。另一方面，我们的基本思想是只使用一个滤色器，并把过滤器的反射器，这是完全不同的工作由Manakov等人。3. 单次高光谱成像技术3.1. 面状反射器外观模型我们首先介绍的模型采取的RGB相机的图像我们假设在整个场景的均匀照明下，表面上的各向同性光谱反射率在图像的第k个通道中观察到的强度yk可以4041λ表示为yk=∫l（λ）s（λ）ck（λ）dλ，（1）Λ测量3个通道和N个反弹，可以组成联立方程：y=As，（6）其中λ是波长，l（λ）是照明的光谱，s（λ）是光谱反射率，ck（λ）是照相机上第k个通道的光谱灵敏度，并且Λ是波长范围，例如，如果假设是可见光，则从400到700nm。当一对反射器被放置在场景和相机之间时，如图所示1，在场景中反射的光在被相机观察之前在反射器上被镜面反射假设在两个反射器上都贴上一个光谱为f（λ）的滤色器，并且反射器的光谱反射率是平的，则观察到的光在反射器上反射后的强度，见图中的黄线1，可以表示为∫其中y=（ yr，0， yg ，0， yb，0， yr，1， ···， yb，N）T∈R3N 且A=[ar ， 0 ， ag ， 0 ， ab ， 0 ， ar ， 1 ， ··· ， ab ，N]T∈R3N×Nλ. 这里，当强度矢量y是可观察的并且系数矩阵A是已知的时，则光谱反射率s可以是重建如下：s=argminAs−y2。（七）S当系数矩阵的秩是足够的，方程。7可以很容易地解决了一个传统的最小二乘技术。3.3.系数矩阵Ayk，1=l（λ）s（λ）f（λ）c k（λ）dλ。（二）Λ光谱反射率的重建可以是当光被两次反射时，如图中的绿线所示1，它再乘以一个f（λ）。关于没有在反射器上反射的光，图中的红线1的情况下，对于f0（λ），可以用公式表示在反射器上反射的第i个反弹光的观测强度yk，i用传统的最小二乘方法求解，在第3.2节中。但其计算的稳定性取决于系数矩阵A。为了获得稳定的解，系数矩阵A的秩必须足够大。作为yk，i∫=l（λ）s（λ）fi（λ）ck（λ）dλ，（3）Λ此外，众所周知，条件数在数值分析领域中，问题的稳定性是稳定求解问题的一个重要因素可以稳定地解决具有低条件数在我们的公式中-其中，0≤i≤N，N是弹跳 N是稳定重建的重要因素，光谱反射率，因此我们将在3.3节中讨论它。3.2. 问题公式化这里的问题是当光源l（λ）和滤色器f（λ）的所有光谱以及相机的光谱灵敏度ck（λ）已知时估计光谱反射率s（λ）。为了解决这个问题，我们转换Eq。三是要有一个明确的规划。Eq.的离散公式3是问题的条件数由系数矩阵决定如下：κ（A）=σmax，（8）σmin其中σmax，σmin分别是A的奇异值的最大值和最小值定义了σmax，σ1和σmin，σrank（A）。因为我们已经假设了IL的光谱照度Lλ，照相机的光谱灵敏度Ck，λ，yk，iΣ=λb≤λ≤λeΣlλsλfick，λ和谱fλ都是已知的，则可以预先估计系数ma_A。因此，当我们有多个彩色滤光片时，可以选择最佳的=λb≤λ≤λeak，i，λsλ，（4）滤色器，使秩充分，条件数最低。我们在第5.2节中通过以下方式验证了这一性质：其中k，i，λ，lλfick，λ，λb而λe是最小值，一个关于合成数据的4042λdλk我范围内的最大波长。当量4可以写成矩阵格式如下：yk，i=aTs，（5）其中ak，i=（ak，i，λb，ak，i，λb+dλ，· · ·，ak，i，λe）T，s=（s λb，s λb+dλ，···，s λe）T，dλ是离散公式中波长的粒度。波长的分辨率定义为N λ= λe−λb。当所有强度的3.4. 约束优化如第3.2节所述，7可以用最小二乘法求解，但由于系数矩阵A的性质，它经常变得不稳定。为了解决这个问题，我们已经解释了如何通过选择第3.3节中使用的滤色器来构建最佳设置。此外，为了使计算更加稳定，我们采用了凸优化技术.40433N图2：耦合镜的设置。光谱反射率在物理上既不能是负值也不能超过1。0的情况。这个事实可以用作强框约束。我们可以对光谱反射率采用平滑约束，因为它经常在现实世界中测量因此，我们可以重写Eq。7作为图3：万花筒的设置。左：使用两种不同的滤色器时的四角极点设置，其光谱为f（λ）和g（λ）右：等式（i，j）中的组合15、一张照片s=argminS.∫As−y.2Σ2λ（λ）∂λ2Σdλ，间隔距离为d。 摄像机的视角定义为θ。在该设置中，反弹的数量N在几何上被限制为S. t.0≤s（λ）≤1 （λ ∈ Λ），（9）其中α是平滑项的系数。然后，、zN≤tanD、θ.（十三）2当量9可以用矩阵格式表示为请注意，在实际设置中，反弹次数也是s=argminS.As−yΣ+ α-Dsapon2，限制的能量的辐照，即使右手侧方程。13是一个很大的数字。S. t.0≤s λ≤1（λ b≤λ ≤ λ e），（10）其中D是二阶差分矩阵。Eq.中的目标函数可以用二次规划格式表示为As−y=sT（ATA + αDTD）s − 2yTAs +yTy。（十一）由于第三项yTy是常数，则等式10等于例如，当RGB相机的视角为 120μ m ， 耦 合 镜 长 度 为 300mm ， 间 距 为 10mm ，N≤51。波长Nλ的分辨率必须小于或等于3N，因为通道数为3，并且系数矩阵A必须是垂直长矩阵或正方形矩阵以获得适定性。因此，波长的粒度被限制为dλ≥λe−λb;也就是说，例如，理论上可以在每个波长1 .一、96nm波长，如果范围是可见光。其次，我们假设两个不同的彩色滤光片s=argminS.ΣsT（ATA+αDTD） s−2yTA s，其光谱为f（λ）和g（λ），分别贴在反射镜上。在这种情况下，Eq。3可以重写S. t.0≤s λ≤1（λ b≤λ ≤ λ e）。（12）作为我们求解Eq。12的二次锥规划yk，i，j=∫l（λ）s（λ）fi（λ）gj（λ）ck（λ）dλ，（14）Λ技术[6]。为了实现该优化程序，我们使用python优化库cvxopt[1]。4. 作为实施的各种设置在第三节中，我们解释了我们的单次高光谱成像技术，通过使用面反射镜.为了实现该技术，各种设置是可用的。在本节中，我们介绍了两种类型的可行的设置，通过使用耦合镜和万花筒。4.1. 耦合镜几何最简单的设置使用一对平面反射器，彼此面对，其上附着滤色这种设置通常称为耦合镜。首先，我们假设相同的过滤器连接在两个反射器上。图2示出了长度为z的耦合镜的设置，rrr rf（λ）rrrrg（λ）Λ3,2 2,2 1,2 0,2 1,2 2,2 3,23,1 2,1 1,1 0,1 1,1 2,1 3,13,0 2,0 1,0 0,0 1,0 2,0 3,03,1 2,1 1,1 0,1 1,1 2,1 3,13,2 2,2 1,2 0,2 1,2 2,2 3,24044222其中0 ≤（i + j）≤ N。因为，从几何学上讲，反射交替地发生在每个反射器上，|i−j|≤ 1。因此，如果1≤i≤N−1，则对于每个i，j的模式是三个;j∈{i−1，i，i+1}，如果i∈{0，N}，则模式是两个。总的来说，（i，j）的组合数是（3N −2）。 在使用相同过滤器的情况下，反弹数表示系数矩阵。另一方面，如果反弹的数量大于四，则使用两个不同的过滤器使得行向量的数量更大，因此，计算变得更稳定。4.2. 万花筒几何学在计算机视觉中，万花筒几何通常用于通过一次性成像来获得许多信息，以测量双向纹理函数[13]。40451.00.80.60.40.20.0400 450 500 550 600 650 700波长[nm]图4：光谱数据集。[19]一个物体的形状。这种方法也可以是有用的，我们的技术的一次拍摄高光谱成像。万花筒有很多种，有三角形的、四角形的、六角形的。由于我们的基本技术是基于一对反射器，因此由多对反射器组成的设置是很好的匹配。在这里，我们介绍了四边形极点几何作为一种实现。四角极，如图所示。3、由两对反射镜组成。原则上，可以使用四种不同的滤色器，但我们只使用光谱为f（λ）和g（λ）的两种不同的滤色器。一种过滤器附接在一对上，另一种附接在另一对上。然后，可以表示5.2.合成数据我们首先在合成数据上进行实验来验证我们的技术。假设一个耦合镜的情况下，只有一种类型的颜色过滤器，我们模拟了所有的观察时，每个反弹的每个通道的相机使用的253个Roxux过滤器和薄清晰的橙色过滤器。我们重复了这个模拟，观察每一个1995年的材料方程。3 .第三章。然后，我们添加了标准差为0的零均值随机高斯噪声。1%的模拟强度。我们重建每个光谱反射率的材料时，使用每一个过滤器使用方程。12个。然后，我们计算它们的均方根误差（RMSE）的地面真理定量评价。Macbeth颜色检查器的光谱反射率的重建结果示于图1A和1B中。5和6作为示例，其中我们使用薄的透明橙色滤光器和#67浅天蓝色滤光器。可以看出，重建结果大多类似于地面实况，但是在较短波长处的误差相对较大。当使用薄的透明橙色滤光片和#67浅天蓝色时，过滤器1。29× 105和0。26×105。#67 Light Sky Blue滤镜的条件数最小，Rochelux彩色滤光片 的RMSE平均值，作为yk，i，j∫=l（λ）s（λ）fi（λ）gj（λ）ck（λ）dλ，（15）Λ麦克白色彩检查器，使用薄的透明橙色滤光片和#67浅天蓝色滤光片为0。03和0。01，回复。由于反射率的最大值可以是1。00时，平均重建误差为2其中0≤i≤N且0≤j≤N。组合的数量如果相机具有相同的水平和垂直视角，则（i，j）的nations自然是N2一般来说，垂直-cal角小于水平角，因此组合的数量可以更少，但仍然大于耦合镜几何结构的组合的数量。5. 实验5.1. 光谱数据集我们首先解释在我们的实验中使用的光谱数据集。在我们的实验中，我们将波长范围定义为可见光，从400到700nm。为了生成光谱反射率的合成数据，我们使用了一组1995年的光谱反射率，包括350个表面Kri-nov数据集[18]、120个Dupont油漆芯片、170个天然样品[30]、24个Macbeth颜色检查块、1269个Munsell芯片和 62 个 表 面 数 据 集 [5] 。 然 后 ， 我 们 使 用 光 谱 仪OceanOptics Maya 2000 Pro测量了253个Roxux彩色滤光片和一个薄的透明或- ange滤光片的光谱，以获得真实数据。相机Nikon D5100的光谱灵敏度通过基于PCA的方法使用[16，17]中的数据进行估计，如[24]中所述。图4显示了相机的光谱灵敏度和几个滤色器的光谱。透明的橙色滤光片我们将在后面讨论条件数和重构误差之间的然后，我们从彩色滤光片和材料两个角度分析了重建误差。图7显示了使用每个滤波器重建所有材料的平均RMSE在按升序排序后，我们选取了6个滤波器，然后绘制它们的光谱。该分析解释了哪种滤波器在较小的重建误差方面更好。结果，与光谱非常低或平坦且只有一个峰的滤波器相比，允许宽范围波长且沿波长具有更高梯度的滤波器更好。图8显示了当重建每个材料时所有过滤器的平均RMSE。我们选择了8种材料，然后绘制它们的光谱反射率。这种分析表明了什么样的材料是难以重建的。结果表明，当光谱较平滑时，均方根误差较小，但当光谱沿波长方向有间隙时，如图中红线所示。8、很难重建。这是因为等式中的平滑度约束。9 .第九条。其次，我们分析了条件数和重构误差之间的关系，以验证我们在3.3节中提到的断言。当使用每个滤波器时，我们计算系数矩阵A的条件数，然后将其与文件的平均RMSE进行R灵敏度G灵敏度B灵敏度#43深粉色#88浅绿色#67浅天蓝色实验用橙色滤光片40461.00.80.60.40.20.0深色皮肤1.00.80.60.40.20.0浅色皮肤1.00.80.60.40.20.0蓝天1.00.80.60.40.20.0树叶1.00.80.60.40.20.0蓝花1.00.80.60.40.20.0青绿.400450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 4 50 500 550 600 650 7001.00.80.60.40.20.0橙色1.00.80.60.40.20.0紫蓝色1.00.80.60.40.20.0中红1.00.80.60.40.20.0紫色1.00.80.60.40.20.0黄绿色1.00.80.60.40.20.0橙黄400450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 4 50 500 550 600 650 7001.00.80.60.40.20.0蓝色1.00.80.60.40.20.0绿色1.00.80.60.40.20.0红色1.00.80.60.40.20.0黄色1.00.80.60.40.20.0品红色1.00.80.60.40.20.0青色400450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 4 50 500 550 600 650 7001.00.80.60.40.20.0白色1.00.80.60.40.20.0中立81.00.80.60.40.20.0中性6.51.00.80.60.40.20.0中性51.00.80.60.40.20.0中性3.51.00.80.60.40.20.0黑色400450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 4 50 500 550 600 650 700图5：当使用薄的透明橙色滤光片用于真实数据的实验时，用于重建光谱数据集中Macbeth颜色图表的光谱反射率的合成数据的实验结果横轴和纵轴分别表示波长[nm]和反射率。1.00.80.60.40.20.0深色皮肤1.00.80.60.40.20.0浅色皮肤1.00.80.60.40.20.0蓝天1.00.80.60.40.20.0树叶1.00.80.60.40.20.0蓝花1.00.80.60.40.20.0青绿.400450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 4 50 500 550 600 650 7001.00.80.60.40.20.0橙色1.00.80.60.40.20.0紫蓝色1.00.80.60.40.20.0中红1.00.80.60.40.20.0紫色1.00.80.60.40.20.0黄绿色1.00.80.60.40.20.0橙黄400450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 4 50 500 550 600 650 7001.00.80.60.40.20.0蓝色1.00.80.60.40.20.0绿色1.00.80.60.40.20.0红色1.00.80.60.40.20.0黄色1.00.80.60.40.20.0品红色1.00.80.60.40.20.0青色400450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 4 50 500 550 600 650 7001.00.80.60.40.20.0白色1.00.80.60.40.20.0中立81.00.80.60.40.20.0中性6.51.00.80.60.40.20.0中性51.00.80.60.40.20.0中性3.51.00.80.60.40.20.0黑色400450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 450 500 550 600 650 700 400 4 50 500 550 600 650 700图6：当在Rochaux彩色滤光片中使用#67浅天蓝色滤光片时，重建光谱数据集中Macbeth彩色图表光谱反射率的合成数据的实验结果横轴和纵轴分别表示波长[nm]和反射率。之三.图9显示了所有过滤器的条件数和平均RMSE之间的关系。可以看出，条件数与支持我们主张的平均RMSE相关这种相关关系有助于选择最佳滤色器。5.3.真实数据在合成数据上测试了所提出的技术后，我们在真实数据上进行了实验。我们首先实现了一个简单的设置，其中包括两个平面前表面反射器和薄的清晰橙色过滤器，如图所示。10（a）.所有真实数据均由尼康D5100相机在白光源D65下拍摄。由于长度反射器为100mm，间隔距离为20mm，视角为120°，根据等式2，可以观察到高达8次反弹反射。十三岁实验上，它只能观察到第四次反弹，如图所示。10（b），因为相机和设置之间的物理干扰。为了评估重建光谱反射率的准确性，我们再次使用麦克白色卡上的几个芯片，其反射率是已知的。如上所述，由于只能观察到第4次反弹，因此总观察次数为15，从3个通道和0到第4次反弹。这意味着波长的粒度被限制为20nm。我们重建光谱反射率，地面实况估计地面实况估计40471e 50.0450.0400.0350.0300.0250.0200.0150.0101.00.80.60.40.2过滤器IDRGB相机耦合镜装置 第0个1-St第二第三次第四次(a)（b）第（1）款图10：真实设置。(a)耦合镜装置由两个表面反射器和两个反射器上的薄透明橙色滤光片(b)由相机捕获的图像，其中可以看到多达第四次反弹。0.0400 450 500 550 600 650 700波长[nm]图7：每个滤波器的重建误差分析顶部：使用253个过滤器中的每一个时重建所有材料的平均RMSE，按升序排序。底部：6个过滤器的光谱被选为顶部的色点。0.160.140.120.100.080.060.040.020.00材质ID1.00.80.60.40.20.0400 450 500 550 600 650 700波长[nm]图8：每种材料的重建误差分析。顶部：重建1995年的每种材料时所有过滤器的平均RMSE，按升序排序底部：8种材料的光谱反射率被选为顶部的色点。2.52.01.51.00.50.0电话：+86-0512 - 88888888传真：+86-0512 - 88888888条件编号1e5图9：系数矩阵A的条件数与重构误差之间的关系。这表明条件数与重建误差相关。30nm用于稳定计算。在黄色、红色和绿色芯片中的每一个上，像素值被平均以被使用。然后，我们重建这些颜色芯片的光谱反射率。图12显示了通过我们的技术重建的光谱反射率和地面实况。因此，它可以是目标区域图11：实验目标：一片绿叶左：相机在真实设置下拍摄的图像，可以看到最多2次反弹。右：蓝色虚线内的区域是用于重建高光谱图像的目标。可以看出，重建结果大致符合所有彩色芯片的地面实况。绿色、红色和黄色芯片的RMSE分别为0.09、0.13和0.20。最后进行了高光谱图像重建的实际实验。目标对象是绿叶，如图所示11个国家。当使用简单的实数设置时，由于叶子的大小，只能观察到第二然而，我们只能观察到图中蓝色巴什线内的一个区域。11、由于物理干扰。由于有必要沿所有观察到的图像执行几何配准，因此我们在场景中放置四个标记，然后计算图像的单应性变换图13示出了通过我们的技术重建的高光谱图像和由高光谱相机Sur- faceOptics S 0 C710捕获的地面实况。请注意，图中所示的波长。13是不完全相同的，因为我们的方法和高光谱相机之间的波长分辨率是不同的。虽然只有9个观测结果可用，但我们的结果与地面实况的分布相似，特别是在550和587nm处。另一方面，在较短和较长波长下，重建图像几乎没有信号。这是因为缺乏观测和低信噪比。6. 讨论我们对合成数据的实验结果表明，如果观测次数足够多，比较图图5和图6表明，当相机和光源已经被去除时，选择最佳的滤色器是重要的。所有过滤器的平均所有材料平均RMSE透射率反射率40483N1.00.80.60.40.20.0绿色1.00.80.60.40.20.0红色1.00.80.60.40.20.0黄色400450500550600650700波长[nm]400450500550600650700波长[nm]400450500550600650 700波长[nm]图12：在Macbeth色卡上重建绿色、红色和黄色芯片光谱反射率的真实数据实验结果(a)（b）第（1）款图13：在捕获绿叶时用于重建高光谱图像的真实数据的实验结果。(a)我们的技术重建的高光谱图像（b）由SurfaceOptics SOC710捕获的地面实况高光谱图像反射率显示为伪彩色。注意，由于波长的分辨率不同，所指示的波长彼此不同cided。事实上，在真实设置中很难观察到许多反弹，如第5.3节中对真实数据的实验所示。这主要是因为两个原因：a）光强度的衰减和b）照相机和装置之间的物理干扰。另一个问题来自附在反射器上的滤色器。虽然我们使用了一个非常薄的过滤器，2.5微米，光是漫反射一点，所以在几次反弹后的图像变得不清楚。这个问题可以通过使用带有金属片的薄彩色玻璃来解决虽然仍然难以获得与商用高光谱相机一样多的准确的高光谱图像，但是所提出的技术可以用于捕获围绕特定波长而不是整个波长的非常详细的光谱图像。6.1. 权衡和限制在光谱和空间分辨率之间存在折衷。该折衷是从波长的粒度dλ≥λe−λb导出的。为了获得高的光谱分辨率，反弹的数量N需要足够大。然而，这导致了一个事实，即在一个IM中的每个反弹区域的大小与空间分辨率相等的年龄减小。使N更大的一种方式是缩短介入距离，但这导致窄的视场，因为该距离等于所提出的设置的视场。目前，拟议的设置有两个局限性：在反射器上多次反弹后的低SNR，并且仅将平坦表面物体作为目标。由于低SNR，由少量可观测反弹引起的观测变化是有限的，但可以通过以下方法解决：使用具有不同颜色滤波器的万花筒几何形状。另一种方式是通过高动态范围技术捕获图像对具有复杂几何形状的物体进行目标定位这将是我们未来的工作。7. 结论在本文中，我们提出了一种新的单次高光谱成像技术，使用面对反射镜，如耦合镜和万花筒，其上附加的彩色滤光片。其核心思想是基于滤光片上的多次反射中的每一次都具有不同的光谱，这使得我们能够通过不同的光谱观察到多个强度。我们制定了一个外观模型面对反射器。然后，我们分析了系数矩阵的性质，这是我们在本文中的贡献之一，并表明条件数与重建误差相关。此外，我们还分析了重建误差，以揭示什么样的滤波器应该用于真正的实现。在对实际数据的实验中，我们证明了光谱反射率重建的平均误差为14%，并进行了高光谱成像。准确度仍然很低，但它支持我们的主张，即一次性高光谱成像是可行的，使用适当的彩色滤光片面对反射器致谢这项工作得到了JSPS KAKENHI Grant的编号JP 17H04686。地面实况估计反射率反射率反射率4049引用[1] Cvxopt：Python凸优化软件。网址：//cvxopt.org/网站。查阅时间：2016-11-12。4[2] F. M. Abed，S. H. Amirshahi和M. R. M.阿布蒂利用插值技术重建反射率数据Journal of the Optical Society ofAmerica A，26（3）：6132[3] A.阿布拉多湖阿尔帕龙岛Cappellini和A.普洛斯彼利多光谱图像的颜色恒常性 在proc 国际图像处理会议（ICIP），第3卷，第570-574页。IEEE，1999年。1[4] G. R. Arce，D.布雷迪湖Carin，H. Arguello和D. S.基特尔压缩编码孔径光谱成像：一个介绍。IEEE SignalProcessing Magazine，31（1）：1052[5] K.巴纳德湖马丁湾Funt和A.寇斯 数据 颜色研究的一部分。色彩研究与应用，27（3）：147-151，2002. 5[6] S. Boyd和L.范登伯格，编辑。凸优化。剑桥大学出版社，2004年。4[7] C. Chi，H.Yoo和M。本以斯拉通过优化的宽带照明实现多光谱成像International Journal of Computer Vision，86（2-3）：140-151，2010. 2[8] H. Du，X. Tong， X. Cao和S.是林书基于棱镜的多光谱视频采集系统。在国际计算机视觉会议（ICCV）的论文集，第175- 182页中IEEE，2009年。2[9] M. 迪兹穆拉颜色恒定性：改变照明的表面颜色。Journal of the Optical Society of America A，9（3）：490-493，1992. 2[10] K. Forbes，F.Nicolls，G.De Jager和A.福格特从剪影中塑造，有两个镜子和一个未校准的相机。在proc 欧洲计算机视觉会议（ECCV），第165-178页。Springer，2006年。2[11] N. Gat.使用可调谐滤波器的成像光谱学：综述。在procSPIE小波应用VII，第50-64页，2000年。2[12] R.哈贝尔M. Kudenov和M.威默实用的光谱摄影。在计算机图形论坛，第31卷，第449Wiley Online Library，2012. 2[13] J. Y. Han和K.柏林用万花筒测量双向纹理反射率。ACMTrans. on Graph. ，22（3）：741-748，2003. 二、四[14] S.汉岛，智-地佐藤，T. Okabe和Y.佐藤利用dlp投影仪快速恢复光谱反射率International Journal of ComputerVision，110（2）：172-184，2014. 2[15] M. Hinnrichs和M. A.马西利用绕射光学成像光谱学的新方法，1997。2[16] J. Jiang，中国粘蝇D. 刘，J. Gu和S. 很好 数码彩色相机的光谱灵敏度函数空间是多少IEEE计算机视觉应用研讨会（WACV），第168-179页IEEE，2013。5[17] R. Kawakami ， Y. Matsushita ，J. Wright，M. 本- 以斯拉，Y.W. Tai和K.池内基于矩阵分解的高分辨率超光谱在IEEE计算机视觉和模式识别会议（CVPR）集，第2329-2336页IEEE，2011年。5[18] E. L.克里诺夫天然地层的光谱反射特性。技术报告，加拿大国家研究委员会，1947年。5[19] D. Lanman，D. Crispell和G.陶宾环绕式结构照明，可实现全物体扫描。 在proc 3-D数字成像和建模国际会议，第107- 116页。IEEE，2007年。5[20] A. Manakov，J. Restrepo，O.克莱姆河Hegedus、E.艾斯曼，H. P. Seidel和I. Ihrke。一款可重新配置的相机插件，用于高动态范围、多光谱、偏振和光场成像。ACM Trans. 关于Graph，32（4）：472[21] P.J.Miller和C. C.霍伊特用液晶可调谐滤波器实现多光谱成像。在Photonics for Industrial Applications，第354-365页中。国际光学和光子学学会，1995年。2[22] P. Morovic和G. D. Finlayson基于同色异谱集的从相机rgb 估 计 表 面 反 射 率 的 方 法 。 Journal of the OpticalSociety of America A，23（8）：1814 2[23] R. M.阮氏D. K. Prasad和M. S.布朗基于训练的单RGB图像光谱重建。在proc 欧洲计算机视觉会议（ECCV），第186-201页。Springer，2014. 2[24] S. W.哦，M。S.布朗，M. Pollefeys和S. J. Kim 用日常数码相机自己做高光谱成像在IEEE计算机视觉和模式识别会议（CVPR）的论文集，第2461-2469页，2016年。二、五[25] J. - I.帕克，M.- H.李，M。D. Grossberg和S. K. 纳-雅。使用多路复用照明的多光谱成像。国际计算机视觉会议（ICCV）论文集，第1-8页。IEEE，2007年。2[26] I. Reshetouski，A. Manakov，H. P. Seidel和I. Ihrke。三维万花筒成像。在IEEE计