训练元表面编码器实时高光谱成像的硬件实现

126920通过训练的元表面编码器在硬件中实现实时高光谱成像0Maksim Makarenko 1 †，Arturo Burguete-Lopez 1，Qizhou Wang 1，Fedor Getman 1，Silvio Giancola 1，Bernard Ghanem 1，AndreaFratalocchi 101 沙特阿拉伯科技大学（KAUST）Thuwal，23955-6900，KSA0† maksim.makarenko@kaust.edu.sa0摘要0高光谱成像引起了人们的广泛关注，用于计算机视觉中图像分类和自动化模式识别的光谱特征的识别。快照高光谱成像的最新实现依赖于笨重、非集成和昂贵的光学元件，包括透镜、光谱仪和滤光片。这些宏观组件不允许进行快速数据处理，例如实时和高分辨率视频。本文介绍了一种名为Hyplex™的新集成架构，解决了上述限制。Hyplex™是一种与CMOS兼容的快速高光谱相机，用人工智能通过反向设计的纳米尺度元表面取代了大型光学元件。Hyplex™不需要光谱仪，而是利用传统的单色相机，为实时和高分辨率的低成本高光谱成像提供了可能。Hyplex™利用模型驱动的优化，将物理元表面层与基于端到端训练的现代视觉计算方法相连接。我们设计和实现了Hyplex™的原型版本，并将其性能与典型成像任务（如光谱重建和语义分割）的最新技术进行了比较。在所有基准测试中，Hyplex™报告了最小的重建误差。此外，我们还提供了据我们所知最大的公开标记的用于语义分割的高光谱数据集。01. 引言0高光谱成像在许多领域引起了极大的兴趣，包括土木、环境、航空、军事和生物科学，用于估计允许识别和遥感复杂材料的光谱特征[10,29]。地面高光谱成像可以实现食品检查、手术、生物学的自动分类。01 数据集可在https://github.com/makamoa/hyplex上获得。0图1.硬件实现的Hyplex™成像系统。（a）元表面像素阵列示例（蓝色方块）。 （b）相机传感器上的元像素阵列示意图。（c）放大显示元表面投影仪作为阵列的子像素。（d）制作的元表面像素的扫描电子显微镜图像。（e）元表面像素阵列的光学显微镜图像。（f）（e）生成的条形码的示意图。0光谱成像在牙科、医学诊断[1, 21, 34,42]、航空和潜水高光谱成像在农业和海洋生物学中开辟了新的领域，用于动物分类，以及通过航空无人机拍摄用于精准农业[2, 10, 13,14]。然而，高光谱成像的现有技术仍受到昂贵的设置成本、耗时的后期数据处理、数据采集速度慢以及对宏观光学和机械组件的需求的问题的影响[41,58]。从高分辨率相机获得的单个高光谱图像通常需要几十亿字节的存储空间，使得无法进行实时处理。126930从今天的计算机视觉技术来看，从单个RGB图像进行计算高光谱重建是一种有希望解决上述一些挑战的技术[4, 7, 18,22, 25, 26, 38, 44, 54,63]。Heidrich等人[24]提出了基于集成衍射光学元件的高光谱相机，而其他团队[12,60]则利用深度神经网络设计光谱重建滤波器。虽然这些方法可以帮助解决速度问题，但尚不能解决高成本和慢数据处理的问题。其他瓶颈包括使用基本滤波器响应，这些响应未经过优化，仅限于原始薄膜干涉图案，并且缺乏能够利用CCD/CMOS传感器的现代占地面积的集成结构。我们在这里介绍了Hyplex™系统（图1），一种数据驱动的高光谱成像相机（图1，a-b），它使用最先进的元表面来替代大型组件，这些组件通过高度集成的介电纳米共振器将光线作为前馈神经网络进行操作[9, 17,19]。元表面已成功地将各种基本光学组件集成到不同的应用中[48-50]。Hyplex™利用这项技术，通过适当定义的投影仪（图1，c-d）将高维光谱数据压缩到低维空间中，该投影仪通过对大型高光谱数据集进行端到端学习进行设计。ALFRED [16, 19,37]是一种利用人工智能的开源逆向设计软件，用于设计元表面投影仪。这些纳米结构将传入光谱携带的宽带信息编码为由强度信号的离散模式组成的条形码（图1，e-f）。物理模型感知框架通过各种学习方案找到最佳投影仪响应，这些方案是基于用户最终任务设计的。我们总结我们的贡献如下：（i）我们提出并实现了一种廉价且处理速度快的数据驱动快照高光谱相机，该相机使用两个集成组件：反向设计的光谱编码器和单色相机。（ii）我们实现了一个端到端的框架，用于高光谱语义图像分割和光谱重建，并将其与最新技术进行了基准测试，报告了迄今为止的最高性能。（iii）我们创建了FVgNET，这是目前公开可用的最大的带标签高光谱图像数据集，用于语义分割和分类。02. 相关工作0高光谱重建是一个逆问题，需要从低维RGB图像逆投影到密集采样的高光谱图像(HSI)[5,39]。色差[15]将不同的光谱分布投影到视觉传感器的相似激活水平，这是一个重要的挑战。传统的RGB相机将整个可见光谱投影到只有三个主要颜色0主要颜色。这个过程消除了关键信息，使得区分不同物体变得具有挑战性[38]。对于高光谱重建的特定任务，我们可以部分恢复这些丢失的信息。光谱投影类似于自编码器，它将输入降采样到低维空间。如果我们设计一个合适的算法来高效地探索这个空间，我们可以检索到足够的数据来重建初始输入。0稀疏编码和深度学习的重建：稀疏编码[32,45]可能是这个想法最直观的方法。这些方法从HSI数据集中静态地发现一组基向量，这些基向量是已知的。Arad等人[5]实现了K-SVD算法来创建过完备的HSI和RGB字典。通过将输入图像分解为基向量的线性组合，然后转换为高光谱字典，来重建HSI。稀疏编码方法的局限性在于它们应用的矩阵分解算法容易受到异常值的影响，并且性能下降[27]。最近，研究团队通过研究深度学习扩展了稀疏编码的能力。Galliani等人[18]展示了一种监督学习方法，其中使用类似UNet的架构[46]对单个RGB图像进行HSI预测训练。Nguyen[38]训练了一个径向基函数网络，将白平衡的RGB值转换为反射光谱。在另一项工作中，Xiong等人[55]提出了一种两阶段的重建方法，包括对RGB图像进行插值上采样的方法。所提出的端到端训练从上采样的图像中恢复真实的HSI。Wug等人[40]使用不同的RGB相机获取非重叠的光谱信息来重建HSI。这些方法从高度非线性的预测模型中重建光谱信息，受到其监督学习结构的限制。这些模型通过在HSI或通用RGB相机上应用颜色生成函数来限制数据的降采样。通过Hyplex™，我们通过探索一种新的概念来避免稀疏编码和深度学习重建方法的所有问题，该方法使用经过优化设计的元表面投影器进行光谱降采样。0可训练投影的高光谱成像：相机中的光学投影器基于原色模拟人类的色彩视觉[23]。然而，在高光谱成像中，需要进一步研究投影器的设计，以确定其最佳数量和响应。人眼并不是每种可能的真实世界场景中最好的成像装置。[6, 47,53]的研究扩展了RGB相机的概念，对反射光谱进行了任意低维采样。这些研究采用了不同变体的优化算法，从初始候选项中收敛到一组最佳投影器。所选的投影器提供了具有优越性能的HSI的三通道重建。Nie等人[39]证明了这一点Sij = ˜Λ(ω)βij(ω),Sijk =�Λk(ω)βij(ω) dω .(1)1269401×1卷积操作实现了类似光学投影器的功能，同时处理多光谱数据帧。该网络类似于自编码器，其中输入HSI经过降采样，然后由解码器网络进行重建。Zhang等人[62]设计并制造了一个包含16个可训练投影器的宽带编码随机相机，将高维光谱映射到低维强度矩阵。最近，Liutao等人[56]提出了FS-Net，一种用于特定任务的超光谱图像分析的滤波器选择网络。在[59]中，作者展示了一种用于高光谱信息图像分割任务的滤波器优化思路。元表面投影器的逆设计：优化最佳匹配滤波器是一个降维问题，需要找到编码显示最低损失的主成分方向。最先进的结果通常是通过理论计算或对薄膜滤波器的实验测量生成的，这代表了精确主成分的粗略近似。在高光谱成像中，这些成分通常呈现出频率依赖的不规则模式，由复杂的尖锐和宽阔的共振组成，表明需要更专门的材料结构控制，例如元表面技术。现代元表面设计方法[51,52]通常依赖于预计算的元表面响应库和多项式拟合，以进一步推广设计参数与设备性能之间的关系。相反，我们通过ALFRED[20]设计了我们的元表面光学投影器，这是一种混合逆设计方案，结合了经典优化和深度学习[52]。在这项工作中，我们通过添加可微性、物理模型正则化和复杂解码器投影器，显著扩展了原始代码的功能，能够处理不同的计算机视觉任务，并通过监督的端到端学习过程执行数千次参数优化。03. 方法论0Hyplex™高光谱成像系统由两部分组成：硬件线性光谱编码器 E 和软件解码器（图2）。编码器将输入的高维HSI β压缩为较低的多光谱图像张量 ˆ S = E ( β)，而解码器将张量 ˆ S映射到用户定义的任务特定输出。在这项工作中，我们考虑了两种类型的任务：高光谱重建和语义分割。光谱重建旨在以最小损失重建输入的HSI张量。我们通过均方根误差（RMSE）定义损失 ˆ β = D rec ( E ( β))，用于重建和输入光谱之间的比较。相反地，语义分割提供了HSI的逐像素分类。在这个任务中，我们使用带有调整的输入和输出层以满足HSI张量维度的U-Net架构作为解码器 D seg。解码器输出softmax logits ˆy，表示观察到每个像素的地面真实标签 y的概率。我们使用交叉熵损失函数 L seg对这些预测进行定量评估。0硬件编码器软件解码器0重建0分割0HSI图像张量0图2.Hyplex™系统的概念草图。该系统由通过可训练的元表面阵列实现的硬件光学编码器 E 和针对两种不同任务进行优化的软件解码器 D组成，包括高光谱重建和光谱信息感知语义分割。0softmax logits ˆ y，表示观察到每个像素的地面真实标签 y的概率。我们使用交叉熵损失函数 L seg对这些预测进行定量评估。03.1. 硬件编码器0最近的研究表明，亚微米纳米结构几何体阵列的传输函数可以近似任意定义的连续函数[19,36]。在Hyplex™中，我们利用这种通用逼近能力设计和实现了一个特定高光谱信息相关成像任务的最优线性光谱编码器硬件。图3总结了Hyplex™的数据工作流程，用于通用线性编码器算子 E = ˆ Λ†。面板（a）显示了一个示例高光谱图像。数据表示为一个具有三个维度的张量β：两个空间维度（x，y），对应于相机虚拟图像平面，以及一个频率轴ω，测量在一个相机像素处检测到的功率密度谱（图3b）。我们采用数据驱动的方法，实现了一个线性降维算子，该算子找到了 β 的新等效编码表示（图3c）。图像数据集的高光谱张量被展平为一个矩阵B，该矩阵在每列上包含一组相机像素的功率密度谱。然后，我们应用线性编码 Λ † 通过一组线性投影器 Λ ( ω )将光谱坐标 β ij 逐像素映射到一组标量系数 S ijk：0β ij ( ω ) 中包含的光谱信息被嵌入到少量组件的等效条形码S ijk 中。126950图3. 元表面亚像素阵列作为线性光谱编码器。 (a) 由高光谱相机捕获的光谱图像张量（ β ）。 (b) 在相机平面上位置 ij 处的相应像素光谱（ ˆ β ij ）。 (c) 维度缩减线性算子 Λ † 的示例。0通过将像素光谱在 ij 位置的结果投影编码器条形码的展平矩阵 B 的示例。 (d) 最优编码器函数 Λ †。 (e)通过ALFRED实现的不可微逆设计优化框架，用于找到具有期望响应 Λ i 的一组元表面 L。 (f) 可微的主干结构，实现对响应 Λ 和结构 L的同时优化。元表面像素 (g) 由具有相应拟合传输响应 ˆ Λ 的二维共振元像素阵列组成。 (h)Hyplex™系统的概念草图，其中包含通过基于成像的元表面传输响应读出产生的扩展光谱特定条形码 (i)。 (j) 通过解码器 D rec 投影 ˆ β ij进行恢复的像素光谱。0为了将Λ编码器投影仪实现到硬件中，Hyplex™使用两条不同的工程线路(图3e-f)。当用户端任务不需要额外的约束条件时，例如，光谱重建，Hyplex™通过利用优化框架来最小化物理元表面响应ˆΛ和目标Λ之间的范数来实现投影仪(图3e)。相反，对于需要进一步条件的任务，例如，高光谱语义分割，Hyplex™使用可学习的骨干网络(图3f)。这种优化利用了d-ALFRED，它是ALFRED的一个新版本，它创建了一个可微分的物理模型，通过端到端的方法进行训练。d-ALFRED使用迭代过程设计元表面几何结构，通过同时优化投影仪响应Λ和定义元表面的所有参数的向量L来最小化损失函数Lseg。一个Hyplex™像素(图3g)将各种元表面投影仪集成到一个二维子像素阵列中，这些子像素在空间中复制以形成Hyplex™硬件编码器(图3h)。编码器将场景中产生的反射光谱转换为条形码ˆSij(图3i)，由一组与输入光谱和每个投影仪响应之间的重叠成比例的强度信号组成，如方程(1)中所定义。一个标准的单色相机，放置在元表面后面，作为成像读出层。相机的每个像素与硬件编码器的子像素相匹配，并检索条形码ˆSij的一个强度信号(图3j)。0B的奇异值分解为ΛΣV†[8]，并近似表示为：0使用ALFRED工程化的PCA投影仪：我们使用通过主成分分析(PCA)获得的线性编码器Λ进行硬件编码。PCA通过选择k个最强的主成分(本工作中k=9)˜Λ†来执行硬件编码E。In this approach, we represent the decoder operator D asa set of hierarchical nonlinear operators F, which projectthe input tensor ˆS into an output measurement tensor ˆy.This process is iteratively trained via supervised learning,comparing the measurement ˆy with some ground-truth tensor˜y. This end-to-end training finds the optimal feature space ˆSand the associated linear projectors Λ. To train Hyplex™ inthis framework with backpropagation, the encoder E needsto be differentiable.In the inverse-design of projectors, the encoder E = H,with H(ω) representing the output transmission functionof the metasurface response, which is obtained from thesolution of the following set of coupled-mode equations [36]:126960方程(2)以最小二乘意义上最接近B的线性近似。我们使用线性投影仪ˆβij=˜ΛˆSij来实现解码器D，它恢复了从选定的PCA分量中最佳最小二乘逼近的像素光谱ˆβij(ω)≈βij(ω)(图3j)。0B≈˜Λ˜Σ˜V˜V˜V†(2)0在这种方法中，我们将解码器算子D表示为一组分层非线性算子F，它将输入张量ˆS投影到输出测量张量ˆy。这个过程通过监督学习进行迭代训练，将测量ˆy与一些基准张量˜y进行比较。这种端到端训练找到了最佳的特征空间ˆS和相关的线性投影仪Λ。为了使用反向传播训练Hyplex™，编码器E需要是可微分的。在投影仪的逆设计中，编码器E=H，其中H(ω)表示元表面响应的输出传输函数，它是从以下耦合模式方程组的解得到的[36]：��03.2. 通过可微分物理模型学习的骨干网络0�0˜a(ω)=˜K0i(ω-W)+˜K˜K†2˜s+0˜s−(ω)=˜C(ω)∙˜s+−˜K†∙˜a(3)0其中 W 是一个对角矩阵，其共振频率 ωn是模式Wnn的频率，˜C(ω)是一个散射矩阵，模拟入射波˜s+在谐振腔空间中的散射，˜K是一个耦合矩阵，表示行波˜s±(t)与谐振腔模式˜a(t)之间的相互作用。方程(3)描述了与˜s±=[˜s1±(ω),...,˜sm±(ω)]入射(+)和反射(-)波相互作用的谐振腔模式网络的动力学。附录材料的第1节提供了方程(3)中出现的量的更多细节。方程(3)的解决所得的输入-输出传递函数H=˜s−/˜s+是两个主要项的叠加：由散射矩阵˜C(ω)定义的传播项和包含有理函数˜K的非线性项。0σ ( ω − W  )。方程（3）通过W的可微函数表示，可以通过反向传播（图4b）进行优化。d-ALFRED：为了将方程（3）中的谐振器量投影到元表面的输入参数L，我们使用监督优化过程。我们训练了一个深度神经网络来学习L与方程（3）中的谐振器变量之间的关系。按照[37]的方法，我们使用具有模拟传输/反射响应的硅盒阵列来训练网络（请参阅补充材料的第2节）。0图4.可微元表面物理模型的耦合模式网络。（a）耦合模式光子网络作为带有跳跃连接的反馈回路。（b）可训练的耦合共振层。（c）d-ALFRED：从参数化几何形状到共振的可训练可微投影。04. 数据集0为了训练和验证Hyplex™系统，我们使用了三个公开可用的数据集：CAVE数据集，包含32个室内图像，覆盖400nm到700nm的波长范围；哈佛和KAUST数据集，包含室内和室外场景，分别包含75张和409张图像，波长范围分别覆盖420nm到720nm和400nm到700nm。我们还创建了一个额外的高光谱数据集FVgNET。FVgNET由317个场景组成，展示了水果和蔬菜，包括自然的和人工的，这些场景在受控照明条件下在室内拍摄，波长范围为400nm到1000nm。我们使用一套配置，包括一个白色纸张以无限曲线的方式排列，这是摄影中用于将物体与背景隔离的配置。通过使用顶部白色LED室内照明、一个带有玻璃扩散器的150W卤素灯（Thorlabs的OSL2）和一个安装在漫反射反射器中的100W钨丝灯，我们在最终图像中实现了良好的光谱覆盖同时尽量减少阴影的存在。图5a-b显示了数据集中物体类别的分布。对于每个物体类别（例如苹果、橙子、辣椒），我们生成了大致相等数量的只显示自然物体和只显示人工物体的场景。数据集包含12个类别，图像中的表示与它们的色彩变化成比例。此外，我们对80%的图像进行了附加分割掩膜的注释。我们通过处理从204个光谱通道生成的RGB图像将语义分割掩膜纳入数据集。我们获取了这些图像。126970图5.数据集的示例和统计分析。（a）数据集的组成概览。场景中的自然物体和人工物体数量相近，80%的图像带有分割掩膜，其余的只有标签。（b）各类场景物体的分布。数据集中每个类别的实例数量大致相等，除了苹果和辣椒，它们具有更多的色彩变化。（c）左：高光谱图像的RGB可视化。右：每个物体的分割掩膜和标签。0以避免物体的交叉，从而实现对每个物体占据区域的自动生成掩膜。然后，我们对每个标记的物体进行注释，识别每个物体的类别以及它们是自然的还是人工的。图5c展示了数据集中图像的语义分割掩膜的实现。有关FVgNET数据集的更多详细信息，请参阅补充材料的第3节。05. 结果05.1. 硬件实现0我们通过在光学级熔融石英玻璃载片上沉积非晶硅的薄层，并进行图案化，制造了元表面投影仪阵列。图6a显示了制造的元表面像素的扫描电子显微镜（SEM）图像，详细显示了每个九个投影仪的纳米级结构。我们制造了3×3子阵列中的每个投影仪，使其占据一个2.4µm宽的正方形区域，这是现代数码相机传感器中存在的像素的典型尺寸，可以与图1b中的相机集成。我们使用波长从400nm到1000nm的线偏振光对每个投影仪的光学响应进行表征。补充材料中的图3显示了元表面的实验测量响应，与预期的理论响应非常吻合。我们将制造的投影仪用作固定编码器，以优化神经网络解码器的重建能力。05.2. 光谱重建0我们从制作的超表面投影仪的理论和实验响应中进行光谱重建。图6b显示了一个示例。0图6. 光谱重建。 (a) 投影仪阵列的扫描电子显微镜图像。 (b)经过我们的投影仪处理的场景输出。 (c)使用我们的投影仪的理论（中间行）和实验（下行）响应对比获取和恢复的高光谱图像。 (d)使用投影仪和Nie等人的重建算法[39]对(c)中场景的随机像素进行原始光谱和重建的对比。IoUF1IoUF1126980模型数据集0CAVE [57] 哈佛（外部）[11] 哈佛（内部）[11] KAUST [33] FVgNET0Nguyen等人[38] 14.91 ± 11.09 9.06 ± 9.69 15.61 ± 8.76 - - Arad和Ben-Shahar[5] 8.84 ± 7.23 14.89 ± 13.239.74 ± 7.45 - - Jia等人[25] 7.92 ± 3.33 8.72 ± 7.40 9.50 ± 6.32 - - Nie等人[39] 4.48 ± 2.97 7.57 ± 4.59 8.88 ±4.25 - - Hyplex™ 2.05 ± 1.82 2.13 ± 1.81 6.65 ± 5.88 2.23 ± 3.35 1.73 ± 1.350表1. 基线比较。我们报告多个高光谱数据集中光谱重建的RMSE。0通过基于实验数据的每个投影仪感知FVgNET数据集中的场景。在图6c中，我们对比了基于模拟和实验条形码的高光谱重建与原始图像的质量。图6d展示了使用实验实现的Hyplex™和Nie等人的算法对原始光谱及其重建的定量对比。重建是通过使用第3节中介绍的连接MLP解码器进行的。我们将80%的数据集用于训练解码器，其余部分用于验证。表1展示了Hyplex™与最先进的重建方法的性能比较。我们展示了第4节中描述的数据集的重建结果，以及我们自己数据集的验证部分。为了比较的一致性，我们采用了[39]中报告的指标和数据，其中计算得到的RMSE被归一化到[0,255]范围内，以近似表示像素强度的误差。Hyplex™的重建误差是CAVE和哈佛数据集中室内外图像中最低的，表现优于所有最先进的模型。我们还使用制作的超表面的光学响应在KAUST数据集和FVgNET数据集上对我们的模型进行了进一步测试。05.3. 高光谱语义分割0在这里，我们展示了FVgNET数据集中人工和真实水果的标记。人工和真实水果在RGB颜色上相似。然而，它们的反射光谱差异很大。补充图4提供了一个例子。我们通过训练两个分类网络展示了所提出的物理编码器的学习能力。一个模型使用光谱编码器进行语义分割标记，另一个模型使用RGB通道。两个模型使用相同的U-Net-like解码器和相同的参数（迭代次数、批量大小、学习率）。结果总结如图7所示，其中面板a显示了两个模型在与地面真值掩膜的分割预测质量方面的定性比较。0RMSE mIoU0模拟 4.23 0.812 实验 5.41 0.7410表2.模拟和实验结果。我们分别报告重建和分割任务的RMSE和mIoU。0物体类别 高光谱分割 RGB分割0真橙子 0.979 0.989 0.935 0.966 人工橙子 0.954 0.976 0.6090.757 真葡萄 0.829 0.907 0.009 0.017 人工葡萄 0.897 0.9460.494 0.6610表3.定量比较。我们报告了使用HSI和RGB图像分割的4个对象类的示例。0虽然两种方法的掩模质量相似，但光谱信息模型的平均交并比（IoU）得分明显高于RGB模型。使用编码器的理论和实验响应计算的mIoU分别达到81%和74%，如Tab.2所示。相反，使用RGB模型，mIoU降至68%。RGB训练模型的混淆矩阵显示，RGB模型在预测颜色相似的真实-人工水果对的正确结果方面存在困难（图7b）。相反，光谱信息模型为大多数真实-人工水果对生成了正确的标签（图7c），并在IoU和F1方面优于RGB模型（Tab.3）。这些结果表明，Hyplex™生成的小型条形码有效地压缩了传达物体图像的光谱特征的关键信息。附加材料中的表1和2提供了两个模型上每种对象类型（苹果、土豆等）的详细指标。06. 讨论和限制0在这项工作中，我们设计并实现了Hyplex™，一种用于实时和高分辨率高光谱成像的新硬件系统。我们验证了Hyplex™与当前的最先进方法相比的优越性。此外，我们通过设计一个用于光谱信息的语义分割模型，并将其性能与RGB模型进行比较，证明了高光谱特征和可训练编码器的优越性。126990图7. 光谱和基于RGB的语义分割。(a) 从光谱信息模型、仅RGB模型和地面实况生成的分割掩模之间的比较。(b) 仅RGB模型的混淆矩阵。(c)光谱信息模型的混淆矩阵。混淆矩阵中的每个值表示被分类为行中的项目的列中项目的分割掩模的像素数。0与现有的最先进方法相比，我们证明了Hyplex™在所有基准测试中的表现更好。此外，我们通过设计一个用于光谱信息的语义分割模型，并将其性能与RGB模型进行比较，证明了高光谱特征和可训练编码器的优越性。0当前Hyplex™实现的一个限制是物理编码器的线性结构。非线性编码器的研究[3]可以实现更复杂的特征嵌入。这个主题可能会激发未来的研究，将Hyplex™框架推广到包括非线性元表面的研究领域，这是元光学领域的一个重要领域[30,35]。改进的第二个领域是高效降维的核心思想中的光谱稀疏性假设。虽然这个假设在大多数计算机视觉问题[43,61]中得到了实际验证，但在专门的任务中可能不成立。如果不充分考虑制造误差，也会限制性能。在这项工作中，我们通过调整软件解码器来减轻这种影响，以0如果我们最好使用投影仪的实验响应，可以获得更好的结果。未来的工作可以研究逆向设计中的鲁棒性控制技术，这是一个新的有前途的研究领域[31,37]。如果我们用更多在不同波长和不同设置（如医疗等）下获得的场景来增加公开可用的高光谱数据集，也可以获得更好的结果。这样的研究可以将Hyplex™的结果推广到为个性化医疗保健和精准医学提供高影响力的系统。Hyplex™可以在与当前RGB相机相当的速度下快速处理高分辨率高光谱图像（请参阅附录材料的第7节）。致谢。本研究得到了沙特阿拉伯国王阿卜杜拉国王科技大学（KAUST）通过人工智能倡议（AII）资助的支持。本研究得到了KAUST的资助（奖励OSR-2016-CRG5-2995）。并行模拟在KAUST的Shaheen超级计算机上进行。127000参考文献0[1]  M.A. Afromowitz, J.B. Callis, D.M. Heimbach, L.A. DeSoto,and M.K. Norton. 烧伤创面的多光谱成像:一种评估烧伤深度的新临床仪器.  IEEE生物医学工程学会交易 ,35(10):842–850, 1988年10月.  10[2]  Airobot. 农业高光谱无人机和软件, 2021年.https://airobot.eu/solutions/hyperspectral-drone-and-software-for-agriculture/.  10[3]  Xavier Alameda-Pineda, Elisa Ricci, Yan Yan, and NicuSebe. 利用非线性矩阵补全从抽象绘画中识别情感.IEEE计算机视觉和模式识别会议(CVPR) 论文集 , 2016年6月.  80[4]  Aitor Alvarez-Gila, Joost Van De Weijer, and EstibalizGar- rote. 基于空间上下文感知的光谱图像重建的对抗网络.  2017IEEE国际计算机视觉会议(ICCVW) , 2017年. 20[5]  Boaz Arad and Ohad Ben-Shahar.从自然RGB图像中稀疏恢复高光谱信号.  欧洲计算机视觉会议 ,2016年. 2 ,  70[6]  B. Arad and O. Ben-Shahar. 用于高光谱估计的滤波器选择.2017 IEEE国际计算机视觉会议(ICCV) , 2017年.  20[7]  Arad B. and Ben-Shahar O.从自然RGB图像中稀疏恢复高光谱信号. In Leibe B., Matas J.,Sebe N., and Welling M, editors,  计算机视觉 – ECCV 2016.ECCV 2016. 计算机科学中的讲义 , volume 9911. Springer,Cham, 2016年.  20[8]  Christopher M. Bishop.模式识别与机器学习（信息科学与统计学） . Springer- Verlag,Berlin, Heidelberg, 2006年.  3 ,  50[9]  Marcella Bonifazi, Valerio Mazzone, Ning Li, Yi Tian, andAndrea Fratalocchi.具有可控损耗的自由电子透明超表面用于宽带光操控与纳米级分辨率.  先进光学材料 , 8(1):1900849, 2020年.  20[10]  Renfu Lu Bosoon Park.  食品和农业中的高光谱成像技术 .Springer, 2015年.  10[11]  A. Chakrabarti and T. Zickler. 真实世界高光谱图像的统计特性.In  计算机视觉和模式识别会议(CVPR) 论文集 , pages 193–200,2011年.  70[12]  Wei Ting Chen, Alexander Y Zhu, Vyshakh Sanjeev,Moham- madreza Khorasaninejad, Zhujun Shi, Eric Lee, andFederico Capasso.一种用于可见光聚焦和成像的宽带无色差金属透镜.  NatureNanotechnology , 13(3):220– 226, 2018年1月.  20[13]  Arjun Chennu, Paul F ¨ arber, Glenn De’ath, Dirk deBeer, and Katharina E. Fabricius.一种潜水员操作的高光谱成像和地形测量系统，用于自动化海底栖息地制图.  科学报告 , 7(1):7122, 2017年8月.  10[14]  Ines Dumke, Autun Purser, Yann Marcon, Stein M.Nornes, Geir Johnsen, Martin Ludvigsen, and Fredrik Søreide.水下高光谱成像作为原位分类工具0用于深海大型动物的.  科学报告 , 8(1):12860, 2018年8月.  10[15]  David H Foster, Kinjiro Amano, S ´ ergio MC Nascimento,and Michael J Foster. 自然场景中元色现象的频率. Josa a ,23(10):2359–2372, 2006年.  20[16]  Andrea Fratalocchi, Fedor Getman, Maksim Makarenko,and Arturo Burguete-Lopez. 平面光学偏振器分光束分离器.  20[17]  Henning Galinski, Gael Favraud, Hao Dong, Juan S.Totero Gongora, Gr ´ egory Favaro, Max D ¨ obeli, RalphSpolenak, Andrea Fratalocchi, and Federico Capasso.基于网络超材料的可扩展、超耐久结构颜色. Light: Science &Applications , 6(5):e16233–e16233, 2017年5月.  20[18]  Silvano Galliani, Charis Lanaras, Dimitrios Marmanis, Em-manuel Baltsavias, and Konrad Schindler. 学习的光谱超分辨率.arXiv预印本 arXiv:1703.09470 , 2017年3月. 20[19]  F. Getman, M. Makarenko, A. Burguete-Lopez和A. Frat-alocchi.通过通用逼近器在可见光区域实现高效率的宽带矢量超薄光学.光学科学与应用 , 10(1):1–14, 2021年3月.  2 ,  30[20]  Fedor Getman, Maksim Makarenko, ArturoBurguete-Lopez和Andrea Fratalocchi.通过通用逼近器在可见光区域实现高效率的宽带矢量超薄光学.光学科学与应用 , 10(1):1–14, 2021年.  30[21]  Aoife A. Gowen, Yaoze Feng, Edurne Gaston和VasilisValdramidis. 高光谱成像在微生物学中的最新应用.  Talanta ,137:43–54, 2015年5月.  10[22]  Qiong He, Shulin Sun, Shiyi Xiao和Lei Zhou. 高效率超表面:原理、实现和应用.  先进光学材料 , 6(19):1800415, 2018年. 20[23]  Noor A Ibraheem, Mokhtar M Hasan, Rafiqul ZKhan和Pramod K Mishra. 理解颜色模型: 一项综述.ARPN科学与技术杂志 , 2(3):265–275, 2012年. 20[24]  Daniel S. Jeon, Seung-Hwan Baek, Shinyoung Yi, QiangFu, Xiong Dun, Wolfgang Heidrich和Min H. Kim.通过衍射旋转实现紧凑的快照高光谱成像. ACM图形学交易(SIGGRAPH 2019) , 38(4):117:1–13, 2019年.  20[25]  Yan Jia, Yinqiang Zheng, Lin Gu, Art Subpa-Asa, AntonyLam, Yoichi Sato和Imari Sato.通过基于流形的映射从RGB到光谱自然场景. 在IEEE国际计算机视觉会议(ICCV) 论文集中 , 2017年10月.  2 ,  70[26]  Jun Jiang, Dengyu Liu, Jinwei Gu和S. S ¨ usstrunk.数字相机的光谱灵敏度函数空间是什么?2013年IEEE计算机视觉应用研讨会 (WACV) , 第168-179页,2013年.  20[27]  Rei Kawakami, Yasuyuki Matsushita, John Wright, MosheBen-Ezra, Yu-Wing Tai和Katsushi Ikeuchi.通过矩阵分解实现高分辨率高光谱成像. 在CVPR 2011中 ,第2329-2336页. IEEE, 2011年.  20[28]  Nasser Kehtarnavaz和Mark Gamadia.实时图像和视频处理: 从研究到现实.  综合[50] Andreas Tittl, Aleksandrs Leitis, Mingkai Liu, Filiz Yesilkoy,Duk-Yong Choi, Dragomir N. Neshev, Yuri S. Kivshar, andHatice