基于亮度分量的多光谱图像去马赛克算法和MSFA成像系统优化研究

阵列12（2021）100088基于亮度分量的4波段和5波段多光谱图像去马赛克算法NorbertHounsou a，*，Amadou T. Sanda Mahama a，Pierre Gouton ba阿波美-卡拉维大学数学和物理科学研究所，贝宁b法国第戎勃艮第大学科学A R T I C L EI N FO保留字：多光谱滤波器阵列亮度分量去马赛克算法卷积加权双线性插值A B S T R A C T多光谱成像系统目前正在扩展各种多光谱去马赛克算法。但是这些算法由于重建图像中明显存在伪影而具有局限性。在本文中，我们提出了一个强大的多光谱图像去马赛克的方法，专注于G波段和亮度分量。我们首 先 确定 了 一 个 相 关 的 4 - 和 5 - 波 段 多 光 谱 滤 波 器 阵 列 （ M S F A ） 与 占 主 导 地 位 的 G 波 段 ， 然 后 提 出了 一 种 算 法 ， 一 致 地 估 计 丢 失 的 G 值 和 其 他 丢 失 的 组 件 使 用 卷 积 运 算 符 和 加 权 双 线 性 插 值 算法 的 基 础 上 的 亮 度 分 量 。使用所考虑的MSFA模式，我们还证明 了我们的 算法在 PSNR和SSIM 方面在 视觉上和定量上都优于现有方法。1. 介绍多光谱图像由三个以上的波段组成。波段的数量越多，可用的信息就越多，图像就越有用[1，2]。MSFA成像系统仍然是一个相当大的研究课题，仍在开发中多光谱图像采集系统可以分为三种类型[3]：- 多相机系统，使用具有不同滤波器的多个相机在单次拍摄中捕获图像，从而使得系统相当复杂，因为需要几个不同相机的完美对准[4];- 单相机多镜头系统，其捕获具有高光谱分辨率的图像，但需要多次拍摄以获得具有高速照明系统的图像，以进行实时成像[5];以及- 单相机系统克服了前两类系统在尺寸、成本和实时成像方面的问题[6后者的示例是配备有拜耳的众所周知的滤色器阵列（CFA）之一的RGB相机为了用单个图像捕获系统捕获多光谱图像，需要一个受具有BayerCFA的数码相机启发的多光谱滤波器阵列（MSFA）。因此，使用单摄像机系统涉及MSFA选择性光谱滤波器的设计，其被布置在由基本图案限定的周期性马赛克中[2，7，9然而，由于缺乏一个标准的MSFA，在彩色图像的情况下，拜耳CFA，它是很难设计一个最佳的MSFA，从而开发一个强大的去马赛克算法。在文献[1，3，7，9，10，14虽然亮度分量在图像中很重要，但很少有算法在其去马赛克过程中明确使用它[18]。在本文中，我们已经确定了一个4-和5-波段MSFA，并提出了一个亮度分量为基础的多光谱去马赛克算法（LCBD），估计在每个像素像素的G分量通过应用卷积的方法，和其他组件在每个像素的像素使用亮度分量丢失。本文的组织如下：在第二部分中，我们回顾了文献中提出的多光谱成像系统，并在第三部分中，我们描述了实际提出的算法。结果和讨论分别在第四节和第五2. 多光谱图像去马赛克技术研究进展针对多光谱图像去马赛克技术的实现，设计了一种最优的MSFA算法和一种有效的去马赛克算法，* 通讯作者。电子邮件地址：norbert. imsp-uac.org（N。 Hounsou），amadou. imsp-uac.org（A.T. Sanda Mahama），pgouton@u-bourgogne.fr（P. Gouton）。https://doi.org/10.1016/j.array.2021.100088接收日期：2021年3月18日;接收日期：2021年8月3日;接受日期：2021年8月24日2021年8月26日网上发售2590-00562021的 自行发表通过Elsevier Inc.这是一个开放接入文章下的CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。可在ScienceDirect上获得目录列表阵列期刊主页：www.sciencedirect.com/journal/arrayN. Hounsou等人阵列12（2021）1000882××算法是重建全分辨率多光谱图像的两个基本过程，它们最大限度地限制了伪影的存在。在文献中已经提出了几个相关的建议2.1. MSFA的设计方法虽然拜耳许多MSFA模式也被提出[6]。例如，Miao et al.提出了一种基于二叉树的MSFA设计的通用方法，考虑了每个谱带的出现概率[10，14]。MSFA是基于光谱带的数量及其出现概率生成最近提出的许多MSFA都受到了这种通用方法的启发。此外，Monno等人[7]提出了一种基于G波段高密度要求的5波段MSFA模式Ban- gyong等人还提出了一种4波段MSFA模式[18]，每个波段的发生概率相同，以及一种9波段MSFA [19]，其中一个波段占主导地位，其他波段的发生概率相同Brauers和Aach [11]以3 2模式实现了SIX波段MSFA，以加速线性插值。Aggarwal和Majumdar提出了另一种简单的MSFA，通过安排四个对角分布的滤波器[21]，然后是另一种随机MSFA模式[22]，其中每个通道具有相同的发生概率。注意到频带的数量是逆亲的，部分的空间相关性，Shrestha等人。[23]提出了一个特定的MSFA图案用于光谱重建和反射光谱的估计。为了找到空间和光谱分辨率之间的最佳折衷，Yasuma等人设计了一种由三个原色和四个二次色滤光片组成的七波段MSFA [12]。为了克服在多光谱成像系统中将光谱分辨率和空间相关性结合起来的困难，Mihoubi等人提出了一种没有主导波段的16波段MSFA [2]。对于涉及可见光和近红外（NIR）域的成像系统也提出了若干建议。Hershey和Zhang [24]设计了一种基于4波段MSFA的多光谱相机，具有三个颜色波段和一个近红外波段。Lu等人。[38]提出了一种MSFA模式作为空间域中的优化问题，通过提供迭代过程来局部搜索最优解。此外，Kiku等人[25]提出了一种改进的Bayer CFA模式，其中额外的第四个波段被弱采样并排列在稍微倾斜的正方形网格中。事实上，他们的方法是基于RGB和其他波段之间没有相关性的假设。所谓的混合CFA仍然保持G频带的高密度。Lapray等人[6]定义了两种MSFA模式，其具有对应于两种不同方法的周期性空间分布。一种方法有利于空间信息，另一种方法有利于光谱信息。对于遥感应用，Mercier等人[26]研究了MSFA瞬时传感器设计的实用性。这些不同的MSFA已被用于多光谱演示算法。2.2. MSFA去马赛克算法去马赛克是多光谱成像系统中最精细的任务之一。基于经典CFA算法的扩展，已经提出了许多去马赛克算法[27，28]。Miao等人。[9]提出了一种通用的多光谱去马赛克方法，该方法使用边缘相关信息对每个丢失的波段进行该方法首先确定不同光谱带的内插顺序，然后确定每个光谱带的像素位置的内插顺序最后，使用边缘应用相关信息。通过探索缺失波段插值中的空间和光谱相关信息，Aggarwal等人[29]提出了一种线性去马赛克技术，该技术对原始MSFA图像应用线性滤波，其内核的参数通过训练确定。在文献[12]中，MSFA由三个原色和四个二次色滤波器组成，并且在傅立叶域中的低通滤波器用于重建原色，而利用恒定通道差和借助于通道之间的相关性的残余插值的原理来重建二次光谱带。在文献[11]中，Brawers和Aach提出了一种线性算法，其中首先平滑传统色差。作者首先计算每个谱带的稀疏信道差，然后通过将先前的稀疏信道差与低通滤波器进行卷积来估计每个谱带的完全定义的信道差，这是一种平滑操作。最后，将加权双线性内插应用于估计的信道差以获得每个pixel处的频带。水谷等人。[39]提出了一种改进的Brawers和Aach的方法，根据所考虑的邻域迭代该过程一定次数。然后将插值扩展到多光谱方法。 Wang等人[13]扩展了经典中值滤波到MSFA去马赛克。光谱响应通过用接近同一频带或另一频带的另一值来估计一个频带处的缺失值，从输入向量导出滤波的“0”。在参考文献[30]中，作者将基于离散小波变换的CFA方法扩展到通过估计缺失频带的低频和高频分量进行多光谱去马赛克。后来，他们提出了一种基于线性插值的通用MSFA去马赛克算法，该算法结合了线性最小均方误差（LMMSE）技术和残差插值方法[31]。Monno等人[3，7，16，17，32]还提出了一系列针对5波段MSFA的去马赛克算法，其中G波段占主导地位，出现概率为50%。这些算法中的第一种[3]使用直接从原始MSFA图像估计并应用于自适应高斯过采样的自适应内核，以从G波段数据生成引导图像。联合双边自适应过采样技术被应用到引导图像和每个光谱带的数据，以获得重建图像。在参考文献[16]中，作者通过使用引导滤波器改进了该方法，该引导滤波器是一种优秀的结构保持滤波器，其执行给定引导图像的线性变换以内插缺失的频带。作者使用残差插值来生成用于结构保持插值的引导图像[17]提出了一种自适应残差插值方法，结合基于残差内插的两种算法，并为每个piX el选择适当的迭代次数[32]。 然后，作者开发了几种用于不同波段内插的引导图像[7]。Jaiswal等人。[20]还使用G波段的高频分量，根据波段间相关性分析对其他波段进行插值。此外，Mihoubi et al.[2]提出了一种基于伪全色图像（PPI）的16波段MSFA算法，该算法通过对原始图像应用平均滤波器进行估计，然后进行调整，使PPI值相关。计算调整后的原始图像和PPI的每个可用值之间的差异。然后使用计算出的局部方向权重来使用自适应加权双线性插值估计完全定义的差异。每个波段最后通过添加PPI和差值来估计。在参考文献[33]中，作者提出了一种使用空间和光谱相关性来估计缺失波段的方法。最近，Amba等人[34]通过应用线性算子将基于RGB颜色的线性最小均方误差的算法扩展到多光谱去马赛克，该线性算子使重建图像和原始原始图像之间的均方误差最小化。 该线性算子乘以MSFA图像提供了N. Hounsou等人阵列12（2021）1000883（）下一页（）下一页（）下一页（）下一页Fig. 1. 二叉树之前的4波段MSFA配置：（a）考虑出现概率的二叉树（b）分解和子采样过程（c）MSFA配置。重建图像的估计。 在参考文献[18]中，提出了沿图像边缘应用定向插值。在该方法中，从原始图像中计算图像边缘，以定义与邻居的方向插值。考虑到滤波器阵列、图像边缘和恒定色调的特征，从现有波段中恢复每像素缺失的波段。然后，通过应用小波变换将图像分离成高频分量和低频分量，并且使用亮度信息来修改高度相关的高频图像以细化去马赛克图像。在参考文献[19]中，描述了一种多光谱算法，该算法利用主波段相邻值的加权平均值来估计每个空间位置处缺失的主波段。在不同的空间位置重建的主导频带，然后被用作引导图像，以估计所有其他丢失的频带使用引导滤波器和残差插值。3. 提出的多光谱去马赛克系统3.1. 选定的MSFA模式在多光谱单传感器成像中，光谱带数量的增加削弱了空间相关性。为了保持光谱相干性和空间均匀性，我们使用基于二叉树的通用方法生成MSFA [9，10，14，15]。该方法通过对棋盘格模式进行二叉树递归划分，生成最小可配置自动机。 二叉树的定义是：光谱带和每个光谱带的采样密度，Sp （ x ， y ） =<$λL （ x ， y ， λ ） <$p （ λ ） dλ（ 1）其中L（x，y，λ）是每个位置处的光谱相关辐照度，φp（λ）是给定传感器响应的光谱灵敏度函数（图3），λ是波长[6]。令IMSFA x，y是来自单个传感器的原始多光谱数字图像。IMSFA x，y是每个像素Xel具有一个通道的马赛克图像，并且可以表示为IMSFA（x，y ）=∑Sp（x，y ）Zp（x，y ）（ 2）p其中Zp（x，y）是维度P的正交函数，并且如果通道p在位置x、y处存在或不存在，则分别取值1或0。在频域中，参考文献[18]中的MSFA，N波段单传感器光谱成像处理原始数据表示如下：IMSFA （x ， y）=∑Sp （x ， y） mp （x ， y）（3）其中，mp（x，y），（p=R，G，B，O，C）是位置处的调制函数 x，y，其表达式依赖于MSFA模式。 应用于我们的4-和5-波段MSFA模式选择图。在图1（c）和2（c）中，这些调制函数可以表示如下：R（x，y）=（1+cos（πx））（1+cos（πy））/4被视为参数。MSFA是通过将每个光谱带分配给二叉树的叶子来形成的在我们的情况下，对于所识别的4带和5带MSFA模式（见图1和图2），1和2），我们按以下顺序分配了更高的采样密度：4波段MSFA的G、R和B-O，5波段MSFA的G、R-B-O-C。表2显示了每个MSFA模式中光谱带出现的概率。3.2. 估计多光谱亮度多光谱图像由M行、N列和P个光谱通道的阵列表示。在每个空间位置（X，y）处，几个光谱分量（Sp）由下式定义：mG（x，y）=（1+cos（πx）cos（πy））/2mB（x，y）=（1-cos（πx））（1+cos（πy））/8mO（x，y）=（1-cos（πx））（1-cos（πy））/8对于4波段MSFAmR（x，y）=（1+cos（πx））（1+cos（πy））/8mG（x，y）=（1+cos（πx）cos（πy））/2mB（x，y）=（1-cos（πx））（1+cos（πy））/8mO（x，y）=（1-cos（πx））（1-cos（πy））/8mC（x，y）=（1+cos（πx））（1 -cos（πy））/8对于5波段MSFA。根据4频带MSFA的等式（4），等式（4）为：（3）成为（四）（五）p⎪⎩⎧⎪⎪⎨⎪⎪⎩N. Hounsou等人阵列12（2021）1000884∑̃（）=（）IMSFA（x，y）=14[R（x，y）+2G（x，y）+12B（x，y）+12O（x，y）]+14[R（x，y）-12O（x，y）][cos（πx）+cos（πy）]+14[R（x，y）+2G（x，y）-12B（x，y）+12O（x，y）]cos（πx）cos（πy）-18B（x，y）[cos（πx）-cos（πy）]（六）图二. 二叉树之前的5波段MSFA配置：（a）考虑出现概率的二叉树（b）分解和子采样过程（c）MSFA配置。让我们考虑以下变换：cos（πx）= cos（π（ x+ y- y））=cos（π（x+y））cos（πy）+sin（π（x+y））sin（πy）（A）我们的MSFA图案使得MSFA图像中G pixels处的空间坐标X和y的和是偶数，然后，在步骤S102，图像可以写为IMSFA（x，y）=18[R（x，y）+4G（x，y）+B（x，y）+O（x，y）+C（x，y）]+18[R（x，y）-O（x，y）][cos（πx）+cos（πy）]+18[R（x，y）]+4G（x，y）+O（x，y）-B（x，y）-C（x，y）]cos（πx）cos（πy）（9）和（9）可以分成两项，IMSFA（x，y）=18[R（x，y）+4G（x，y）+B（x，y）+O（x，y）+C（x，y）]cos（π（x + y））= 1; sin（π（x + y））= 0。（B）从（A）和（B），我们有cosπxcosπy。因此，在G pixels处，等式（6）变为+S（x，y）mS（x，y）S=R、G、B、O、C从等式（8）和（10），我们得到以下项（十）IMSFA（x，y）=14[R（x，y）+2G（x，y）+12B（x，y）+12O（x，y）]+14[R（x，y）-12O（x，y）][cos（πx）+cos（πy）]+14[R（x，y）+2G（x，y）-12B（x，y）+12O（x，y）]cos（πx）cos（πy）（七）N. Hounsou等人阵列12（2021）1000885∑̃×这个方程可以分为两部分，IMSFA（x，y）=14[R（x，y）+2G（x，y）+12B（x，y）+12O（x，y）]L4MSFA（x，y）=14[R（x，y）+2G（x，y）+12B（x，y）+12O（x，y）]（ 11）L5MSFA（x，y）= 1 8 [R（x，y）+4 G（x，y）+B（x，y）+O（x，y）+C（x，y）]（十二）等式（11）和（12）表示在4带和5带MSFA中G像素处的亮度分量，等式（8）和（10）的其它项表示色度分量。在参考文献[35]中，使用具有1111支持的高斯低通滤波器来估计CFA图像的每个像素像素el处Lyan等人[36]显示该滤波器的局限性，并提出了一个高斯低通滤波器与5× 5的支持，以估计在CFA的G像素的亮度+S（x，y）mS（x，y）S=R，G，B，O（八）图像，因为亮度和色度之间的重叠较少，- 是的因此，降低了算法的复杂度，同样，在相同条件下，5波段MSFA多光谱尽可能地改善结果。在我们的情况下，空间坐标在G pixels处的条件减少了空间坐标之间的重叠。N. Hounsou等人阵列12（2021）1000886表1现有方法对比表。作者贡献限制参考文献出版日期Miao等人布劳尔和阿赫Yasuma等人Wang等人-基于二叉树的通用MSFA-通用多光谱去马赛克-空间和光谱相关性利用-边缘相关信息-周期性6波段MSFA-光谱相关开发-利用卷积-适用于通用MSFA-7-带三原色和四原色滤色器的MSFA-空间分辨率、光谱分辨率和动态范围-基于离散小波变换-低频和高频分量的插值方式不同-基于维纳插值的LMMSE和残差插值组合-对MSFA模式的-光谱带出现的概率为1/2、1/4或1/ 8，这是限制性的，不能任意-边缘检测插值的性能受到限制未考虑去马赛克光谱带性能不足性能很大程度上取决于频谱相关性对噪声谱带数目越大，迭代越高，November20062006年10月[11]九月2010九月2013[31] 2014年7月水谷等人Aggarwal等人Monno等人-用迭代色差算法-周期对角MSFA-基于权值先验学习的加权线性插值-通用5波段MSFA，主要为G波段-引导滤波插值-通用5波段MSFA，主要为G波段-自适应残差插值[39] 2014年12月随机MSFA2014年6月29日性能不足[16] 2012年1月重建图像中的一些外观伪影[32] 2017年12月性能取决于光谱相关性Jaiswal等-使用Monno等人的通用MSFA。[20] 2017年2月（续下页）[9]第[12个][30个]N. Hounsou等人阵列12（2021）1000887××⎛⎝⎞⎠̂̂表1（续）作者贡献限制参考文献出版日期-基于频域分析Amba等人-8带MSFA算法-在物体边缘的方法的复杂性[34] 2017年6月Mihoubi等人Sun等人16带MSFA算法-一种基于伪全色图像的估计-通用4波段统一MSFA-基于恒定色调和小波变换的-通用9波段MSFA，主要为G波段-引导滤波和残差插值随机MSFA处理将信息限制在边缘[2] 2017年4月[18]四月2018[19]一月2020表2谱带出现的概率。MSFA光谱带RGBOC4频段四分之一二分之一1/ 81/ 8–5波段1/ 8二分之一1/ 81/ 81/ 8亮度和色度分量，并且可以避免重构的多光谱图像中的伪像。因此，我们使用高斯低通滤波器 与 一 55 支持 作为 在 [三十六] 到 估计 的 亮度对于其他像素，使用高斯低通滤波器3.3.1. G分量缺失估计为了考虑边缘的细节，我们使用卷积方法来估计丢失的绿色分量，使用对称的3× 3低-支持11的过滤器[35]。色度分量是由色差得到的通过根据等式（13）的滤波器。设每个像素上的G分量为R、G、B、O和C。被 的 推定GM n3.3. 提出的多光谱去马赛克算法该算法是一个多步骤的方法，首先估计缺失G（x，y）=∑ ∑g（i，j）f（x-i，y-j）（13）卷积核g是低通滤波器，定义为：G分量。g=1401 0141（14）01 0i=1j=1N. Hounsou等人阵列12（2021）1000888图3. 4波段（左）和5波段（右）滤光片的光谱灵敏度。N. Hounsou等人阵列12（2021）1000889⌣-1{G（x，y）=（+）（-）（+）（-）1G和I MSFA的矩阵乘积f允许在卷积之前更新每个空间位置处的不同像素的值。f（x，y）=G（x，y）/MSFA（15）CG，分别。参考4波段MSFA（图1（c）），G像素在水平或垂直方向上具有红色（R）相邻像素。因此，我们估计R，R（x，y）=如果G有R个水平邻域，则G（x，y）+12（R（x，y-1）-G（x，y-1）+R（x，y+1）-G（x，y+1））（十七）如果G有R个垂直邻域，则G（x，y）+2（R（x-1，y）-G（x-1，y）+R（x+1，y）-G（x+1，y））从MSFA获得G频带的二次采样Gω（图1和图2）。1（c）和2（c））通过用1填充每个G PIXEL，用零填充其他PIXEL：此外，G像素在水平和垂直方向上具有相似的B和O邻居。因此，B和O在G像素的1000否则（十六）同样的方式。在水平方向上，它们占据X，y 1，X，y 3位置（第一种可能性）或X，y 3，X，y 1位置（第二种可能性）。接下来，我们估计B如下：B（x，y）=对于第一种可能性y位置，G（x，y）+12（B（x，y-1）-G（x，y-1）+B（x，y+3）-G（x，y+3））（十八）对于第二种可能性y位置，则G（x，y）+2（B（x，y-3）-G（x，y-3）+B（x，y+1）-G（x，y+1））3.3.2. G像素在估计了不同像素处的缺失绿色带之后，通过色差R-G、B-G、O-G的双线性插值来确定G像素处的每个缺失分量R、B、O和C，并且在垂直方向上，通过反转索引顺序以相同的方式估计B。对于5波段MSFA（图2（c）），使用相同的策略来估计G像素中的R、B、O和C波段。N. Hounsou等人阵列12（2021）10008810图四、 使用卷积方法的G带估计：（a）f矩阵X（b）每个像素X el处 的 G 估 计 值 （c）g卷积核。N. Hounsou等人阵列12（2021）10008811图五. 所提出的算法的框图。见图6。 雕像图像的R带的视觉比较：（a）原始R带，（b）GF，（c）BTES，（d）LI，（e）ASCD，（f）POS，（g）IID，以及（h）针对5-带MSFA。N. Hounsou等人阵列12（2021）10008812见图7。 微珠图像G带的视觉比较：（a）原始G带，（b）GF，（c）BTES，（d）LI，（e）ASCD，（f）POS，（g）IID和（h）5-带MSFA。见图8。 海绵图像的O带的视觉比较：（a）原始G带;（b）GF;（c）BTES;（d）LI;（e）ASCD;（f）POS;（g）IID;（h）5-带MSFA。N. Hounsou等人阵列12（2021）10008810̂()̂′̂（）（）（）（）⎛⎝⎞⎠日本语2̂×3.3.3. 剩余缺失分量估计像素C、0、B和R处的其他缺失分量R、B、0和C通过色差的加权和来估计，其中根据以下步骤基于亮度分量来计算权重：3.3.3.1. 多光谱 亮度 L（x，y）估计。 我们 估计表44波段MSFA去马赛克算法的SSIM结果亮度分量Lx，y的不同方法在第3.2节中描述。圆周率根据 到3.3.3.2. 重量 计 算 . 的估计亮度L（x，y）使用归一化为H0=1/8[ 1 3 3 1]的低通滤波器进行分解，其转置 H0到水平HL（X，y）和垂直方向LH（X，y）与我们上一篇文章中使用的小波不同[27]。我们计算了LHLx，y和LLHx，y的能量，分别将它们表示为eHLx，y和eLHx，y，并使用它们来计算每个像素Xel处的水平和垂直权重：F*eHL（x，y）F*eHL（x，y）+F *eLH（x，y）F*eLH（x，y）F*eHL（x，y）+F *eLH（x，y）（十九）（二十）表55波段MSFA去马赛克算法的平均PSNR结果。洞穴数据集阿尔戈谱带平均值其中F是3× 3大小的空间平均核F=1911 1十一十一（二十一）11 1能量eHL（x，y）和eLH（x，y）计算为：eHL =LHL系列LH=0.01L二（二十二）蓝色位置中的红色样本估计如下：R（x，y）=B（x，y）+wh（x，y）（DRB（x-1，y）+DRB（x+1，y））表65波段MSFA去马赛克算法的平均SSIM结果洞穴数据集wv（x，y）（x，y）（E/2005/10/Add.1）+ 2其中：D （x，y-1）+D（x，y+1）（二十三）DRB（x，y）=R（x，y）-B（x，y）（24）相同的策略被应用于重建红色位置中的蓝色分量。其他组件也是如此。所提出的算法的框图如图所示。 五、表34波段MSFA去马赛克算法的PSNR结果在我们的实验中，我们在400和700 nm之间每10 nm采集31个波段的图像。图像大小为512512像素。的CAVE数据集通常被用作标准的多光谱图像数据集。为了评估所提出的算法的性能，我们在5波段多光谱去马赛克方法的情况下，使用基于自适应光谱相关去马赛克（ASCD）[20]、实用单次多光谱去马赛克（POS）[7]、BTES方法[9]、引导滤波器（GF）[16]、线性插值（LI）[31]和迭代强度差（IID）[33]的去马赛克算法进行比较。w（x，y）=h2e图像IBBI [28]BTES [9][29]第二十九话[第18话]LCBD气球0.90120.91100.90250.90170.9980羽毛0.95760.99340.99020.99070.9870绒球0.92280.99280.99050.98980.9852玩具0.96570.99830.99720.99720.9917珠0.89000.88570.87580.88230.8903布0.90110.86700.86770.88620.9272雕像0.88160.87270.88490.88280.9776脸0.99240.99720.99830.99700.9939花0.96630.99580.99460.99290.9859豆0.95390.98640.99110.98350.9500绘画0.94150.93930.98330.96250.9231线程0.98180.98880.99690.99420.9812超级球0.97630.99680.99350.99520.9680食品0.88210.88640.88270.86390.9688水彩0.97390.98480.99340.98310.9857平均0.93930.95310.95620.95350.9676wv（x，y）RGBOC[20]第二十话45.8147.8544.9445.2044.6045.68销售点[7]45.3648.0643.9644.7544.6945.36BTES [9]42.6046.5440.4639.4137.8441.37[16]第十六话44.6147.6543.3142.1341.2543.79[31]第三十一话43.7947.0541.0540.6539.1242.33IID [33]44.1046.3143.3443.1242.5243.87LCBD45.6250.3648.7447.5335.1345.48阿尔戈光谱禁令D是说RGBOC[20]第二十话0.98410.99170.98560.98650.98210.9860销售点[7]0.98310.99220.98220.98400.98250.9848BTES [9]0.97240.98010.97100.96100.95240.9674[16]第十六话0.98050.99100.98010.97700.97900.9815[31]第三十一话0.97800.98890.97910.96710.96120.9749IID [33]0.97950.98740.98020.97010.98070.9796LCBD0.98990.99460.99020.98970.99080.9910图像IBBI [28]BTES [9][29]第二十九话[第18话]LCBD气球45.6742.0338.0746.9450.19羽毛37.4335.1533.1939.4441.38绒球41.4038.4630.0641.2943.14玩具43.9042.7134.5443.4344.52珠32.3130.7526.4833.2131.68布30.8628.5329.9931.3634.29雕像42.7540.6337.8144.1438.14脸41.2838.2136.0540.2942.71花42.8739.1136.0738.4344.03豆35.0432.6230.6836.9335.26绘画31.9930.8931.0234.8635.81线程38.6236.3437.7743.3041.22超级球43.5941.7939.4744.9339.60食品42.7340.0837.3743.2640.65水彩34.4932.2527.0536.1545.70平均38.9936.6433.7139.7340.55N. Hounsou等人阵列12（2021）10008811×4.1. 目视性能评价出于评估目的，我们从洞穴数据集中选择了雕像、珠子和海绵图像。图图6-8示出了对于不同算法分别对图像雕像的R带、图像珠的G带和图像海绵的O带进行视觉比较的结果。4.2. 定量业绩评价为了定量评估所提出的4波段和5波段MSFA算法的客观性能，我们我们用我们提出的算法获得的平均结果最高分用粗体表示。5. 讨论在文献中对多光谱图像进行去马赛克的大多数现有工作的基本问题是在重建图像中显著存在伪影。因此，我们的任务是找到一个最佳的算法来克服这些限制。在图6中，通过不同的比较算法重建的图像看起来比原始图像的图像更清晰，但是噪声很大。BTES、LI和POS方法显示边缘退化;然而，使用GF、ASCD和IID方法可以减少此类问题。用该方法重建的图像清晰度与原图像几乎相同，但几乎没有边缘失真或模糊。如可以看到的 在图7中，BTES和LI方法表现出严重的边缘失真和模糊。这些失真也是可见的ASCD方法，但不太强调。使用GF、POS和IID方法，模糊是明显的。我们的方法呈现轻微的边缘失真，但几乎完全没有模糊。通过图8，我们看到通过GF方法重建的图像看起来比原始图像更清晰，但具有伪影，而通过ASCD方法重建的图像不太清晰，但保留了边缘。采用BTES、LI和POS方法，重建图像显示伪影，结果非常不清楚。同样，IID方法的性能与我们的方法相比，在重建图像方面是不够的。通过对比，该算法重建的图像包含较少的扭曲，结果更清晰。 很明显，观察到B和C带的行为根据表3中的结果，我们提出的4波段MSFA算法在PSNR方面优于Cave数据集中使用的15幅图像中的10幅的其他方法，实现了最佳的平均PSNR值。接下来是DFWF方法，其中五张图像的分数很好。在表4中，根据SSIM值，我们的方法在五个图像和最佳平均SSIM值的情况下呈现出更好的结果，其次是BTES方法，其在六个图像的情况下呈现出良好的结果，但平均SSIM值低于我们的方法。总的来说，本研究中提出的4波段MSFA方法在PSNR和SSIM方面都优于所有其他方法。在表5和6中，我们的算法在三个波段上优于其他算法，即，G、B和O，就PSNR而言，但与ASCD方法相比，平均值略低。这可以通过以下事实来解释：用于估计主导频带的卷积技术考虑了声道间串扰足够高的边缘的细节，而对于其他频带（特别是C频带）不是这种情况。然而，在SSIM方面，所提出的方法优于所有其他方法。在全局上，我们的算法具有更好的视觉和客观的性能相比，其他方法。6. 结论在本文中，我们提出了一个多光谱去马赛克算法，利用卷积方法来估计G-波段和亮度分量估计其他丢失的波段。我们已经使用通用的Benary树方法在G波段生成了具有所需密度的MSFA。为了提取亮度分量，对于绿色像素，我们其他组件，我们已经应用了1111高斯低通滤波器。进行的测试的结果表明，我们提出的算法是更强大的比现有的方法，无论是在视觉上和客观的测量。在今后的工作中，我们将研究这些成果在农业、医药等领域的应用。将进行广泛的研究，以提供所提出的算法的一般扩展到五个以上的图像波段。此外，与我们的研究相关的MSFA是矩形的，我们计划探索六边形MSFA的效率作者贡献“概念化，诺伯特·H阿马杜S. M.皮埃尔·G。方法学，诺伯特H.，阿马 杜 S. M. 皮 埃 尔 ·G 。 软 件 ， Norbert H. 和 Amadou T. S. M.; 验 证Amadou T. S. M.皮埃尔·G。形式分析，Norbert H.，阿马杜S. M.皮埃尔·G。调查，诺伯特H.，阿马杜S. M.皮埃尔·G。Norbert H.，阿马杜S.M.皮埃尔·G。作者：Norbert H.和Amadou T. S. M.;写作-原始草稿准备，诺伯特H。和Amadou T. S. M.;作者：Norbert H.关于AmadouT. S. M.;可视化，Norbert H.，阿马杜S. M.皮埃尔·G。作者：AmadouT. S. M.皮埃尔·G。项目管理，Amadou T.S. M. 皮埃尔·G。资金收购，皮埃尔G.竞合利益作者声明无利益冲突致谢感谢所有那些谁，从近或远，有助于创造这一工作。参考文献[1] 杨文龙，杨文龙，杨文龙.在边缘检测和迭代差分方法中使用强度的多光谱去马赛克。Int Conf SignalImage Tech Internet Based Sys 2016.[2] 杨文龙，杨文龙，杨文龙.基于伪全色图像的多光谱图像去马赛克。IEEETrans Comput Imaging2017;3（4）：982-95.[3] 作者：Jiangsu M，Jiangsu M.使用自适应核上采样的多光谱去马赛克。IEEEInt Conf Image Proc2011：3218-21.[4] [10]杨文，李文. 用于基于频谱的色彩再现的Si x波段HDTV摄像机系统。ImagingSciTech 2004;48（2）：85-92.[5] 崔C，刘H，本-以斯拉M.通过优化的宽带照明实现多光谱成像。ComputVis2010;86（2-3）：140-51.[6] Lapray PJ，Wang X，Thomas JB，Gouton P.多光谱滤波器阵列：最新进展和实际应用。传感器2014;14（11）：21626。[7] 张文龙，张文龙，张文龙.一种实用的单像元单次多光谱成像系统。IEEE TransImage Process 2015;24（10）：3048-59.[8] 作者：Thomas JB，Lapray PJ，Gouton P，Clerc C.用于联合可见光和近红外采集的原型SFA相机的光谱表征。传感器2016;16：993.[9] Miao L，Qi H，Ramanath R，Snyder WE.基于二叉树的多光谱滤波器阵列通用去马赛克算法。IEEE TransImage Process 2006;15（11）：3550-8.[10] 苗 亮 ， 齐宏 .产 生 镶嵌 多 光 谱滤 光 片 阵列 的 一 般 方法 的 设 计和 评 价。 IEEETransImage Process 2006;15：2780-91.[11] 作者：J.In：Group GC，editor. 一种基于彩色滤光片阵列的多光谱相机。2006年，第12次讲习班。[12] Yasuma F，Mitsunaga T，Iso D，Nayar SK.广义组合像素相机：分辨率，动态范围和光谱的捕获后控制。IEEE Trans ImageProcess 2010;19：2241-53.N. Hounsou等人阵列12（2021）10008812[13] 王翔，汤建斌，张建勇，高东，多光谱