光谱遥感时空融合：统计分析与评述

制作和主办：Elsevier沙特国王大学学报光谱遥感时空融合：统计分析与评述陈广生a，陆海亮a，邹伟涛a，李林辉a，马哈茂德·艾曼b，陈晓c，d，e，景伟鹏a，王健f，李超a，王建a东北林业大学信息与计算机工程学院，哈尔滨150040b埃及，Shebin El-Koom 32511，Menoufia大学，人工智能学院c华北理工大学，唐山063009d河北省数据科学与应用重点实验室，唐山063009e唐山市数据科学重点实验室，唐山063009中国科学院航天信息研究所，北京100094阿提奇莱因福奥文章历史记录：2022年11月8日收到2023年1月14日修订2023年2月24日接受2023年3月2日在线发布保留字：遥感图像时空融合权值机器学习深度学习A B S T R A C T各种传感器获取的遥感图像已广泛应用于不同的对地观测任务中。然而，由于预算和传感器技术的限制，单个传感器不能同时提供具有高空间和时间分辨率的观测图像。这给需要高时空分辨率数据的遥感研究带来了为了解决上述问题，时空融合（STF）方法被提出并受到广泛关注.遥感STF的主要挑战是重建物候和土地覆盖类型的变化。为了克服这一挑战，基于不同的原理和策略，已经提出了许多STF方法。由于最近提出了STF方法，因此有必要进行新的综述以反映当前的研究现状。因此，在这篇综述中，我们总结了现有的研究，讨论了他们的基本原理和局限性，收集了一些最近的应用，并提供了一个全面的概述目前的进展。此外，为了促进和推动该社区的研究，我们还收集了公开可用的资源，并介绍了最常用的定量方法。最后，我们就未来需要注意的一些开放性问题和挑战进行了讨论。版权所有2023作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。内容1.导言. 2602.以前的作品2613.文献统计2614.STF方法概述4.1.基于混合的方法2644.2.基于权重函数的方法2654.3.基于机器学习的方法4.4.贝叶斯方法266*通讯作者：国家林业局林业数据科学与云计算实验室，东北林业大学，哈尔滨，HLJ，中国。电子邮件地址：lichaonefuzyz@nefu.edu.cn（中国）Li）。沙特国王大学负责同行审查https://doi.org/10.1016/j.jksuci.2023.02.0211319-1578/©2023作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comG. Chen，H.Lu，W.Zou等人沙特国王大学学报2604.5.深度学习方法2664.6.混合方法2674.7.质量评估2684.7.1.质量评估2694.7.2.量化指标2695.打开资源2696.应用2707.防御和前景2708.结论271竞争利益声明致谢271参考文献2711. 介绍遥感是一种基于电磁波理论，通过测量发射和反射的辐射来收集目标信息的技术。遥感技术与当前先进的人工智能和大数据技术相结合，可以促进农业生产、气候监测等行业的发展。随着20世纪60年代太空计划的开始，在地球观测卫星上，如中分辨率成像光谱仪和陆地卫星，可以为不同的研究目的进行全球观测，如陆地生态系统监测（杨等人，2021）、道路网提取（Yuan等人，2022），森林制图（Nguyenet al.， 2022）和作物监测和分类（Sayadi等人，2022;Kavitha等人，2022年）。一般来说，不同卫星获取的遥感图像不具有相同的空间和时间分辨率。空间分辨率是指一个像素的大小在地面上，是传感器可以分辨的最小物体的量度。一个像素是组成光学卫星图像的组成部分，基本上决定了一张图片的细节。因此，像素尺寸越小，空间分辨率越高，视觉上会更清晰。时间分辨率是传感器重新访问陆地表面的相同部分的重复周期或频率的量度。遥感影像的时空分辨率直接影响着地表动态监测任务的完成。然而，由于预算和传感器技术的限制，在遥感应用中，要获得高空间分辨率的图像序列往往需要较长的重访周期。例如，空间分辨率为30米的陆地卫星多光谱数据需要通过至少16天的重访周期（Roy等人，2014年）。因此，类似陆地卫星的图像难以及时捕获扰动事件（Gao等人，2006年）。另一方面，中分辨率成像光谱仪（MODIS）具有高的时间（日）分辨率，但a空间分辨率低，从250米到1 000米不等（Barnes和Salomonson，1992年）。类似于MODIS的图像对于监测异质景观内的生态系统和地面覆盖物变化是无效的（Shabanov等人，2003年）。这两种卫星图像具有很强的互补性。因此，对这些图像进行融合是一种较好的解决方案.遥感图像融合方法可分为像素级、特征级和决策级（Ghassemian，2016）。由于STF方法是逐像素重建目标图像，因此可以看作是像素级的。在过去的几十年里，STF方法已经发展到融合不同的卫星图像，以产生具有高空间和时间分辨率的合成数据集。根据参考文献（Zhu等人，2018），详细描述了STF的输入和输出。所提出的STF方法为克服现有卫星的局限性提供了一条可行而有效的途径。表1列出了STF方法中常用的多光谱卫星图像对。从表1中可以看出，最常用的卫星图像对是Landsat-MODIS上的第一行，共88篇。另外值得注意的是，一些学者使用不同的传感器对来评估设计的STF方法。例如，Cisse et al.（Cissé等人，2022）提出了一种新的深度学习方法，以基于MODIS-Landsat对和Sentinel 2-Sentinel 3对生成高质量的预测图像。Fig. 1.根据（Zhu等人， 2018年）。G. Chen，H.Lu，W.Zou等人沙特国王大学学报261目前，STF已成为一种强有力的解决方案，以获得包含原始精细图像的空间内容与增强的时间分辨率的遥感图像。 STF的主要挑战是植被物候和土地覆盖类型变化的重建（Emelyanova等人，2013年）的报告。为了应对这一挑战，基于不同原则和策略的STF框架相继被提出。实例包括：MMT（Zhukov等人，1999）是第一种基于解混的方法，其可以通过在谱域中解混现有的低空间分辨率图像来重建高空间分辨率图像; Gao等人（Gao例如，2006）首先提出了空间和时间自适应反射融合模型（STARFM），其通过从现有高空间分辨率图像的相邻像素中选择的相似像素的加权和来估计目标图像像素;并且，Li等人（Li etal.，2013）首次将贝叶斯最大熵（BME）（Christakos和Serre，2000）引入到遥感STF中。通过建立误差模型，将不同分辨率的MODIS和AMSR-E产品连接起来近几年来，随着机器学习领域的不断发展，基于学习的STF方法引起了研究者的关注。例如，Huang等人（Huang and Song，2012）设计了最早的基于学习的STF模型，称为基于空间解析表示的时空反射融合模型（SPSTFM）。深度学习源于机器学习技术，其表现明显优于其前辈。例如，Song等人（Song等人，2018）首次在海量遥感数据背景下开展深度卷积神经网络（CNN）的STF研究。此外，也有学者尝试将上述方法相结合，以提高融合性能。因此，如图所示。 2、遥感中的STF方法可以将其分类为基于解混的方法、基于权重函数的方法、基于贝叶斯的方法、基于机器学习的方法、基于深度学习的方法和混合方法。从图2中可以看出，基于解混的方法是自1999年以来开发的最早的STF方法。但基于权函数的方法受到了更多的关注，在30篇文章中使用了该方法。尽管基于深度学习的方法出现较晚，但自2018年以来，已有27篇论文使用了它这意味着基于深度学习的方法近年来得到了广泛的研究。同时，对其它类型的方法也作了进一步的研究.然而，自2017年以来，没有更多的研究使用贝叶斯方法。鉴于深度学习技术在其他CV任务中的突出成就，其在STF领域并未取得压倒性优势。从这一点来看，基于深度学习的方法在未来有很大的提升空间。本文综述了遥感观测背景下的时空传递函数方法的研究进展这一审查的主要贡献如下：阐述了遥感STF方法对现有STF方法所使用的卫星数据以及各种方法的发展进行了统计和分析。并从论文发表年份、期刊、关键词等方面进一步分析了STF方法的发展趋势本文在总结前人研究成果的基础上，将STF方法分为6类，即基于解混的方法、基于权函数的方法、基于机器学习的方法、基于贝叶斯的方法、基于深度学习的方法和混合方法。对各种方法进行了统计，阐述了经典算法的基本原理.此外，还统计了常用的量化指标，并给出了计算公式.公开可用的数据集，STF方法代码和定量指标代码进行了总结。最后，我们收集了一些STF方法的应用场景，并总结了它们的挑战和可能的未来发展方向。这篇评论的其余部分如下所示（图。 3）。第二部分介绍了光谱遥感中STF方法的研究进展第三部分从不同的角度分析了STF的研究动态第四节详细介绍了各类STF方法的基本原理和主要步骤，并对评价指标进行了总结。在第5节中，提供了一些公开可用的资源。第六节收集和分析了近两年来STF方法的一些应用。在第7节中，讨论了未来的挑战和潜在的研究方向。第8节结束本文。2. 以前的作品本节概述了以前与遥感科学技术工作队专题有关的审查。Chen等人（Chen等人，2015）首先将现有的融合方法分为三类。本文还使用公共数据集Coleambally灌区（CIA）和私人数据集鄱阳湖湿地数据集对近十年来已有的STF方法进行了统一比较。最后，分析了现有方法的优缺点.之后，Zhu等人（Zhu等人，2018）对时空数据融合方法的文献进行了调研，将现有方法重新分类为基于解混的方法、基于权函数的方法、基于贝叶斯的方法、基于学习的方法和混合方法。分析了其潜在的应用领域和发展前景。通常，他们强调缺乏普遍接受的评估方法和标准数据集。此外，这篇综述可以帮助研究者选择与其研究内容相匹配的STF方法。STF 方 法 的 进 一 步 总 结 由 Ketzu 等 人 提 供 （ Ketzu 和 Stein ，2019）。针对缺乏普遍接受的评估方法，他们收集了最常用的量化指标。此外，作者还对已有的工作进行了分析，并指出了今后需要考虑的问题。为了促进这一领域的发展，李等（Li等，2020年a）开发了一套基于Landsat-MODIS图像对的稳健的基准STF数据集。该数据集由三个子集组成，分别反映了土地覆盖类型的变化，农村和城市地区的物候变化。本文还对现有的STF方法进行了综述，并在其建议的数据集上对五种STF方法进行了统一的比较本文在前人工作的基础上，进一步总结和归纳了现有的工作。同时，对典型的方法进行了分类解释。本文还收集了公开的数据集和代码，总结了常用的度量标准，希望能为进一步的研究提供一些有价值的信息。3. 文献统计本部分从发表年份、期刊、关键词三个方面对遥感科技期刊进行了总结和分析。在过去的几十年里，这一领域的研究发展迅速。特别是近年来，它受到了广泛的关注，发表了许多关于这方面的文章。我们尽最大努力收集在国际期刊和会议上发表的文章。为了清晰地描述STF的研究趋势，我们从2010年开始划分从1999年到2010年的112010年以后，每三年进行一次统计，发现论文发表量逐渐增加。2011年至2013年期间发表了11篇文章，●●●G. Chen，H.Lu，W.Zou等人沙特国王大学学报262表1STF方法中常用的多光谱卫星图像对其中，SR：空间分辨率（米），TR：时间分辨率（天），LT：发射时间（年）。卫星/传感器对SrTRLt纸张计数Landsat 5 -8 j中分辨率成像光谱仪（Chen等人，2018）Landsat-5 j MERIS（Mellita-Milla et al.， 2009）Sentinel-2 j MODIS（Chen等人，2021 b）LISS III j AWiFS（Rao等人，2015 a）Sentinel-2 j Sentinel-3（Wang等人， 2018年）Landsat-8 j Sentinel-2（Wang等人，2017b）MODIS j AMSR（Li et al.， 2013年度）Landsat j MODIS j AMSR（Mizuochi et al.，2017）Landsat j MODIS j GOES 10（Wu et al.，2015）Landsat j MODIS j MSG-2 SEVIRI（Wu等人，（2015年）3030j 3001023.5电话：+86-1030j 500j 10000100j 1000j 4000100j 1000j 300016j 116j 310j 124J510j 1.816j 108J116j 1j 116j 1j 0.216j 1j 0.1小行星1984j 20001984j2002年2015年j 20002003年j2015年j 2016年2013年j 20152000j 20021984年j 2000年j 2002年1984年j 2000年j 1997年1984年j 2000年j 2005年88332221111图二.各种STF方法的发展示意图。图三.本次审查的结构。2014年至2016年，2017年至2019年发表了28篇文章，33篇文章2020年至2022年发表的文章（图） 4）.关于文献来源的其他分析见（图5和图6）。在所收集的文章中，24种方法发表在环境遥感，22 种方法发表在IEEE Transactions onGeoscience and Remote Sensing，19种方法发表在Remote Sensing。以上三种期刊均为遥感领域的顶级期刊。这表明遥感领域的科技基金已经得到了广泛的关注和认可。特别是2022年，IEEE Transactions onGeoscience and Remote Sensing已收录7篇文章，似乎对该领域更感兴趣（图6）。随着遥感STF的发展，近 年 来 ， 《 IEEE Geoscience and Remote Sensing Letters 》 和《International Journal of Remote Sensing》等期刊也收录了许多文章。Keywolds共生图如图7所示。关键词是论文的核心内容.通过对论文关键词的分析，可以对这一研究领域有一个大致的了解通过分析关键词的共现，可以理解所代表的学科中主题之间的关系。如图7所示，出现最多的关键词是位于地图中心的“landsat”和“modis”。这也间接验证了我们的统计工作，大多数论文使用Landsat-MODIS对STF研究（见表1）。目前，该领域基于深度学习的方法受到了更多的关注。有很多G. Chen，H.Lu，W.Zou等人沙特国王大学学报263图四、STF方法的发展趋势图五.期刊统计表见图6。每年在不同期刊上发表论文数量的统计图。黄色区域出现的深度学习技术关键词，如同时，一些其他的方法也得到了进一步的研究，如因此，通过分析关键词的共现情况，可以大致了解该领域的数据基础和最新研究进展。它也可以帮助我们确定可能的研究方向。G. Chen，H.Lu，W.Zou等人沙特国王大学学报264XX×ðÞð Þ ð Þ4. STF方法概述见图7。 Keywolds共现图。不同的决议。MMT通过四个步骤获得融合图像：基于前面的工作，本节将现有的STF方法分为六种类型：基于解混的方法、基于权重函数的方法、基于机器学习的方法、基于贝叶斯的方法、基于深度学习的方法和混合方法。对每种方法的细节进行了描述第一步是利用设计的无监督聚类算法获得类陆地卫星影像的分类图。第二步是定义CI（类MODIS图像）混合像素内不同类别的影响：分别在下面此外，在本节的最后，我们还总结了一些质量评价主要用于STF方法。cbi;j;k0¼km;n2k0pbi;j;m;n：14.1. 基于解混的方法光谱分解主要包括两个方面。一种是将混合像素分解为多个端元 。 另 一 种 方 法 是 计 算 混 合 像 元 中 端 元 的 比 例 （ Keshava 和Mustard，2002）。端元通常是景观中的某种对象，例如水、建筑物 、 植 被 等 。 在 基 于 解 混 的 方法 中 ， 多 传 感 器 多 分 辨 率 技 术（MMT）（Zhukov et al.，1999）被称为第一个融合不同传感器获得的光谱图像的方法表2基于混合的方法。其中cb i;j;k0是类别k0对频带b中CI的索引i;j的影响。PSF（点扩散函数）给出了从FI的一组像素m;n到频带b中CI的相应i;j像素的离散近似pb=i;j;m;n。第三步是通过以一个CI像素步长移动5 × 5像素的窗口来解混中心CI解混公式定义为：KCIbi;jcbi;j;kCIbkebi;j：2k¼1年文章引文年文章引文1999MMT（Zhukov等人，一九九九年）3772013ESTDFM（Zhang等人， 2013年度）1032002LAC-GAC（Maselli和Rembold，2002年）352014U-STFM（Huang和Zhang，2014）712008MERIS-Landsat（Mellita-Milla等人，（2008年）2032015OB-STVIUM（Lu等人，（2016年）742009（Alfreita-Milla等人，（2009年）1502015MSTDFA（Wu等人，2 0 1 5 年b）432012STDFA（Wu等人， 2012年）1832018STFMF（Zhang等人， 2018年）232013（Amorós-López等人， 2013年度）1532021SU-BR（Wang等人，2021b）14●●●G. Chen，H.Lu，W.Zou等人沙特国王大学学报265ð Þð ÞðÞXXðÞ ð Þ ðÞ其中，CIb=i; j = i ;j是索引为i;j的CI像素的值，K是索引为i; j的CI像素的数目。班的贝尔CIbk是移动窗口中的类别k的平均值ebi;j是误差项（在实际反演过程中将被省略）。 采用最小二乘法，CIb k 可以执行。最后，通过将移动窗口中的类的反转值分配给中心CI像素内的相应FI像素来获得未混合CI。在过去的二十年里，许多研究都在MMT的基础上进行了改进，以提高性能。例如，Alzheita-Milla等人（Alzheita-Milla等人，2008）优化了两个参数其中，j是CI和FI的索引。e0表示t0时CI和FI之间的偏差。如果土地覆盖和偏差在t0和t1期间没有变化，则方程e0/4e1将成立。因此：FIi;j;t0CIi;j;t0FIi;j;t1-CIi;j;t1：5然而，该方案仅在理论上可行，并且由于低分辨率CI中的混合像素和地面对象的一些物候变化，实际应用会一种有效的解决方案是参考预测像素的邻居。通过设置权重和参考多个相邻像素，可以获得更好的预测结果。因此，在时间t0的预测FI像素可以被重新定义为：FI=w=2;w= 2;t0/4基于解混的方法。一个是用于w的类的数量W分类FI，另一个是CI邻域的大小（窗口大小）。在光谱分解过程中，容易产生块效应，降低融合性能。为了解决这个问题，Wang et al.（Wang等人，2021 b）介绍了块去除空间解混（SU-BR）算法。其他基于解混的方法如表2所示。我们按年份对文章进行了排序因此，通过表2，我们可以看到近年来这类方法的发展总被引次数可以大致判断出哪种方法受到的关注较多。4.2. 权函数法Gao等人（Gao等人，2006）首先发展了称为时空自适应反射融合模型（STARFM）的加权策略方法，该方法通过使用一个或多个可用的FI-CI对与目标日期的一个现有CI来预测未知FI。STARFMCIi;jXFIm;nωAm;n：3其中，CIi;j表示来自CI;FIm;n的像素m;i;j的值。（在CI像素i;j内）是FI中的像素m;n值。A m;n表示CI中FI m;n的面积百分比。忽略地理位置和其他潜在误差，可以通过上述等式从对应的FI像素收集任何时间的CI假设我们在时间t0有一个CI，在时间t1有一个FI-CI对，需要预测t0的FI。此外，CI已被配准并重新采样到FI的分辨率和边界，因此具有相同的图像大小、像素大小和地理坐标系。对于在t0处的纯Cl像素，对应的FI像素可以表示为：FIi;j;t0 CIi;j;t0e0：4Wij×CIi;j;t0FIi;j;t1-CIi;j;t1：6联系我们其中w表示窗口大小，其用于限制邻域的搜索范围w=2;w= 2权重Wij确定预测的FI像素中的每个所选邻域像素在这种情况下，权重选择机制尤为重要。在STARFM中，考虑了三种权重策略，即位置距离、时间差和光谱差。位置距离可以度量中心像素与所选相邻像素之间的空间距离。时间差是CI在t0和t1期间的变化。光谱差异测量CI和FI之间的像素值差异。更多细节可以在（Gao et al.， 2006年）。表3列出了其他基于权重函数的STF方法。其中，STA1（Hilker等人， 2009）优化STARFM的土地覆盖类型的变化，提高了现有干扰地区的预测性能。和增强型STARFM（ESTARFM）（Zhu等人，2010年）被证明可以提高STARFM在异构区域的融合性能。最近，专注于处理时间变化，OBSTFM（Zhanget al.，2021年，开发。通过引入一种新的邻域像素优化策略，OBSTFM可以重建出更有效的融合图像。除了上述方法之外，还可以使用诸如SADFAT（Weng等人，2014）、Fit-FC（Wang等人， 2018）、STITFM（Wu等人，2015）和（Roy等人，2008年）也引起了很大的关注，根据表3中的总引文。4.3. 机器学习方法在基于机器学习的方法中，由Huang等人设计的（黄和宋，2012）是表3基于权函数的方法。年文章引文年文章引文2006STARFM（Gao等人，（2006年）14152016STEM-LAI（Houborg等人，（ 2016年）522008（Roy等人，（2008年）5232017ISKRFM（Wu等人，（2017年）222009STABILITY（Hilker等人，（2009年）6262017ATP4（Wang等人，（ 2017年b）1202010ESTARFM（Zhu等人，（2010年）8432017ATPRK-ESTARFM（Wang等人，2017年a）312011TCD（Hwang等人，（2011年）1302017STNLFFM（Cheng等人，（2017年）752013STARFM传感器（Shen等人， 2013年度）652017（Guan等人，（2017年）192013mESTARFM（Fu等人， 2013年度）792017RWSTFM（Wang和Huang，2017）272013（Huang等人，2013年a）942017STVIMF（Wang和Huang，2017）352014SADFAT（Weng等人， 2014年度）3852017DBUX（Mizuochi等人，（2017年）202014ISDARFM（Wang等人， 2014年度）532018RASTFM（Zhao等人，（ 2018年b）742014（Rao等人， 2014年度）62018STAFFN（Chen等人， 2018年）662015STITFM（Wu等人，（2015年）1772018Fit-FC（Wang等人， 2018年）1732015ET（Bhattarai等人，（2015年）572018（Xu等人， 2018年）492015STI-FM（Hazaymeh和Hassan，2015年）532018STAIR（Luo等人， 2018年）712015（Rao等人，2015年a）152021OBSTFM（Zhang等人， 2021年）4●G. Chen，H.Lu，W.Zou等人沙特国王大学学报表4266×.联系我们2DF;DC;K221a22 1基于机器学习的方法年文章引文年文章引文2012SPSTFM（Huang和Song，2012）2692016（Ke等人，（2016年）1182012（Song & Huang，2012）1922017HSTARFM（Chen等人，（2017年）342015EBSPTM（Wu等人，2015年a）482017MRT（Tao等人，（2017年）102015WAIFA（Moosavi等人，（2015年）492018（Zhao等人，2018年a）182016ELM（Liu等人，（2016年）522018（Boyte等人， 2018年）292016bSBL-SCDL（Wei等人，（2016年）332021SCDNTSR（Peng等人， 2021年）3最早的该方法通过基于稀疏表示的字典对学习建立FI和CI之间的关系。SPSTFM需要四个阶段来预测FI：● 第一阶段是建设学习型图书馆。在t0和t2处的两个FI-CI对和在t1处的一个CI用于通过获得从t0到t2的差异图像来构建字典对。预测图像在t1时刻为FI。在数据预处理中，需要通过双线性插值将CI匹配到FI分辨率大小。在t0和t2之间的CI和FI的差异图像被指示分别为DiffC02和DiffF02。在字典训练之前，差分图像将被划分为补丁（大小为7 7像素）。然后，这些补丁需要进一步规范化和编码。第二阶段通过使用学习库来训练字典对，该学习库是在第一阶段中构建的编码的差异图像块的集合。设DF和DC分别是FI和CI的学习字典。优化方程可以表示为：Dω;Dω;KωargminnkY02-KDFk2kX02-KDCk2kKko：7其中X02和Y02分别是从DiffC02和DiffF02中随机采样。K表示系数。● 在第三阶段中，FI在t0和t1以及t1和t2之间的差图像将被重建。基于学习到的字典对fDF;DCg，可以通过最小化以下等式来估计t0和t1之间的表示系数aaω¼argmin1kx01-DCakkak：8其中x01表示X01的一个补丁。那么相应的补丁Y01的y01可以得到：y01¼DFaω：109mmY12也可以用同样的方法获得● 最后，在第四阶段中，可以从以上阶段估计在t0和t2期间FI的差分图像因此，t1时的FI将通过以下等式预测：从那时起，其他基于稀疏表示的方法也被提出。例如，误差约束正则化稀疏编码（EBSPTM）（Wu等人，2015 a）方法来模拟超完备字典可能的扰动。基于非局部张量稀疏表示（TSR）的半耦合字典学习时空融合模型（SCDNTSR）（Peng et al.， 2021）可以进一步利用来自非本地数据立方体的空间和光谱信息。表4显示了近年来开发的基于机器学习的方法。 除了基于表示学习的方法之外，还有一些其他方法，例如极限学习机（ELM）（Liu et al.，2016）和多分辨率树（MRT）（Tao等人，2017）方法。4.4. 贝叶斯方法如表5所示，只有少数研究是基于贝叶斯理论的。贝叶斯最大熵（BME）方法（Li等人，2013和Huang等人，2013 b）将STF融合视为最大后验问题，并最大化FI的条件概率以预测在目标日期的FI。本文提出 了一 种基 于归 一化 植被 指数- 贝叶 斯时 空融 合模 型（ NDVI-Bayesian Spatiotemporal Fusion Model，简称NDVI-BSFM）（Liao等人， 2016）将纯MODIS像素的NDVI视为先验信息融合MODIS和Landsat的NDVI产品，用于异质景观中植被动态的研究。Xue等人（Xue等人，2017）采用最大后验（MAP）估计器融合FI-CI对，在异构区域具有显著的预测结果。此外，Shen等人（Shen等人，2016）基于MAP理论开发了用于空间-时间-光谱（STS）融合的集成框架。基于贝叶斯的融合方法主要是对参考数据与预测值之间的关系进行建模，当土地类型发生变化时，会降低融合性能。因此，近年来相关研究较少。4.5. 深度学习方法目前，利用深度学习技术进行遥感STF已经得到了广泛的研究。如表6所示，STFDCNN（Song等人，2018）是第一个基于深度学习的方法，它采用了深度卷积神经网络（CNN）。FI1 1/4W0ωωFI0公司简介美国W2ω-FI2 -Y12价格：100元该方法基于超分辨率理论，分为训练和预测两个步骤（图1）。8）。其中FI0和FI2分别是在t0和t2时的给定FI。W是加权参数，其为归一化差异植被指 数和归一化差异建 成指数之和（更多细 节描述于（Huang和Song，2012））。在训练过程中，利用不同类型的图像学习两个CNN网络。一种是非线性映射CNN，它由MODIS图像（500 m）训练，表5贝叶斯方法。年文章引文年文章引文2013BME（Li等人， 2013年度）732016STS（Shen等人，（2016年）1862013（Huang等人，（2013年b）762017（Xue等人，（2017年）552016NDVI-BSFM（Liao等人，（2016年）41●●G. Chen，H.Lu，W.Zou等人沙特国王大学学报267表6基于深度学习的方法。年文章引文年文章引文2018STFDCNN（Song等人， 2018年）1522021GAN-STFM（Tan等人， 2021年）282018DLST（Dai等人， 2018年）132021STFMCNN（Chen等人，2021 b）122018DCSTFN（Tan等人， 2018年）572021HDLSFM（Jia等人， 2021年）112019EDCSTFN（Tan等人， 2019年度）302021MOST（Wei等人， 2021年）32019StfNet（Liu等人，（2019年b）882021SSTSTF（Ma等人，2021年a）42020（Wang & Wang，2020）102022DPSTFN（Cai等人， 2022年）22020STFGAN（Zhang等人， 2020年）332022CVAE-LSTFM（Chen等人，2022年）02020DMNet（Li等人，（2020年b）52022MLFF-GAN（Song等人， 2022年）22020STF3DCNN（Peng等人， 2020年）22022PSTAF-GAN（Liu等人，2022年）12020DL-SDFM（Jia等人， 2020年）112022（Lei等人，（2022 b）32020BiaSTF（Li等人，2020年c）262022MSTTIFN（Wang等人，（ 2022 b）02020ASRCNN（Ao等人， 2020年）82022CSTF（Cissé等人，2022年）02021AMNet（Li等人，2021年c）132022（Lei等人，2022 a）02021MSNet（Li等人，2021 b）5见图8。 STFDCNN方法的流程图。低空间分辨率（LSR）陆地卫星图像（250米）降采样从相应的真实陆地卫星图像（25米）。另一种是超分辨率（SR）CNN，它由LSRLandsat图像（250 m）和相应的真实Landsat图像（25 m）训练● 在预测过程中，学习的非线性映射CNN被用来获得过渡LSRLandsat图像在t0，t1和t2根据输入的MODIS图像。并采用学习后的SR CNN，根据输入的LSR Landsat图像获取t0、t1和t2时同时，设计了基于高通调制的融合模型，将t0、t1和t2时的过渡期LSR Landsat影像与t0和t2时的下采样LSR Landsat影像进行融合。将t0、t1、t2时的过渡影像与t0、t2时的真实影像通过融合模型进行融合，得到t1时的最终预测影像。DLST（Dai等人，2018）是另一种早期的基于深度学习的方法，它映射了高空间分辨率和高时间分辨率图像之间的关系。该方法还使用浅层CNN网络，并取得了良好的性能。这进一步证明了深度学习技术在STF中的应用能力。受STFDCNN的启发，许多学者基于不同的深度学习模型构建STF例如，采用生成对抗网络（GAN）来改进模型输出（Tan等人，2021年）。基于转导学习方法，StfNet（Liuet al.，2019 b）通过双流CNN网络对图像序列之间的时间依赖性和一致性进行建模。特别地，DPSTFN（Cai等人，2022）引入了泛锐化过程以提高CI图像的空间分辨率。在此基础上，提出了基于超分辨率理论的渐进式时空融合框架。实验结果表明，该方法的性能优于许多国家的最先进的方法。4.6. 混合方法为了充分利用上述各种方法的优点，本文提出了混合STF方法。Gevaert等人（Gevaert和García-Haro，2015年）提出了空间和时间反射分解G. Chen，H.Lu，W.Zou等人沙特国王大学学报268●x¼1y¼1arccosk1K KFMNx¼1y¼1l：图像的平均值。MN-1x¼1y¼1FGFGq：参考图像中的频带的谱向量。模型（STARFM），这是第一次尝试结合STARFM和基于解混的方法。在解混阶段引入贝叶斯理论。另一种受到更多关注的混合方法是灵活时空数据融合（FSDAF）模型（Zhu等人，2016年）。FSDAF将基于分解的思想与基于权函数的理论相结合，得到更准确的预测结果。通过在t0使用FI-CI和一个预报日期为t1的CI，其融合过程包括6个步骤：使用ISODATA（一种无监督方法）对t0时的FI进行分类，以获得分类图。然后，计算相应的CI类分数像素。根据光谱分解理论，利用最小二乘法估计了FI分辨率下各光谱类的时间变化● 通过将时间变化添加到FI，并定义了预测图像的残差.● 采用薄板样条（TPS）方法对CI在t1到FI分辨率进行重采样，得到另一种预测图像。从步骤（3）和（4）获得的两个预测图像用于估计步骤（3）中定义的残差最后，通过残差相加，得到了FI在t0和t1的在邻域上应用类似于STARFM的权重策略来获得最终的预测。此外，基于FSDAF的改进方法也相继出现。改进的灵活时空数据融合（MFSDAF）方法（Tang等人，2020），它结合FSDAF和增强线性回归（ELR），可以更有效地比FSDAF在人类占主导地位的地区。和Ma等人（Ma等人，2021 b）将FSDAF和Fit-FC集成到一个框架中，以获得不同方法的优势。以及IFSDAF（Liu等人，2019 a）、EFSDAF（Shi等人，2019）和cuFSDAF（Gao例如， 2021年）。如表7所示，随着对其他方法的创新研究，混合方法得到了进一步时空光谱解混（STSU）（Wang等人，2021c）方法改进了光谱分解理论，结合最小二乘支持向量机模型（LSSVM）预测变化信息。提出的LWU-STFM方法（Jiang和Huang，2022）使用自适应地理频谱加权回归（GSWR）来增强解混过程并优化权重策略。4.7. 质量评价对于科技型中小企业的质量评价，学者们一般从定性评价和定量评价两个方面进行验证。定性评价主要是从视觉系统的角度来帮助我们观察、识别和解释融合图像与真实图像之间的差异;定量评价是利用数理统计的方法，表7混合方法。年文章引文年文章引文2015Gevaert和García-Haro，2015年2612020MFSDAF（Tang等人， 2020年）42015NDVI-LMGM（Rao等人，2 0 1 5 年b）1112021cuFSDAF（Gao等人， 2021年）102016FSDAF（Zhu等人，（2016年）3432021STSU（Wang等人，2021年c）212016（Xu等人，（2015年）462021（Ma等人，2021 b）02016USDARFM（Xie等人，（2016年）572022CSAFM（Wang等人，2 0 2 2 a）852017STIMFM（L