1858多曝光推架卫星的自监督超分辨Ngoc Long Nguyen1Jérémy Anger1，2Axel Davy1Pablo Arias1GabrieleFacciolo11 Université Paris-Saclay，CNRS，ENS Paris-Saclay，Centre Borelli，France2 KayrrosSAShttps://centreborelli.github.io/HDR-DSP-SR/摘要现代地球观测卫星捕捉多曝光的推帧图像，可以通过计算手段进行超分辨率。在这项工作中，我们提出了一个超分辨率的方法，这样的多次曝光序列，一个问题，在文献中很少受到关注。所提出的方法可以处理的信号相关的噪声的输入，任何长度的过程序列，并在曝光时间的不准确性是强大的。此外，它可以通过自我监督进行端到端的训练，而不需要地面实况高分辨率帧，这使得它特别适合处理真实数据。我们的方法的核心是三个关键贡献：i）用于处理曝光时间中的误差的基本细节分解，i i）用于具有变化信噪比的帧的改进融合的噪声级感知特征编码，以及iii）通过时间池化算子的置换不变融合策略。我们评估所提出的方法的合成和真实的数据，并表明它优于现有的单次曝光的方法，我们适应了多次曝光的情况下，一个显着的利润率。1. 介绍高分辨率（HR）卫星图像是一系列任务的关键要素，包括人类活动监测和救灾。最近，远程传感行业（Planet SkySat、Satellogic Aleph-1）采用了计算方法实现的超分辨率[7，41]。通过利用高帧速率低分辨率（LR）捕获，低成本星座可以成为更传统的高成本卫星的有效竞争对手。为了捕捉场景的全动态范围，一些卫星使用曝光包围，导致具有不同曝光的序列。虽然一些工作已经解决了单次曝光序列的多图像超分辨率（MISR），但几乎没有以前的工作考虑多次曝光的情况。MISR技术利用几个LR采集中的混叠来重建HR图像。最大可达到的分辨率由模糊的光谱衰减限定由传感器的像素积分和相机光学器件产生的内核聚合许多帧也是有趣的，因为它允许显著的降噪。如果LR帧是用包围曝光获取的，则可以将它们整合到超分辨率高动态范围（HDR）图像中。长时间曝光具有更高的信噪比（SNR），这有助于降低暗区域中的噪声，而短时间曝光提供亮区域中的信息，这可能导致曝光时间较长时的饱和。在这项工作中，我们的目标是执行联合超分辨率和去噪从一个时间序列的括号卫星图像。我们专注于推帧卫星传感器，如来自Planet的SkySat星座。我们将分辨率提高了两倍，这是组合光学和传感器SkySat卫星[41]包含一个全帧传感器，能够捕获重叠帧的突发：在几个连续的图像中看到地面上的给定点。然而，我们的技术是通用的，可以应用于其他卫星，或超越卫星图像，消费者相机能够多次曝光突发或视频采集。有几种方法已经解决了MISR或HDR成像的多次曝光，但他们的组合很少受到关注。现有的工作考虑了一个理想的设置，其中帧可以与亲和力[7，53]或单应性[55]对齐，并且采集的数量足够大，可以使问题成为超定方程系统。这样的运动模型对于卫星爆发是很好的近似，但是忽略了视差[8]，这在山脉和高层建筑中很明显。在卫星成像的情况下，能够捕获多次曝光突发的推帧相机相对较新，这解释了为什么之前所有关于MISR的工作都集中在单次曝光的情况下[7，17，40，43]，除了SkySat深度学习方法目前优于传统的基于模型的方法[47]。一般来说，基于学习的方法需要具有待训练的基础事实的大型真实数据集，1859LR1LR 2LR 3LR 4LR 5LR 6LR 7LR 8LR 9LR 10ME S A Planet L1 B [41] BD-ACT [7] DSA [43]我们的HDR-DSP图1.超分辨率从一个真正的多重曝光序列的10个SkySat图像。顶行：不同曝光的原始低分辨率图像。底行：从五种方法重建，包括我们的自我监督训练（右）。在合成数据上训练的方法[4]不能推广到真实图像[14]。其中一个数据集是PROBA-V数据集[37]，它是由配备两台不同分辨率相机的卫星采集的。该数据集促进了几种用于卫星MISR的深度学习方法的出版[9，17，39]。然而，PROBA-V数据集不适合以高帧速率采集的LR图像突发的MISR，因为PROBA-V序列是多日期的，并且呈现显著的内容和照明变化。一个有前途的方向是使用自监督学习技术，该技术已应用于视频恢复任务，如去噪和去马赛克[18这些技术受益于视频中的时间冗余输入序列中的一个降级帧被从网络中保留并用作标签，而不是使用我们的工作建立在深度移位和相加（DSA）[43]的基础上，这是一种用于卫星图像单次曝光突发的MISR的自监督深度学习方法该模型利用帧冗余进行无监督训练。捐款. 在这项工作中，我们提出了高动态范围深移位和池，HDR-DSP的一个自我监督的方法，联合超分辨率和去噪的破碎的卫星图像。该方法能够处理具有可变数量的帧的时间序列，并且对曝光时间中的错误是鲁棒的，因为元数据中提供的曝光时间通常是不准确的。这使得我们的方法直接适用于真实图像数据（见图1）。据我们所知，这是第一种用于卫星成像的多次曝光MISR方法，并且除了卫星图像之外，它是第一种基于深度学习的方法。我们的贡献如下：功能移位和池。我们提出了一种移位合并模块，该模块使用置换不变统计量通过时间合并将特征（由编码器网络在每个输入LR帧上计算）合并到HR特征图中：平均，最大值和标准偏差。这给出了丰富的融合表示，在单次和多次曝光情况下，其均比平均值[43]有实质性的改进通过基本细节分解对不准确曝光时间的鲁棒性我们建议规范化的输入帧，并将其分解为基础和细节。曝光时间不准确导致的误差主要影响基底，而包含超分辨率所需的混叠的细节请注意，渐晕和杂散光也会导致影响单次曝光和多次曝光MISR的曝光问题。噪声级别感知的细节编码。LR图像中存在的噪声是信号相关的，其方差是强度的仿射函数。为了处理这样的噪声，我们除了提供归一化的细节分量之外，还向编码器提供未归一化的LR图像。这为编码器提供了关于每个像素的噪声水平的信息，这是最佳融合所必需的。自我监督损失与网格转移。使用高分辨率网格的随机移位，我们使[43]翻译的自监督损失等变，从而改善了结果。我们通过对合成数据集（§5.2）的消融研究验证了我们的贡献，该数据集旨在模拟真实括号化SkySat序列的主要由于之前没有关于多次曝光MISR的工作，我们与最先进的单次曝光MISR方法进行了比较，我们对这些方法进行了调整并重新训练以适应多次曝光输入（§5.3）。我们还介绍了2500多次曝光的真实SkySat爆发的数据集（§5.4）。数据集只包含有噪声的LR图像，但我们仍然可以在其上训练我们的网络在合成数据和真实数据上，所提出的HDR-DSP方法即使在没有高分辨率地面真实数据的情况下训练，也能获得最佳结果。该数据集可在项目网站上下载。1860我∗R我i=1−∼LR我我我从平均LR观测值{I<$LR}m我R我--我2. 相关工作大多数关于视频和突发超分辨率的作品都集中在单次曝光的情况下[7，12，17，34，39，43，49，52]。The problem of super-resolution from multi-exposuresequences has received much less attention.在[53]中，它被建模为超定系统，并通过非正则化最小二乘法求解。假设仿射运动模型和曝光时间的精确知识。作者传感器），而其不存在表示归一化为1的曝光时间的图像。 我们将时间序列中的第r个图像ILR视为参考，并且不失一般性地，我们假设其曝光时间为1，e r=1。我们将噪声建模为空间独立的加性高斯噪声，具有零均值和依赖于信号的方差ni（x）<$N（0，σ2（I<$LR（x），其中σ2（I<$LR（x））=aeiILR（x）+b，（2）在[55]中，解决了图像具有运动ii由于相机抖动而模糊。它们还考虑静态场景，而不考虑噪声。用于HDR成像的相关方法使用双曝光传感器，其在图像的偶数列和奇数列中交错两次曝光[15，26]。这可以被看作是对视频的水平超分辨率。其他作品 执行 相关任务：联合超分辨率和反向色调映射[30不同的我们的问题是输入视频是一个单一的-是泊松散粒噪声加上高斯读出噪声的近似值[21，45]，参数为a和b。由于像素积分和光学模糊（k）造成的光谱衰减，图像Itik的截止频率约为LR采样率的两倍，因此其波段有限SkySat的照片 我们的目标是通过估计I^HR，将分辨率提高2倍，I ^H R是ItR我i=1曝光LR视频，目标是人为地增加它的动态范围，以适应HDR屏幕。多次曝光的HDR成像方法需要处理噪声。Granados等人[23]解决了信号相关噪声的情况，并提出了接近Cramer-Rao界的MLE估计器的固定点迭代[3]。在这些作品中，去噪只来自时间融合。在[1，2]中，这被并入到基于时空块的去噪器中。我们的工作也可以涉及突发和视频联合去噪和去马赛克[19，25，56]，因为去马赛克可以被视为超分辨率问题。3. 观测模型我们用It表示动态无限分辨率理想场景。卫星上的照相机捕捉一系列具有不同曝光度的低分辨率图像。对于第i次采集，在以ti为中心的曝光时间ei期间对动态场景It进行积分。即使卫星相对于地面以非常高的速度运行，精确的电光图像稳定系统（带有压电致动器[29，33]或转向镜[46]）也可确保观察到的场景It在曝光时间（2ms）内基本保持恒定，这使我们能够在我们的观察模型曝光时间 清晰的超分辨率图像可以然后通过部分地去卷积k来恢复。为了使该方法在实践中适用，它需要处理具有可变数量的帧m的时间序列，并且对曝光时间ei的不准确性是鲁棒的，因为图像元数据中的曝光时间仅是真实曝光时间的粗略近似。4. 该方法我们的方法建立在[43]中介绍的用于MISR的DSA方法的基础上，该方法可以被视为传统移位加（SA）算法的可训练推广[6，22，24，28，38]。特征SA用于融合由编码器网络从LR图像产生的特征表示运动估计网络计算每个输入LR帧和参考帧之间的光流。特征SA的输出是高分辨率聚合特征图，其然后由另一网络解码以产生输出图像。DSA 方法 可以通过将 其应用于归 一化图像 ILR=I<$L R/ei而扩展到多曝光序列。然而，这种方法是次优的 ， 因为它忽略了归一化改变噪声变化模型的事实，并且如果报告的曝光时间不准确（这是实际情况）则失败。I<$LR=ei1（It（k）+n i= e iIi + n i。（一）为了更好地利用多重曝光，我们提出了两个修改：（1）一个基本细节分解，这有利于这里，k是对光学模糊和像素积分联合建模的点扩散函数（PSF），λ1是由于传感器阵列引起的二维采样算子，LR是对应于1个时间单位的曝光的干净的低分辨率图像，并且n1表示噪声。在整个文本中，calli图形字体i表示无噪声图像和常规字体我爱吵闹的人。条I<$i=eiIi表示图像是乘以其曝光时间（即，因为它是由显示对曝光时间误差的鲁棒性;（2）依赖于噪声方差的图像的编码，其允许编码器根据它们的信噪比来加权不同的贡献。此外，我们还提出了一种新的特征池融合，旨在捕捉更丰富的图片的编码功能，导致重建质量的大幅改善，无论是单次和多次曝光的情况下。最终的净-不同的-我1861平均R^I^^DB我我--^IBDΣe我我我i=1我曝光Ei不会导致稳定的强度水平，R rrRr我我我FSP块wrt运动估计器世博时报SPMC解码器非正规化LR归一化LRs二维编码器归一化细节人力资源详情世博时报HR图像正规化基人力资源基地图2.概述我们提出的多曝光超分辨率网络架构HDR-DSP在推理时间。工作可以通过自我监督进行端到端的培训，即而不需要地面实况。4.1. 架构图2显示了我们提出的架构图，该架构将一系列多暴露LR作为输入工件（参见图3）。改进初始的ei可以限制这个问题。但这也带来了自己的挑战，特别是如果还考虑到渐晕和杂散光源。相反，在本文中，我们提出了一种更强大和简单的替代方案，该方案基于标准化LR图像的基本细节分解[44]，定义如下图像{I<$LR}m以及相应的暴露i i=1LR LRLRLRLR（3）乘以ei，并产生一个超分辨率图像HR。首先将输入LR图像归一化为单位曝光时间。然后将归一化LR图像{ILR}m分解Bi=IiG，Di=Ii−Bi，对于i= 1，. . .、m. 这里G是标准的高斯核，标准偏差1.然后我们独立处理细节分为基本{BLR}和详图{DLR}构件。碱基LR LRii{Di }和基{Bi}来产生相应的包含低频。我们对齐并平均它们以减少低频噪声，并使用双线性缩放对结果进行上采样以产生HR基础分量。LR细节图像被馈送到共享卷积编码器网络，该网络输出每个LR图像的特征表示然后，通过我们的移位和池块（FSP）将这些特征合并到HR特征图中，该块将LR特征对齐到参考帧的HR网格中，并应用不同的池化操作。然后，合并的特征被连接并馈送到解码器CNN模块，该解码器CNN模块产生HR细节图像。通过将HR基础和细节相加HR=HR+HR来获得最终HR图像。拟议架构的可培训模块（图2中以红色显示）包括运动估计器、编码器和解码器。高分辨率估计HR和HR。这种分解是线性的，并且不影响超分辨率，因为混叠被保留在细节分量DLR中。由于细节图像跨越比完整图像ILR更小的强度范围，因此曝光时间中的误差δ导致细节中的小偏差和基础中的大偏差：δ B LR+δ D LR=δ I LR。细节中的小误差可以通过超分辨率方法来处理另一方面，基本图像不需要被超分辨率，但仍然需要被去噪。在这项工作中，我们提出了一个简单的处理，对齐和平均的基地和上采样的结果。为了充分利用较长曝光的高信噪比，平均值由曝光时间ei基本细节分解。如上所述，通过它们的报告的帧序列ILR来归一化帧序列ILR，BHR =缩放. eiWarp（BLR）我我（四）序列这可能是由于ei中的小误差。然而，即使在单次曝光的图像中，未校正的渐晕或杂散光也会产生超分辨率任务的性质使其对这些曝光波动非常敏感。移位和相加操作将LR特征合并到不相干的高分辨率特征图中，使得解码器的任务更加困难，导致细节或高频特征的丢失。该加权是Granados等人的ML估计的近似。[23]（详情见补充材料）。超分辨率网络[27，31]中使用了基本和细节分解，以将网络容量集中在细节上。在我们的例子中，分解还提供了对辐射归一化误差的鲁棒性。运动估计我们遵循[43，49]的工作来构建一个网络（具有相同的沙漏架构），该网络估计双线性变焦STD经纱AvgMax诺姆.1862我--−我我我Σ高分辨率细节D 噪声非归一化IM-我−我R我我一我我我我 我我我我^mates the optical flows between the normalized LR frames强度和光流。每个飞溅的像素被分配一个双线性权重，这取决于其在HR网格中的位置的分数部分。详情见[43，52]这将产生一组对齐的稀疏HR特征图JHR=SPMC（JLR，{Fi→r}）∈RsH×sW×N，（7）DSA [43]（不含BD）我们的HDR-DSP（含BD）图3. 真实SkySat序列（使用DSA [43]）重建中的高频伪影，具有曝光时间误差（左）。HDR-DSP与建议的基本细节（BD）分解不存在文物（右）。以及相应的双线性溅射权重WHR=SPMC（1，Fi→r）. 放大因子s被设置为2。与[43]一样，我们在时间方向上使用加权平均池化（8）。此外，我们建议计算标准差和max（9）：J HR=（JHR）（WHR）−1，（8）我我LR mLRJ HR=最大J HR，J HR=标准J HR。（九）{I I i}i=1，并且归一化参考系I rMiiSIIFi→r=MotionEst（ILR，ILR; ΘM）∈[−R，R]H×W ×2，（5）注意这个块没有任何可训练的参数，I r可训练层可以以更高的速率获得类似的性能。其中ΘM表示网络参数。将小的高斯滤波器（σ= 1）应用于输入图像以减少混叠[43，54]。该网络使用[R，R]2的最大运动范围（其中R= 5像素）进行训练。 调整训练以更好地处理由于多次曝光设置引起的噪声差异（参见§4.2）。噪声级别感知的细节编码。编码器模块为序列中的每个归一化LR细节图像DLR生成相关特征JLRJ LR=编码器（DLR，I<$LR;ΘE）∈RH×W×N，（6）其中ΘE是编码器的参数集合，N= 64是产生的特征的数量。补充资料中详细介绍了网络架构。未归一化的低分辨率帧ILR也被馈送到编码器。这是由于将噪声采集最大似然融合到（HDR）图像中是加权平均值，其中权重是噪声方差的倒数[3，23]。在所提出的体系结构中，归一化细节DLR被融合以产生更高的计算成本（参见补充材料）。这些特征池化操作使得架构对输入帧的排列不变[5]。关键的想法是，通过端到端的训练，编码器网络将学习输出池化有意义的特征。因此，池化操作能够将所有必要的信息传递给解码器是至关重要的。实际上，平均池化捕获了特征的一致性，这相当于时间去噪。但在混叠图像序列中，通常会遇到仅在单个帧中可见的特征因此，最大池化操作的思想是保留这些独特的特征，否则这些特征将在平均中丢失。标准差合并完成了图片通过测量特征的逐点可变性。合并的特征与处理的帧的数量无关。但是这个信息很重要，因为解码器可能会以不同的方式解释由聚合许多图像产生的特征，而出于这个原因，聚合权重WHR=WHR也与池化特征连接。HRR年龄是噪声方差的仿射函数σ2（I_L_R）/a的b/a，从而向编码器提供计算最优编码所需的信息。融合权重然后，通过一组池化操作来聚合所得到的特征JLR，而不需要任何特定的正如我们将在5.2节中看到的，结合WHR提高了网络处理可变数量输入帧的能力译码器Decoder网络从合并的特征重建HR细节图像DHRD r =解码器（JA，JM ，JS，W ; ΘD）∈R，与不同来源接触有关的处理。^HRHR HR HR HRsH×sW（十）功能池。我们提出的功能移位和池块（FSP）的LR功能映射到他们的位置上的参考HR网格和池。首先，SPMC模块将特征每个LR帧通过在样本之间引入零而被放大，并且遵循流Fi→r进行运动补偿。这是可微的，关于其中ΘD表示解码器的参数集合补充材料中详细介绍了该体系结构。4.2. 自我监督学习为了训练HDR-DSP细节融合网络，我们采用了[43]的完全自监督框架，它不需要地面真实HR图像。在训练期间，LR帧1863R^网络工作以产生HR细节D，使得当RRRi=1LRLRHR我i=1R我我i=1我我aeiiLR+bN（0，1）我我我联系我们R^ ^您的位置：并且对于每个序列，一个帧被设置为参考ILR。然后，每个序列中的所有其他LR图像使用MotionEst网络相对于参考进行注册，从而产生流Fi→r。参考帧作为自监督训练的目标，类似于噪声到噪声[20，35]。该过程依赖于LR域中的重建损失加上运动估计损失的最小化，以确保帧的准确率对准以下各段详细说明了损失和拟议的自我监督SR丢失。 自我监督损失的力量HRR子采样，它与（模噪声）一致，保持目标细节DLR其中，Pullback 根据流计算ILR 的双三次扭曲，Detail应用高通滤波器，TV是经典全变差正则化器[48]的有限差分离散化，λ1= 0。003是控制正则化强度的训练HDR-DSP的自监督训练分两个阶段进行。我们首先在模拟数据上预训练运动估计器，以确保它产生准确的流。然后，我们使用自监督损失（λ2= 3）使用预训练的MotionEst对整个系统进行端到端损失= λ2自身+ λ2损失。（13）其他培训详情见补充材料。HRLRHR LR5. 实验Dr，Dr）= 2（Drk）−Dr 第1章，（11）其中HR=Net（DLRir，I<$LRm ）是SR输出，并且R2是在每个方向上取一个像素超过两个像素的子采样运算符。与[43]中一样，我们将卷积核k包括在损失中 这迫使网络产生一个去卷积的HR图像，该图像一旦与k卷积并进行二次采样，就与DLR中存在的光学模糊相匹配。在训练过程中，LR参考仅用于运动估计器中以计算光流，但不会融合到HR结果中以避免不必要的琐碎解决方案[11，18，43]。在推理时，我们使用引用这将导致更好的结果[43]。坐标变换。 自监督损失（11）下采样对于我们的实验，我们使用SkySat卫星获取的真实多次曝光推帧图像（L1A）[41]。对于定量评估，我们还模拟了L1B产品（Planet的超分辨率产品，因子为1.25）的多次曝光和单次曝光数据集5.1. 模拟多次暴露数据集这两个模拟数据集由1371批L1B产品（1096个训练，200个测试，75个验证）生成。首先，我们生成标准 化 为 1 的 执 行 时 间 的 无 噪 声 LR 图 像 。{\displaystyle {\frac {i}}m}的随机子像素平移应用于地面实况，然后进行×2子采样超分辨率的细节来与参考图像进行比较Ir=Π2（IHR），（十四）LR详细信息。但由于下采样是固定的，只有采样位置干预损失，这打破了方法的平移等方差。为了避免这个问题，其中，I=2（Shift（I）），i r是子采样运算符。 曝光时间C在训练过程中，我们通过添加到估计值来增加数据匹配的光流随机偏移0。5ϵ in each dimen-模拟为ei=αi，其中ci∈{−5，.，5}，且α=我sion（n∈ {0，1}）. 因此，超分辨率图像是然后添加到所有未归一化的帧中以产生含噪多跳序列I<$LR=eiILR+ni. 的失去这产生了0.2dB的PSNR改善。运动估计损失。 运动估计器是用无监督学习训练的，如[57]中所示。 损失由翘曲项和正则化项组成。 我们观察到光流对帧之间的强度波动非常敏感（如在我们的归一化LR帧I LR中），这导致不精确的对准。为了防止这个问题，我们在细节上而不是在图像上计算扭曲损失，这在传统的光流中很常见[36，49]。针对由MotionEst模块估计的每个流Fi→r计算损失me（{Fi→r}m）=λ1TV（Fi→r）+详细信息。ILR−Pullback（ILR，Fi→r）回拉1，（12）我制服（1. 二一4）. 噪音ni=在计算之前很容易进行补偿1864常数a= 0。119，b= 12。使用Ponomarenko噪声曲线估计方法[16，45]从真实SkySat图像中估计050。单次曝光数据集以相同的方式生成，但所有ei= 1。为了模拟曝光不准确性，在训练和测试期间，ei值被5%范围内的噪声污染。我们在评估中使用PSNR评分SkySat L1A图像的动态范围为12位，但我们观察到峰值信号约为3400DN。因此，我们的PSNR被归一化为峰值3400。我们表示PSNR ME（resp.PSNR SE）作为在所有多次曝光（分别为单次曝光）测试序列。5.2. 消融研究我们在表1中研究了基础细节的重要性，混合物. 我们考虑模拟多次曝光（ME）1865我×表1.使用基本细节分解（BD）和使用未归一化LR帧处理多曝光序列表4. 在曝光时间误差为0%、5%和20%的情况下，15幅图像的合成测试集上的PSNR ME（dB）作为额外的编码器输入。方法（所有HDR-DSP）完整，无BD无BD（经过培训的SE）不含LRPSNR（dB）ME54.7053.7652.9153.94PSNR（dB）SE54.7254.1654.5454.16表2. 功能池选择。 使用平均值（A）、最大值（M）和标准差（S）合并可改善结果。特征AMS（HDR-DSP）作为一个PSNR（dB）ME54.7054.4654.44 五十四点一七PSNR（dB）SE54.7254.4754.48 五十四点二十表3.处理可变帧数（PSNR ME（dB））。方法（所有HDR-DSP）充分不含W HRHDR-DSP 4HDR-DSP 144帧52.8152.6052.6951.3114帧55.8555.5954.2655.53可变n帧54.7054.4553.8554.07以及呈现与在真实序列中观察到的误差相匹配的小的曝光误差的单次曝光（SE）序列如果我们在没有建议的基本细节（w/o BD）的情况下训练HDR-DSP，性能会明显下降，这在实数序列上也是可见的（图3）。即使在针对单次曝光设置进行专门训练时，如 DSA[43]，基本细节的性能也更优越。此外，我们可以看到，从编码器输入（w/o LR）中去除未归一化的LR帧导致单次曝光和多次曝光的性能大幅下降。表2所示的实验研究了使用多个特征池策略的影响：平均值、最大值和标准差。 它表明，使用这三个大大改善了结果：约0. 5dB，仅使用平均值。我们观察到，在池化策略中不包括平均值会产生更差的结果。为了提高解码器对输入帧数可变的序列的处理能力，增加了聚合权值特征WHR表3中的结果证实了提供这些权重的重要性 我们还与针对固定帧数（HDR-DSP 4和14）训练的网络进行了比较，并观察到在这种情况下，即使在测试这些特定配置时，性能也会下降。我们得出结论，如果训练不考虑可变数量的帧，则权重变得无用最后，从列车上移除电网移位（§4.2）ing也降低了PSNR ME：从54.70到54.49dB。5.3. 与最新技术水平的我们将我们的自监督网络在模拟数据集上与最先进的MISR方法进行比较，卫星图像：[17][18][19][1加权移位相加[38]与适应于多次曝光序列（ME SA）的双三次溅射作为基线。 HR-net 和 RAMS是 两 个监 督 网 络， 旨 在 执行 多 时 相PROBA-V卫星图像的在推帧卫星的背景下，我们使用HR-net和RAMS的参考感知版本[42]而不是原始方法，因 为它 们实 现了 更高 质 量的 结果 。DSA 和ACT 是SkySat图像的ACT还可作为与文献中其他基于插值的方法进行比较的替代方法[56]。我们将这些方法应用于多次曝光序列。深度学习方法由归一化的输入图像提供，而对于ACT方法，我们应用§4.1中描述的相同的基本-细节分解，并使用ACT来恢复细节（表示为BD-ACT）。ME SA、BD-ACT和RAMS的配准步骤使用逆合成算法[10，13]完成，该算法对噪声和亮度变化具有鲁棒性。DSA的运动估计器也在细节损失的情况下进行训练（§4.2）。表4显示了在增加5%（如在训练期间）和20%的曝光时间误差的情况下，在测试集上的方法的定量比较这些误差是根据SkySat数据估算的（曝光范围从0.5到4.5 ms）;详见补充资料。请注意，即使使用精确的曝光时间（行0%），渐晕或杂散光效果仍然证明了所提出的基本细节分解的使用。我们的自监督网络在所有情况下都排名第一，比其他所有网络都有超过1dB的显著增益（见图4）。有趣的是，大多数方法的性能会因为曝光时间的大误差而迅速下降。只有使用基本细节分解的方法（BD-ACT和我们的方法）对这些不准确性具有鲁棒性请注意，HDR-DSP在训练期间从未出现过20%的错误。5.4. 真实数据所提出的自我监督训练允许在从SkySat卫星拍摄的真实多次曝光序列上训练HDR-DSP。从L1 A产品的行星SkySat，我们提取了2500序列（128 - 128像素）预注册的整数平移。在2500个序列中，300个用于测试。每个序列包含方法公羊ME S AHR-netBD-ACTDSAHDR-DSP0%经验误差52.0553.3354.3054.2455.5556.005%实验误差51.8452.4354.2254.2354.9955.9920%预期误差49.9549.1953.8254.2054.3055.901866LR ME S A 43.16dB RAMS 42.99dB HR-net 43.58dB BD-ACT 43.59dB DSA 45.95dB HDR-DSP49.32dBHR图4.来自合成多曝光序列的超分辨率（5% exp.错误）的15个混叠LR图像。方法在合成数据集上训练，并接收标准化ME图像作为输入，除了BD-ACT和HDR-DSP，其使用基本细节分解。DSA架构和训练过程，这也是在合成实验中观察到的。LR e = 1。5LR e = 1。1LR e = 0。7LR e= 0。5Planet L1 B DSA BD-ACT我们的HDR-DSP图5.超分辨率从一个真正的多曝光序列9 SkySat图像。第一行对应于该序列中具有不同曝光时间的4个归一化LR图像。第二行显示了Planet（L1 B），DSA，BD-ACT和我们的方法HDR-DSP的重建。从4帧到15帧。在大约75%的序列中，曝光时间在每个序列内变化，并且我们使用元数据中提供的曝光时间信息图5将HDR-DSP与Planet L1 B、DSA和BD-ACT进行了比较。顶行显示序列的四个归一化帧，其中我们可以注意到噪声水平对曝光时间的依赖性Planet L1B产品中使用的方法未知。它通过1.25的因子进行超分辨率，但包含明显的伪影并且缺乏精细的细节。由于曝光时间不精确，DSA结果显示高频由于基本细节分解，BD-ACT能够应对曝光变化，但结果仍然非常嘈杂。相比之下，HDR-DSP显示了清晰而详细的重建。图1还示出了多次曝光LR序列以及来自ME SA、Planet L1 B、ACT、DSA和HDR-DSP的结果。将HDR-DSP与DSA进行比较，我们发现前者提供了更清晰的结果，这要归功于基础-细节分解和建议的改进。6. 结论和局限性所提出的HDR-DSP方法能够从多次曝光突发中重建高质量的结果，提供精细的细节、低噪声和高动态范围。所提出的基本细节处理允许对实践中常见的曝光时间中的误差的鲁棒性。此外，通过使图像编码依赖于噪声变化，并使用旨在捕获更丰富表示的新特征池，获得了显着的性能改善。由于其完全自我监督的训练，该方法不需要地面实况，因此可以应用于真实数据。我们通过训练一个模型来展示其有效性，该模型可以超分辨多次曝光的SkySat L1A收购，从而导致相对于最先进技术的大幅分辨率增益。局限性。遥感的背景允许人们做出在更一般的环境中不成立的额外假设：1.所考虑的噪声水平远离具有挑战性的光子限制区域; 2.运动和闭塞更容易处理。特别地，后一点应改进以将该方法应用于视频或突发超分辨率。此外，所提出的方法不处理饱和。这将在今后的工作中加以研究。致谢。由Région Agule-de-France的赠款支持的工作。本工作使用由法国国家科学研究中心和法兰西大区支助的高等教育中心和巴黎萨克雷高等教育局的“Mésocentre”计算中心（http：//mesocentre.centralesupelec.fr/）。我们感谢Planet提供L1A SkySat图像。1867引用[1] Cecilia Aguerrebere ， Andrés Almansa ， Julie Delon ，Yann Gousseau，and Pablo Musé.联合图像去噪和插值的一种基于超先验的方法及其在hdr成像中的应用。IEEETransactions on Computational Imaging，3（4）：633-646，2017。3[2] Cecilia Aguerrebere，Julie Delon，Yann Gousseau，andPablo Muse.动态场景下hdr图像的同时重建与去噪。IEEEInternationalConferenceonComputationalPhotography（ICCP），第1-11页。IEEE，2013。3[3] Cecilia Aguerrebere，Julie Delon，Yann Gousseau，andPablo Musé.最好的高动态范围图像生成算法。对性能界限的研究SIAM Journal on Imaging Sciences，7（1）：1-34，2014。三、五[4] Eirikur Agustsson和Radu Timofte。Ntire 2017挑战单幅图像超分辨率：数据集和研究。在IEEE计算机视觉和模式识别研讨会会议上，第126-135页2[5] 米卡·艾塔拉和弗雷多·杜兰德基于排列不变卷积神经网络的突发图像去模糊在欧洲计算机视觉会议（ECCV）的会议记录中，第731-747页，2018年。5[6] Mohammad S.约翰·阿拉姆作者：Russell C.作者声明：Brian J.安田基于多帧平移混叠视频的红外图像配准与高分辨率重建。IEEE Transactions on Accumulation andMeasurement，49（5）：915-923，2000。3[7] Jérémy Anger，Thibaud Ehret，Carlo de Franchis，andGabriele Facciolo.快速准确的多帧卫星图像超分辨率。ISPRS Annals of Photogrammetry ， Remote SensingSpatial Information Sciences，5（1），2020.一、二、三、七[8] Jérémy Anger，Thibaud Ehret，and Gabriele Facciolo.推帧卫星图像的视差估计：skysat产品的超分辨率和3D表面建模应用。在2021年IEEE国际地球科学和遥感研讨会IGARSS，第2679-2682页。IEEE，2021。1[9] Md Rifat Arefin ， Vincent Michalski ， Pierre-Luc St-Charles，Alfredo Kalaitzis，Sookyung Kim，Samira E.Kahou，和Yoontibengio。基于深度递归网络的遥感多图像超分辨率。在IEEE/CVF计算机视觉和模式识别研讨会会议记录中，第206-207页，2020年。2[10] 西蒙·贝克和伊恩·马修斯。图像配准算法的等价性和2001年IEEE计算机学会计算机视觉和模式识别会议论文集。 CVPR 2001，第1卷，第I-I页。IEEE，2001年。7[11] 乔舒亚·巴特森和罗伊克·罗耶Noise2self：通过自我监督进行 盲去噪 。国际 机器学 习会议 ，第 524-533页。PMLR，2019年。6[12] Goutam Bhat ， Martin Danelljan ， Luc Van Gool ， andRadu Timofte.深爆超分辨率。在IEEE/CVF计算机视觉和模式识别会议论文集，第9209-9218页，2021年。3[13] Thibaud Briand，Gabriele Facciolo，and Javier Sánchez.参数运动估计逆合成算法的改进。IPOL，8：435-464，2018。7[14] Jianrui Cai，Hui Zeng，Hongwei Yong，Zisheng Cao，and Lei Zhang.迈向真实世界的单幅图像超分辨率：新标杆、新模式。在IEEE/CVF计算机视觉国际会议论文集，第3086-3095页，2019年。2[15] Ug.G.G.E. G.E.， M.OjtabaBemana ， KarolMyszko wski，Hans-Peter Seidel，and Tobias Ritschel.通过学习时空失真模型的Hdr去噪和arXiv预印本arXiv：2012.12009，2020. 3[16] 米格尔·科洛姆和安东尼·布德斯ponomarenko等的分析和推广。方法，从单个图像估计噪声曲线。ImageProcessing On Line，3：1736[17] Michel Deudon，Alfredo Kalaitzis，Israel Goytom，MdRi- fat Arefin ， Zhichao Lin ， Kris Sankaran ， VincentMichal- ski ， Samira E Kahou ， Julien Cornebise ， andYoongly Ben- gio. Highres-net：卫星影像多帧超分辨
我的内容管理
收起
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助 
