基于卷积时间注意网络的全景分割农业包裹的时序卫星图像自动化分析

4872基于卷积时间注意网络Vivien Sainte Fare Garnot Loic Landrieu拉斯蒂格大学Gustave Eiffel，ENSG，IGN，F-94160 Saint-Mande，France{vivien.sainte-fare-garnot，loic.landrieu} @ ign.fr摘要对多时相卫星图像的前所未有的访问为各种地球观测任务开辟了新的前景。其中，农业包裹的像素精确全景虽然研究人员已经探索了这个问题的单一图像，我们认为，作物物候的复杂的时间模式，更好地与时间序列的图像处理。在本文中，我们提出了第一个端到 端 ， 单 级 方 法 的 全 景 分 割 卫 星 图 像 时 间 序 列（SITS）。该模块可以与我们的新型图像序列编码网络相结合，该网络依赖于时间自注意力来提取丰富的自适应多尺度时空特征。我们还介绍了PASTIS，第一个 开 放 访 问 的 SITS 数 据 集 与 全 景 注 释 。 我 们demonstrate的优势，我们的编码器语义分割对多个竞争的架构，并建立了第一个国家的最先进的全景分割的SITS。我们的实现和PASTIS是公开的。1. 介绍地球观测的精确度和可用性不断提高，这要归功于天基遥感技术的持续进步，例如地球卫星的发射[5]和开放获取的哨兵星座[8]。特别是，具有高重访频率的卫星有助于更好地理解具有复杂时间动态的现象。作物制图-本文的驱动应用-依赖于利用这种时间模式[37]，并需要重大的财务和环境风险。事实上，对农业地块的表面和性质的远程监测对于公平分配农业补贴（在欧洲和美国分别为每年500亿和220亿欧元）以及确保尊重最佳作物轮作实践是必要的更一般地，SITS的自动化分析代表了广泛领域图1：概述。我们提出了一个端到端，单阶段模型的全景分割的农业包裹从时间序列的卫星图像。请注意，从单个图像解析地块边界的难度这是一系列应用的一部分，例如测量城市发展和森林砍伐。监测农业地块的内容和范围的任务可以被构造为图像序列的全景分割。全景分割包括为每个像素分配类别和唯一实例标签，并且已经成为计算机视觉中的标准视觉感知任务[18，25]。然而，全景分割是SITS与自然图像或视频序列的根本不同的任务事实上，理解视频需要通过时间和空间跟踪对象[43]。在每年的SITS中，目标在地理参考帧中是静态的此外，SITS共享一个共同的时间参考框架，这意味着采集时间本身包含对建模底层时间动态有用的相比之下，视频中的帧编号通常是任意的。最后，虽然地球表面上的物体通常不会彼此遮挡，但自然图像中的物体通常都是如此，但变化的云层覆盖会使SITS的分析变得困难。针对本报告中所述的具体问题4873× ××在纸上，个性化农业地块需要学习在视频处理中通常不会遇到的复杂和特定的时间、空间和光谱模式，例如植物物候分布的差异、子像素边界信息和快速的人为干预（例如收获）。虽然已经证明深度网络对于学习用于像素分类的这种复杂模式是有效的[16，12，1]，但是没有用于在SITS中检测单个对象的专用方法。实例分割的现有工作仅限于分析单个卫星图像[32]。总之，专门的遥感方法仅限于语义分割或单图像实例分割，而计算机视觉需要对SITS进行重大调整。在本文中，我们介绍了U-TAE（具有时间注意力编码器的U-net），这是一种新型的时空编码器，结合了多尺度空间卷积[33]和时间自注意力机制[37]，它学会关注最显著的采集。虽然卷积递归方法仅限于在最高[34]或最低[36]空间分辨率下提取时间特征，但我们提出的方法可以使用预测的时间掩模同时在不同分辨率下提取我们还提出了Parcels-as- Points（PaPs），这是第一个用于SITS全景分割的端到端深度学习方法我们的方法建立在高效的CenterMask网络[48]上，我们对其进行了修改以适应我们的问题。最后，我们提出了全景农业卫星时间系列（PASTIS），第一个开放获取的数据集，用于训练和评估全景分割模型的SITS，超过20亿个注释像素，覆盖超过4000平方公里。在此数据集上进行评估，我们的方法优于所有重新实现的竞争方法，用于se-mantic分割，并定义了第一个最先进的SITS全景分割。2. 相关工作据我们所知，没有实例或全景分割方法操作SITS已被提出。然而，在卫星序列的编码以及视频和单个卫星图像的全景卫星图像序列编码。虽然用于SITS分析的第一个自动化工具依赖于传统的机器学习[13，45]，但深度卷积网络允许提取更丰富的空间描述符[19，12，1，16]。时间维度最初是通过手工制作的时间描述符[2，42，51]或概率模型[3]来处理的，这些模型已经被递归[34，37，27]，卷积[29，36，15]或差分[24]架构所取代。最近，基于注意力的方法已经已经被适配为编码遥感图像的序列，并且已经导致像素方式和块方式分类的显著进步[38，35，53]。并联，混合依赖于用于编码空间维度的U-Net类型架构[33]和用于时间维度的递归网络的架构[41，36，28]已经被证明非常适合于SITS的语义分割。在这篇文章中，我们建议将这种混合架构与有前途的时间注意机制相结合。卫星图像的实例分割。全景分割的第一步是描绘所有个体实例，即实例分段大多数远程感测实例化方法在单个采集上操作例如，已经提出了几种方法来检测树[31，54]，建筑物[46]或字段[32]的单个实例几种算法从描绘步骤（边界检测）开始[9，23，47]，并且需要后处理以获得个体实例。其他方法使用分割作为预处理步骤并计算基于集群的特征[6，7]，但不产生显式的集群到对象映射。Petitjean等人[30]提出了一种对图像时间序列进行操作分割辅助分类方法。然而，他们的方法分别对每个图像进行分区，并且不试图在整个序列中一致地检索单个对象。在本文中，我们提出了第一个端到端的框架，直接执行联合语义和实例分割SITS。视频的全景分割。在关于实例分割的大量文献中，Mask-RCNN [11] 是 自 然 图 像 的 领 先 方 法 。 最 近 ，Wanget al.提出了CenterMask [48]，这是一种更轻，更有效的单阶段方法，我们将其用作本文的起点。几种方法提出了从图像到视频的扩展实例或全景分割方法[50，43，17]。然而，如引言中所解释的，SITS在几个关键方面不同于自然视频，这需要特定的算法和架构适应。3. 方法我们考虑一个图像时间序列X，它被组织成一个形状为T C H W的四维张量，其中T是序列的长度，C是通道的数量，H×W是空间范围。3.1. 时空编码我们的模型，称为U-TAE（具有时间注意力编码器的U-Net），以三个步骤编码序列X：（a）序列中的每个图像由共享的多级空间卷积编码器同时且独立地嵌入，4874EE····不不×× ×tt=0不转换块T×C1 ×H ×We1Conv1x1C1×H ×W转换块（×8）D1D1×H ×W下卷积上卷积分块时间加权和特征图序列转换块Conv1x1转换块D2D2×H×W二、二（×4）特征图注意力遮罩上采样转换块Conv1x1转换块d3D3×H×W四四时间注意力（×2）转换块Conv1x1D4D4×H×W八八口罩关注图2：时空编码。图像序列由共享卷积编码器并行处理。在最低分辨率下，基于注意力的时间编码器为每个像素产生一组时间注意力掩模，然后在所有分辨率下对这些掩模进行空间内插。这些掩模用于将特征图序列的时间维度折叠成每个分辨率的单个图。然后，卷积解码器计算所有分辨率级别的特征。所有卷积都纯粹在空间和通道维度上操作，并且我们使用跨步卷积进行空间上采样和下采样。特征图被投影在RGB空间中以帮助视觉解释。将所得到的特征图序列的时间维度转换成每个级别的单个图，（c）空间卷积解码器产生具有与输入图像相同分辨率的单个特征图，参见图2。a) 空间编码我们考虑卷积编码器对于L级1，，L.每个级别由卷积序列、整流线性单元（ReLu）激活和归一化组成。除了第一级，每个块都以步幅卷积开始，将特征图的分辨率除以因子2。同时对于每个时间戳t，级别l处的编码器l将前一级别el-1的特征图作为输入，并且输出大小为Cl的特征图elHl其中Hl=H/2l−1且Wl=W/2l−1。然后将得到的特征el=[El（el−1）]T对于l∈[1，L]，（1）其中e0=X，[ ]是沿时间维度的级联运算符。当构成批次时，我们将时间和批次维度变平。由于每个序列包括在不同时间采集的图像，因此批次的样本不是相同分布的。为了解决这个问题，我们在编码器中使用具有4个组的组归一化[49]而不是批归一化[14b) 时间编码。为了获得每个序列的单个表示，我们需要在将每个特征图序列el用作跳过连接之前折叠它们的时间维度。卷积递归U-网网络[41，36，28]仅用时间编码器处理最低分辨率特征图的时间维度。其余的跳过连接用简单的时间平均来折叠。这防止了在更高分辨率下提取空间自适应和特定于地块的时间模式。相反，处理最高分辨率将导致时间编码器的小空间感受野，以及增加的存储器需求。相反，我们提出了一种基于注意力的方案，该方案仅在最低特征图分辨率下处理时间维度，但能够同时利用所有分辨率下的预测时间注意力掩模。基于其性能和计算效率，我们选择轻量级时间注意力编码器（L-TAE）[10]来处理时间维度。L-TAE是一种简化的多头自注意网络[44]，其中注意掩码直接应用于向量的输入序列而不是预测值。另外，L-TAE实现类似于组归一化[49]的信道分组我们在eL的每个像素处独立地应用具有G个头部的共享L-TAE，eL是最低级别分辨率L下的特征图序列。这为每个像素生成G个时间注意力掩码，可以将其排列成G个张量4875× ×−× ××····起来×× ×D- D≤Ll=1--l=1LaL，g，值在[0，1]中，形状为T×HL×WL：aL，1，···，aL，G=LTAE（eL），逐像素应用（二）为了在编码器的所有尺度级别l处使用这些注意力掩模，我们利用双线性插值来针对[1，L1]中的所有l和[1，G]中的g计算形状为T HI WI的空间插值掩模al、ga l，g=将a L，g的大小调整为H l× W l。（三）然后使用编码器的级别1处的内插掩码al、g，就好像它们是由以该分辨率操作的时间注意模块生成的一样。我们在所有分辨率级别应用L-TAE通道分组策略：每个特征图序列e1的通道被分成G个连续组e1，1，，el，G具有相同的形状T C1/GW 1H 1。对于每个组g，使用al，g作为权重在空间维度上对特征图序列el，g进行平均。 生成的地图沿通道尺寸，并通过共享的1×1con-(a) 实例掩码（b）目标热图卷积层1×1个 宽度为Cl。 我们用f l表示（c）序列观察。（d）预测中心点通过以下等式得到的大小为Cl×Wl×Hl的映射：ΣΣTΣG图3：中心点检测。最基本的事实-使用Stance Mask（a）来构建目标热图（b）。f=Conv1×1t=1的t⊙etG=1，（4）我们的包裹检测模块将原始观测序列（c）映射到预测热图（d）。预测的Cen-其中[·]是沿着信道维度的级联，并且⊙与频道广播的逐项乘法。c) 空间解码。我们将在前一步骤中学习的特征图fl与卷积解码器组合，以获得所有分辨率下的时空特征。解码器由针对11L的L1个块1<组成，具有卷积、ReLu激活和BatchNorms [14]。每个解码器块使用跨步转置卷积1来对先前的特征图进行上采样。级别1处的解码器产生大小为D1H1W1的特征图dl。在U-Net方式中，编码器在解码器块的输出处于电平l-1的情况下：d l=Dl（[Dup（d l+1），f l]）对于l ∈ [1，L− 1]，（5）其中d L= f L，[·]是信道级级联。3.2. 全景分割我们的目标是使用由空间-时间编码器学习的多尺度特征图dlL来执行感兴趣区域上的卫星图像序列的全景分割。全景分割的第一阶段是产生实例建议，然后将其组合成单个全景实例图。由于整个图像序列（通常超过50个）必须被编码以符合端点（红色十字）是预测热图（d）的局部最大值黑点是真正的地块中心。为了简化地块边界，我们避免了复杂的区域建议网络 ， 如 Mask-RCNN 。 相 反 ， 我 们 采 用 单 阶 段CenterMask实例分割网络[48]，并在以下段落中详细说明我们的修改。我们将我们的方法命名为Parcels-as-Points（PaPs），以突出我们从CenterNet/Mask [55，48]中获得的灵感。我们用P表示图像序列X中的地面实况包的集合。请注意，这些包裹的位置是时不变的，因此仅由其空间范围定义。每个地块p与（i）具有整数坐标的中心点p，p，（ii）大小为hp，wp的边界框，(iii)一个二元实例掩码sp∈{0，1}H×W，（iv）一个类k∈[1，K]，其中K是类的总数中心点检测。在CenterMask之后，我们通过预测由地面实况包裹的边界框监督的中心度热图来执行包裹检测。在原始方法[55]中，每个类都有自己的热图：检测也是分类。这对于自然图像是一个明智的在我们pute{dl}L，我们倾向于使用简单的方法进行panop设置，但是，宗地tic分割模块。 此外，给定的相对控制点大多独立于栽培作物。 为此Ll，gl，g4876×个·····p∈×个图4：全景分割。预测中心度热图的局部最大值定义M个暂定地块。对于每一个，所有级别的像素特征被连接并用于预测边界框大小、语义类和S S形状补丁。后者与用于预测像素精确掩模的全局显著性图相结合。实例预测被组合到使用中心度作为质量的全景分割中。出于这个原因，我们使用单个中心度热图，并将类别识别推迟到后续的专用模块。有关我们的包裹检测方法的说明，请参见图3我们将每个地块p与以下的高斯核相关联：偏差σver和σhor分别取为空，则c（p）是未定义的：未检测到包裹p我们用P′表示检测到的包裹的子集，即其中c（p）被很好地定义。pp大小和类别预测。我们联想到一个预测宗地边界框的高度和宽度。与Law和Deng [20]不同，我们使用异方差内核来反映包裹的潜在狭窄性。然后，我们将目标中心度热图m∈[0，1]H×W定义为最大值坐标（ic，jc）的中心点c，大小为D1+D2的多尺度特征向量d~c+D_L，通过在所有映射d_l中的位置（i_c，j_c）处按通道连接像素特征：H×W中每个像素（i，j）处的所有包裹核的值：d〜=Σdl.，i/2l−1，j/2l−1，ΣΣL，（8）. Σ（i−p）2（j−p）2ΣΣC ccl=1~mi，j=maxexpp∈P2（σver）2+2（σhor）2（六）用[ ]进行通道连接。这个矢量dc然后由四个不同的多层感知器处理卷积层采用最高分辨率的特征并预测中心度热图m[0，1]H×W。 预测的热图使用在β= 4的情况下，等式7中定义的损耗：（MLP）以获得大小为2、K和S2的三个向量，其表示分别发送：（i）边界框大小hc，wc，大小为K的类概率kc的向量，以及（iii）形状固定大小的面片sc。 后者在下一段。L=−1 Σ。logg（mi，j）如果mi，j=1（七）Conv显著性中心度热图Conv裁剪显著性预测阈值二进制掩局部最大值M检出中心M×（D1D2D3 D4+++）×HW×个MLP形状面片S×S大小调整大小的形高×宽C c多尺度描述子kc级WCHC选择重塑p中心|P|--4877p联系我们用交叉熵损失来监督，并且用归一化的L1损失来监督尺寸预测。对于P′中的所有p，我们有：与真实宗地p相关联的类预测kc（p）j=1···W我们将预测的中心点定义为局部最大值的m，即值大于其8个相邻像素的像素L级=−log（kc（p）[kp]）（9）邻居 这个集合可以用一个sin-最大池化 操作。将max运算符pi=1···H （1−mi、j）βlog（1−mi、j）其他。+4878替换为L=|Hc（p）-hp||wc(p)−wˆp|4879.（十）4880等式6中的argmax定义映射像素和包裹之间的关系。4881在培训期间，我们将大小4882hpwp4883具有预测中心点c（p）的每个真实地块p，其中最高的预测中心度m在中心度的集合4884坐标映射到p的点。如果此设置4885形状预测这一步的想法是组合为预测的中心点c、具有完整的4886分辨率全局显著性图z，以获得像素精确的4887Conv4888×个⌈ ⌉ ⌈⌉联系我们⌈ ⌉ ⌈⌉×个p实例掩码，请参见图4。对于坐标（ic，jc）的中心点c，大小为S S的预测形状块sc通过双线性插值被调整大小为预测大小hc wc。卷积层将最外面的特征图dl映射到大小为Hff的显著图z，其由所有预测的包裹共享。然后沿着预测的边界框（ic，jc，hc，wc）裁剪该显著性图。将经调整大小的形状和经裁剪的显著性相加（11）以获得第一局部形状~lc，然后用残差卷积网络CNN进一步细化（12）。我们将所得到的预测形状表示为lc：~lc=resizec （ sc ） +cropc （ z ）（ 11）Ic=sigmoid （ ~Ic+ CNN （ ~Ic） ） ，（ 12）其中调整大小c和裁剪c由坐标（ic，jc）和预测的边界框大小（hc，wc）定义。 通过计算预测的形状lc（p）和沿着预测的边界框裁剪的对应的真实二进制实例掩码sp（ic（p），jc（p），h c（p），wc（p））之间的像素二进制交叉熵（BCE），对P’中的每个包裹p的形状和显著性预测进行监督：label，对于非背景像素（我们唯一的stuff类），一个实例label [18]。我们预测的二进制实例掩码可以具有重叠，我们通过将等于在其相关联的中心点处的预测中心度m的具有较高质量的掩模超过具有较低预测质量的重叠掩模的像素如果一个蒙版在这个过程中丢失了超过50%的像素，它将从预测的实例中完全移除丢弃质量低于给定阈值的预测包裹可以在验证集上调整该阈值以最大化包裹检测F分数。与地块遮罩不关联的所有像素都标记为背景。实施详情。我们的U-TAE的实现允许批量训练的可变长度的序列由于一个简单的填充策略。完整的配置和培 训 细 节 可 在 附 录 中 找 到 。 Pytorch 实 现 可 以 在https：//github.com/VSainteuf/utae-paps网站。4. 实验L形 =BCE（lc（p），cropc（p）（s（p））。（十三）4.1. PASTIS数据集为了推断，我们通过用值0对lc进行阈值化来将二进制掩码与预测的中心点c相关联。4.第一章损失函数：这四个损失组合成一个没有重量和优化的端到端的单一损失：我们提出了PASTIS（全景农业卫星时间系列），第一个大规模的，公开的SITS数据集与语义和全景注释 。 该 数 据 集 以 及 关 于 其 组 成 的 更 多 信 息 可 在https://github.com/VSainteuf/pastis-benchmark公开获得。L=L中心+1Σ。Lp+Lp+LpΣ。（ 十四）说明. PASTIS由2433个序列组成|P′| p∈P′类大小形状形状多光谱图像10×128×128. 每个se-与CenterMask的区别我们的方法在几个关键方面与CenterMask不同：（i）我们计算单个显著图和热图，而不是K个不同的显著图和热图。这表示不存在地块遮挡及其形状的相似性。(ii)考虑到卫星图像的较低分辨率，以全分辨率计算中心点以检测潜在的小包裹，从而使我们不必预测偏移。（iii）为了效率，类(iv)仅选定的中心点可预测形状、类别和大小向量，从而节省计算和内存。(v) 我们使用简单的特征级联来计算多尺度描述符，而不是深层聚合[52]或堆叠的沙漏网络[26]。（vi）卷积网络学习组合显著性和掩码，而不是简单的逐项乘积。转换为全景分割全景分割包括将每个像素与语义序列包含在2018年9月至2019年11月之间进行的38至61次观察，总计超过20亿像素。收购之间的时间不均衡，中位数为5天。 这种缺乏规律性是由于卫星数据提供商THEIA自动过滤具有广泛云层覆盖的采集。10个通道对应于哨兵-2卫星的非大气光谱带，经过大气校正和以每像素10米的空间分辨率重新采样该数据集跨越4000平方公里，从法国四个不同地区拍摄的图像，具有不同的气候和作物分布，覆盖了法国大都市地区的近1%我们估计，接近28%的图像至少有部分云层覆盖。注释。PASTIS的每个像素与取自18种作物类型加上背景类的命名法的语义标签相关联。如在遥感应用中常见的，数据集是高度不平衡的，在最常见和最不常见的类之间具有超过50的4889∼(a) 图像来自序列。（b）全景注释。（c）全景分割。（d）语义分割。图5：定性结果。 我们考虑具有全景注释（b）的图像序列（a）。我们在全景分割（c）和语义分割（d）方面表示我们的方法的结果根据附录中给出的图例，地块和像素的颜色与作物类型相主要正确的类预测突出的事实，即全景分割的困难在于每个单独的包裹的精确描绘我们观察的情况下，成功地利用SITS的时间结构来解决边界模糊，不能从一个单一的图像（青色圆圈）。相反，一些视觉上支离破碎的地块被注释为单个实例（红色圆圈）。每个非背景像素还具有对应于其包裹索引的唯一实例标签。总共有124 422个地块被个性化，每个地块都有其边界框、像素精确的遮罩和作物类型。所有注释均取自公开可用的法国地块识别系统。法国支付机构估计，表1：语义分割。我们报告了我们的方法和六种竞争方法的可训练参数中的模型大小、总体准确度（OA）、平均交集对并集（mIoU）和490个序列的一倍的推断时间（IT）。表报告的第二部分我们消融研究的结果。通过原位控制的作物注释精确度超过98%以及在0. 百分之三。为了允许交叉验证，将数据集分成5个折叠，在图像之间选择Ikm缓冲区以避免交叉折叠污染。4.2. 语义分割我们的U-TAE具有L= 4分辨率水平和G= 16磁头的LTAE，具体配置见附录对于语义分割任务，具有最高分辨率的特征图dl被设置为具有K个通道，其中K是类别的数量。然后，我们可以将d1解释为要用交叉熵损失来监督的逐像素预测。在此设置中，我们不使用PaPs模块。竞争方法。我们重新实现了文献中提出的六个性能最好的SITS编码器：• ConvLSTM[34，39]和ConvGRU[4]。这些方法是递归神经网络，其中所有线性层都被空间卷积代替。• U-ConvLSTM[36]和U-BiConvLSTM[22]。为了重现这些基于UNet的架构，我们用convLSTM [40]或双向convLSTM替换了我们架构中跳跃连接是平均速度的。与原来的方法相比，我们将编码器中的批量归一化替换为型号#参数OA mIoU IT×1000U-TAE（我们的）一千零八十七83.263.125.7[36]第三十六话一千五百五十四81.358.429.5U-ConvLSTM [36]一千五百零八82.157.828.3FPN-ConvLSTM [22]1 26181.657.1103.6U-BiConvLSTM [22]一千四百三十四81.855.932.7ConvGRU [4]104079.854.249.0ConvLSTM [34，39]1 01077.949.149.1平均注意力一千零八十七82.860.124.8跳过均值+转换一千零八十七82.458.924.5跳过均值一千零四82.058.324.5BatchNorm一千零八十七71.936.022.3单身约会（八月）一千零四65.628.31.34890单身日期（五月）一千零四58.120.61.3组标准化，显著改善了全面的结果。• 3D-Unet[36]. 一种U-网，其中编码分支的卷积是三维的，以同时处理空间和时间维度。• FPN-ConvLSTM[22].该模型结合了一个特征金字塔网络[21]来提取空间特征和时间维度的双向ConvLSTM。4891×个×个--分析. 在表1中，我们详细说明了我们的方法和六个方法的5倍交叉验证表2：全景分割实验。我们报告类平均全景度量：SQ、RQ、PQ。重新实施的基线。 我们报告总体准确度(OA) 作 为 正 确 预 测 和 总 预 测 之 间 的 比 率 ， 以 及（mIoU）类平均分类IoU。我们观察到卷积-递归方法ConvGRU和ConvLSTM表现较差。嵌入在U-Net或FPN中的递归网络共享类似的性能，对于FPN具有更长的推理时间。我们的方法显着优于所有其他方法在精度方面。在图5中，我们给出了语义分割结果的定性说明。消融研究。我们首先研究的影响，使用spatially内插注意掩模崩溃的时空特征图的时间维度在不同级别的编码器同时。如[ 41，36 ]所提出的，简单地计算没有时间编码的水平的跳过连接的时间平均值，我们观察到4的下降。8mIoU点（跳过均值）。这使得我们的方法性能与其竞争方法不相上下在时间平均之后添加11卷积层将该下降减少到4。2分（跳过均值+ Conv）。最后，使用内插掩模，但通过将掩模逐组平均为每个级别的单个注意掩模而放弃通道分组策略，导致下降3。1分（平均注意力）。这意味着我们的网络能够同时使用不同分辨率的分组方案。总之，我们提出的注意力计划的主要优点是，在所有分辨率的时间崩溃的控制，与经常性的方法。在编码器中使用批量归一化导致27的性能严重下降。1分（批次-标准）。我们的结论是收购的时间多样性需要特别考虑。所有U-Net型号均观察到这一点。我们还在一个单一的采集日期（使用经典的U-Net，没有时间编码）上训练我们的模型，用于八月和五月（单一日期）的两个不同的无云日期 我们观察到24的下降。8和四十二5分，突出了时间维度对作物分类的至关我们还观察到，至少有部分云层覆盖的图像比无云图像平均少58%的关注。这表明我们的模型能够使用注意力模块自动过滤掉损坏的数据。4.3. 全景分割我们使用相同的U-TAE配置用于全景分割，并选择具有190k参数和16 - 16的形状贴片大小的PaPs模块。在表2中，我们报告了类平均分割质量（SQ）、识别质量（RQ）和全景质量（PQ）[18]。我们观察到，虽然网络能够正确地检测和分类-尽管如此，任务仍然艰巨。特别地，模糊边界和难以分类的包裹内容的组合导致具有挑战性的全景分割问题。我们在图5中说明了这些困难，以及定性结果。如第4.2节（U-BiConvLSTM+ PaP）中所述，用U-BiConvLSTM替换时间编码器，我们观察到明显的性能下降8。4RQ，这与表1的结果一致。正如预期的那样，我们的模型实际上，形状块仅确定包裹的粗略轮廓，而像素精确的实例掩模是从显著性图导出的 使用简单的元素乘法执行形状预测，如[48]（乘法显着性），而不是我们的残差CNN，结果下降超过6。8平方英尺使用单个图像（August）导致低全景质量。事实上，从Sentinel-2分辨率的单个图像中识别作物类型和地块边界特别困难。对490个序列的推断花费129秒：26秒用于生成U-TAE嵌入，1秒用于热图和显著性，90秒用于例如提议，并且12秒用于将它们合并到全景分割中。请注意，与简单的语义分割相比，训练时间也增加了5. 结论我们介绍了U-TAE，一种新颖的时空编码器，使用空间卷积和时间注意力的组合该模型可以很容易地与PaP相结合，PaP是在SITS上操作的第一个全景分割框架。最后，我们介绍了PASTIS，这是第一个大规模的全景准备SITS数据集。在此数据集上进行评估，我们的方法显着优于所有其他方法的语义分割，并建立了第一个国家的最先进的卫星图像序列的全景分割。我们希望我们的开放获取数据集和有希望的结果的结合将鼓励遥感和计算机视觉社区考虑具有挑战性的问题，全景SITS分割，其经济和环境的利害关系不能低估。平方RQPQU-TAE + PaPs81.349.240.4U-ConvLSTM + Paps80.940.833.4S= 2481.348.539.9S= 881.048.639.8乘法显著性74.547.235.5单图像72.316.912.4