卫星图像中的地理信息和人类活动因素

3308→超越地理第一定律：利用兴趣点学习卫星图像的表示Yanxin Xi芬兰赫尔辛基大学yanxin.helsinki.fi永利清华大学中国liyong07@tsinghua.edu.cn佟丽萍中国清华大学芬兰赫尔辛基大学tongli@mail.tsinghua.edu.cn芬兰赫尔辛基大学Sasu.cs.helsinki.fi清华大学中国wanghuandong@tsinghua.edu.cn潘辉香港科技大学香港panhui@cse.ust.hk摘要卫星图像可远距离描绘地球现有的卫星图像无监督表示学习研究只考虑了图像的地理信息，忽略了人类活动因素。为了弥补这一差距，我们提出使用兴趣点（POI）数据来捕获人为因素，并设计一个基于对比学习的框架来巩固卫星图像与POI信息的表示。此外，我们还设计了一个注意力模型，该模型自适应地融合了地理和POI视角的表示。在北京市实际数据集的基础上，我们评估了我们的方法预测社会经济指标。结果表明，包含POI信息的表示在估计商业活动相关指标方面优于地理表示。 我们提出的框架可以估计的社会经济指标的R2为0。874，并优于基线方法。CCS概念• 以人为中心的 计算普适和移动计算设计和评估方法。关键词表征学习，社会经济指标预测，卫星图像，数据挖掘ACM参考格式：Yanxin Xi，Tong Li，Huandong Wang，Yong Li，Sasu Tarkoma，andPan Hui.2022.超越地理第一定律：学习地理学的代表性我是说，我是说，我是说，允许免费制作本作品的全部或部分的数字或硬拷贝，以供个人或课堂使用，前提是制作或分发副本的目的不是为了盈利或商业利益，并且副本的第一页上版权的组成部分，这项工作所拥有的其他人比ACM必须尊重。允许使用学分进行摘要 以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定许可和/或付费。请求权限请发邮件至permissions@acm.org。WWW©2022计算机协会。ACM ISBN 978-1-4503-9096-5/22/04。. . 十五块https://doi.org/10.1145/3485447.3512149利用兴趣点的卫星图像。在ACM Web Conference 2022（WWW '22）的会议记录中，2022年4月25日至29日，虚拟活动，法国里昂。ACM，New York，NY，USA，9页。https://doi.org/10.1145/3485447.35121491介绍通过无处不在的遥感技术从鸟瞰角度描绘了地球与实地调查等传统数据来源相比，卫星图像的收集更加省时，成本效益更高。从而为大规模及时监测土地覆盖和人类活动提供了巨大的潜力结合当前计算机视觉和深度学习的进展，研究已经成功地利用卫星图像对土地覆盖进行分类[17]，预测商业活动[15，31]，估计人口[7]，并推断经济状况[34]。这些成就是通过特定任务的监督学习实现的，它需要大量的标记数据进行训练。然而，在大多数遥感应用中，获得大量高质量的注释数据是非常困难的[20，32]。一般来说，遥感提供大量的数据，如卫星图像;但缺乏标签使许多下游应用难以实施。为了减少对标记数据的需求，研究界已经转向卫星图像的无监督表示学习[12，13，20]。这种表示学习的任务是找到一个低维表示的卫星图像，同时坚持对象之间的关联这种学习确实需要标记数据。学习的表示是多用途的，可以用于不同的下游任务[4]。与自然语言处理（NLP）中的词嵌入类似[25，26]，学习卫星图像表示的关键问题是定义卫星图像之间的相似性/关联度量并将其编码为定量表示。大多数现有的研究[20，22，32]都遵循托布勒的地理第一定律[ 27 ]建立了他们的相似性度量，该定律指出“一切都与其他一切相关，但近距离的事物比远距离的也就是说，地理上相邻的卫星WWWYanxin Xi，Tong Li，Huandong Wang，Yong Li，Sasu Tarkoma，andPan Hui3309））））））········图像更有可能具有相似的含义并因此具有代表性。在无人居住的地区，这项法律运作良好。然而，在人类活动已大大改变的人类居住区，法律确实存在缺陷。两个人类居住的地区可能有不同的土地用途和配置，即使他们是地理上的邻居。 Han等人[12]通过让专家注释一小组卫星图像，然后从这个注释的数据集中提取知识，将人类的努力纳入他们的表示学习框架。值得注意的是，这样的方法仍然是耗时的并且限制了性能。在本文中，我们的目标是学习压缩但信息表示为未标记的卫星图像。实现这一目标面临三个挑战。1 .一、仅仅依靠卫星图像的地理特征具有一定的局限性。人类活动在描述城市周边地区时更为重要。因此，第一个挑战是如何描述和捕获有关人类活动因素的信息。二、在捕获人为因素之后，第二个挑战是如何开发一个框架，用于将人为因素特征引入卫星图像表示学习过程。 3. 除了人为因素外，卫星图像中所含的地理信息也有助于学习表示方法。因此，第三个挑战是弄清楚如何以自适应的方式组合这两个方面的特征，以产生更好的最终表示。为了解决这些问题，我们提出了一个表示学习框架的基础上的三个关键设计的未标记的卫星图像1.一、 我们使用POI数据来捕获人类活动因素的性质。兴趣点是人类活动在人口稠密地区的位置信息，能够反映人类活动的特征。例如，如果一个地区有很多餐厅POI，这表明有很多人在那里用餐，如果一个地区有教育POI，这表明人们来到该地区主要是为了学习。 二、 对比学习模块被设计为利用支持学习未标记卫星图像的表示的POI。我们在POI域中测量所有卫星图像的相似性，并学习相似实例之间的共同特征和不同实例之间的区别特征。通过这样做，我们可以提取更多反映人类活动的代表性特征 3.我们设计了一个注意力融合模型，可以自适应地融合来自两个不同视角的表征：人的和地理因素。因此，可以自动学习不同视角在预测社会经济指标中的重要性我们工作的贡献总结如下。• 我们引入POI数据来捕捉人的特征我们在真实世界的大规模数据集上评估我们提出的框架。在预测社会经济指标的任务中，我们的方法在R2方面优于基线4.3%。我们还展示了我们的模型在不同城市的可移植性。我们设想通过机器学习实现新的基于Web的服务信息技术和数据融合提供有关社会经济指标和人类行为的见解。为此，我们的工作通过贡献一种新的机器学习方法来结合Web可访问的数据（如POI和卫星图像），从而推进Web技术。2序言和框架概述2.1数据概述卫星图像。 卫星成像通过使用太空卫星捕获地球表面的图像。它可以近实时地反映有关地面的信息。实际上，环境系统研究所1提供各种分辨率的可见波段光谱卫星图像。兴趣点兴趣点（POI）数据表示变量-在人类居住区，如购物中心和剧院。现有的研究[11，35]发现，人类活动与POI有很强的联系受这些研究的启发，我们将兴趣点信息融入到卫星图像的表征学习中。在实际应用中，我们从腾讯地图服务中抓取了148.11万个POI，覆盖了整个北京地区，包含14个POI类别。社会经济指标。社会经济发展人类居住区的状况是一个重要的特征，可以用社会经济指标来衡量以前的研究[1，13，34]表明，卫星图像可以用来估计一个地区因此，我们使用学习的卫星图像表示来估计多个社会经济指标以评估性能。具体而言，我们使用外卖订单数量和对商业实体的在线评论作为商业活跃度的真实指标。另一方面，我们使用人口和人口密度作为真实的社会指标。外卖订单数量 该数据集涵盖了北京超过25，000家餐厅的外卖订单记录。这些数据来自美团，中国评论数。这些在线评论来自大众点评网，这是一个受欢迎的中国餐厅评论平台。收集的数据集包含约14万条评论人的活动。这些数据是对现有假设的重要补充（例如，地理第一定律），使卫星图像的无监督表示学习。北京的商业机构人口 WorldPop组织2020年北京人口统计数据。为我们提供了我们提出了一个基于对比学习的框架我们的框架通过最大化具有相似POI特征的卫星图像的表示的相似性来学习包含人类活动因素的卫星图像的信息表示。我们开发了一个注意力融合模型来融合与人类活动和地理因素相关的表征，增强了学习表征在多个任务中的适应性，如人口预测和商业活动预测。人口密度。一个地区的人口密度是称为人口密度。在我们的案例中，人口密度数据是由WorldPop组织在2020年收集的。图1显示了上述指标的地理分布情况我们可以从可视化中看到，社会经济指标的地理分布并没有很好地遵循托布勒地理第一定律。外卖配送1https://www.esri.com/en-us/home。2ww.worldpop.org/。超越地理第一定律：利用兴趣点学习卫星图像的表示WWW3310表1：兴趣点类别与社会经济指标之间的相关性。POI类别人口排名人口密度排名数量评论排名数量外卖订单排名交通设施休闲运动住宅公司医疗服务工厂农业政府机构教育景区汽车服务生活服务商城酒店餐厅0.465470.38280.45720.42210.36820.33680.191074689130.2353100.25710.45210.37510.35320.30000.10090.43011246791350.532430.530710.49290.43580.37430.27585810130.1440110.405530.23920.03650.29460.34020.04530.14200.40400.36750.28739147613124580.549720.52530.474010.48280.09510.3976614930.468430.08710.305614120.03680.260814110.590710.502920.504810.34810.35320.5223121140.30850.30580.4315101150.26770.30701080.528220.47532(a) 外卖订单数量（日志）。（b）评论数（log）。(c)种群（对数）。（d）人口密度（对数）。图1：北京市社会经济指标的地理分布。特别是，订单和在线评论似乎在地域上并不一致。因此，仅仅依靠地理自相关来模拟社会经济指标是不够的。2.2动机仅基于地理信息的卫星图像的学习表示可能具有忽略人为因素的缺点，导致在预测与人类活动相关的社会经济指标方面的性能较差。这促使我们杠杆年龄POI数据来表示卫星图像表征学习的人的因素我们首先进行初步调查的POI categories的数量和社会经济数据在每个卫星图像之间的相关性。表1显示了结果，每个指示器的前三个POI类别从最深到最浅以蓝色着色我们可以观察图2：具有相似POI分布或地理上相邻的两个卫星图像之间的社会经济指标差异。POI数据，特别是一些POI类别，如生活服务、购物和娱乐，与社会经济指标高度相关。我们还探讨了一个单一的社会经济指标的差异，在两个地理相邻的卫星图像和两个卫星图像具有最相似的POI分布。差异分布见图2的箱形图。我们可以推断，具有相似POI分布的两个卫星图像之间的外卖订单数量、评论数量和人口计数的差异小于两个地理上相邻的图像之间的差异。 这加强了将POI数据纳入卫星图像表示以反映人类活动因素的重要性。2.3问题陈述和框架概述接下来，我们正式定义的表示学习问题的未标记的卫星图像。给定一组未标记的卫星图像I和落入卫星图像范围内的对应POI，我们的目标是通过无监督模型F学习每个卫星图像Ii的表示ri，其中ri=F（Ii）.WWWYanxin Xi，Tong Li，Huandong Wang，Yong Li，Sasu Tarkoma，andPan Hui3311（···地点POI=我我我我图3：框架概述。图4：构建对比样本的架构。我们在图3中展示了我们提出的框架的概述。在我们的框架中有两个主要步骤：表征学习过程和评价过程。具体地说，根据卫星图像的POI信息或坐标，对POI分布相似的卫星图像和地理上相邻的图像构造对比样本，重新分类。 基于样本，我们训练了两种不同的对比学习模型，用于POI信息和地理信息的图像表示。在此基础上，我们设计了一个attentional融合模型，以自适应地组合来自两个不同视角的表示。结合社会经济指标，我们评估了我们所提出的方法的有效性。3方法3.1构建对比样本对比样本是用于训练对比学习模型的图像对在这个阶段，我们通过选择具有最相似POI分布的卫星图像，为POI视图中的每个卫星图像找到对比伙伴（从而创建一对）假设在数据集中存在总共K个POI类别，对于每个卫星图像I，我们可以定义K维POI类别。图5：对比学习模型的架构。具有最小距离的那些图像被认为是POI视图中最相似的卫星图像伙伴如果有多个卫星图像与某个图像具有相同的POI距离，我们随机选择其中一个作为最相似的我们还为每个卫星图像选择地理上最邻近的图像，这是从地理坐标计算出的具有最小地理距离在此步骤之后，卫星图像在POI视图中具有地理相邻3.2对比学习模式对比学习模型从对比样本中学习，以使未标记的卫星图像压缩表示。该模型分为POI视角和地理视角的对比学习模型。 前者假设具有相似POI分布的两个卫星图像应该具有相似的人类活动信息，而后者假设地理上相邻的卫星图像应该比地理上遥远的图像在语义上更相似。对比学习模型最大化来自同一对的卫星图像的表示相似性，即，具有相似POI或地理位置的卫星图像POI矢量我POIi =[POIi1，POIi2，...，POIi K]，每个维度检索相邻图像，扩大表示的差异性从不同的卫星图像对，即，卫星图像，POI（k=1， 2，.，K）表示第k个POI类别的数量。然后，为了确定具有最相似POI分布的卫星图像，我们使用两个卫星图像Ii和Ij的POI向量之间的欧几里德距离，如下所示：不同的POI或地理上遥远的卫星图像。从POI视图对比对，我们考虑一个未标记的卫星图像Ii和它的POI相似对Ci。然后，我们训练CNN（卷积神经网络）FP来映射卫星图像Iiv.，。.K .Σ2Σi、jk=1和Ci到低维表示空间中：.（一）rP=F （C）.（P（I），vP=FPPOIik−POIjk超越地理第一定律：利用兴趣点学习卫星图像的表示WWW3312·········..ΣΣI.我（）（）[]iK我我我我≈我R我. ΣexprP，r PP G我我exprP，v Pβm（m{P，G}）是权重系数。然后，我们使用MLP，我我我18 [14]作为一个骨干。批量大小为128，我[IiIk]rP和vP之间的相似性应该反映出这两个FP强调关于POI数据（人为因素）的信息，而卫星图像与人类活动相似，例如，从F的几何视图模型出发，GPOI分布。 受[30，33]的启发，我们采用了归一化温度标度交叉熵损失，在[ 8 ]中称为NT_Xent损失。对于在小批量中随机选择的N个卫星图像Ii（i=1， 2，.，N），我们得到具有相似POI分布的N个对应图像Ci（i=1， 2，.，N通过应用CNNFP，是N个卫星图像对的2N个表示：rP和vP（i = 1，2，，N）。在计算损失时，我们将i卫星ie图像Ii及其匹配对Ci作为正样本，并且该小批次中的其他2（N-1）个卫星图像作为负样本。地理第一定律（The First Law of Geography）此外，不同的表征在估计不同的社会经济指标中的重要性仍然是未知的，因此我们在最终预测过程之前添加了注意融合模型，以自动确定每种表征的权重。对 于同一幅卫星图像的POI视图表 示（rP）和地理视图表 示（rG），我们定义了精细的可学习参数，c、V和b以自适应地融合它们。我们有αm=cT·Tanh。V·rm+b∈{P，G}，（9）图像对（Ii，Ci）的损失如下：exp 2· simrP，vP我我exp. mloss（Ii，Ci）=− log（·）我我d1+ d2、（3）βm=αiexp.αm（10）其中sim表示余弦相似度，计算d1和d2使用阴性样本作为：m∈{P，G}i.N..ΣΣ我 Krfinal = .M∈{，βm·rm，（11）}k=1.N.k=1.ΣΣ我K其中r_final是卫星图像Ii的最终表示，并且用ReL∈U激活函数预测经济指标其中1是一个指标函数：1=1 ifIi iI和yi从rfinal如下，1[IiIk][IiIk]k i在其他情况下，I=0。在小批量中的所有对比样本Ii、Ci和Ci、Ii上计算损失。以前的研究表明，如果我们在训练步骤中在CNN之上添加多层感知（MLP）来计算对比度损失，并将CNN最后一层的表示用于下游任务，则学习表示的质量将会提高[8]。因此，我们使用具有两个线性层和ReLU激活函数的MLP作为CNN的投影模块具体来说，我们将投影模块H的输出定义为：yi = MLP（rfinal）。（十二）4评价4.1数据集实验中的数据集包括卫星图像、POI数据和从北京收集的四个社会经济指标①的人。卫星图像的固定尺寸为256*256，空间分辨率为ZP=H.rP=W（2）ReLU.W（1）rP，（六）四、七米。北京的卫星图像总数为18289张。2）。POI数据收集时间为2018年 11月至2020年1月其中rP是卫星图像Ii的FP的输出表示，北京市现有POI 148.11万个，分为14类.3）。外卖订单数量外卖订单记录W（2）和W（1）是投影模块中的参数在在优化过程中，我们使用投影的输出zP于2020年7月至2020年12月收集4）。评论的数量。评论数数据收集自2017年至我模块来计算（3）中的损失，而不是直接输出P的POI视图模型FP。2018年[10]。餐馆总数为139，131家。5）。人口3。该数据集的分辨率约为100米。的类似地，我们将地理视图模型表示为FG，并使用与POI视图对比学习模型相同架构的CNN和投影模块然后我们有rG=FGIi，（7）zG=H。rG=W（2）ReLU.W（1）rG（8）单位是2020年每个网格单元的人数（六）。人口密度4. 该数据集是2020年每个网格单元的人口密度，分辨率约为1公里。4.2实验和基线设置4.2.1实验设置。在我们的实验中，我们使用Resnet-其中rG是卫星图像Ii到FG的表示，并且速率为3e−4，Adam优化器[23]用于最小化训练。我zGing损失。在训练100个epoch之后，我们提取一个低维的i是投影模块的输出向量3.3注意力融合模型d1=12· SIM卡、（四）我d2=2· SIM卡、（五）超越地理第一定律：利用兴趣点学习卫星图像的表示WWW3313接下来，我们考虑合并这两个表示，以构建一个信息量更大的最终表示，用于下游任务。如前所述，两种表示来自不同的模态：来自POI视图模型的表示每个卫星图像的矢量表示。在预测任务中，对于每个指标，我们将数据集随机分为60%的训练集，20%的验证集和20%的测试集。3https：//www.worldpop.org/geodata/summary? id=49919。4https：//www.worldpop.org/geodata/summary? id=44834。WWWYanxin Xi，Tong Li，Huandong Wang，Yong Li，Sasu Tarkoma，andPan Hui3314表2：北京市社会经济指标预测结果外卖订单数评论数人口人口密度方法RMSE R2MAPERMSER2MAPE RMSER2MAPERMSE R2MAPEAutoencoder2.2116 0.13070.70773.0886-0.02580.8807 1.58510.37550.26111.5451 0.46470.2434PCA2.2057 0.13540.71862.91380.08700.8720 1.52800.41960.26031.5961 0.42880.3398ICA2.2610 0.09160.79462.88250.10650.8834 1.50930.43380.31031.7815 0.28840.2749ResNet-181.3599 0.65520.43712.26140.45010.6546 1.01180.77460.16330.9939 0.78060.1668Tile2vec1.4199 0.62410.47672.33240.41500.6771 1.09590.70140.18250.9253 0.80980.1441读1.3359 0.66730.41862.11220.52020.5755 0.95820.77180.15300.9409 0.80340.1595地理1.3894 0.64010.46542.16000.49830.6560 1.02830.73720.17090.8084 0.85490.1300POI1.2445 0.71130.41181.99240.57310.5313 0.94310.77890.15260.9714 0.79040.1671Concat1.1997 0.72400.40351.90380.64240.4997 0.94210.77940.15010.8771 0.82920.1405我们1.1771 0.74860.39471.89620.64530.4903 0.85510.81830.13710.7523 0.87430.11974.2.2基线。我们将我们的方法与下面介绍的自动编码器[24]。自动编码器是一个神经网络，它学习未标记数据的表示在我们的例子中，自动编码器通过最小化未标记的输入卫星图像的重建误差来训练。PCA[29]/ICA[18]。主成分分析（PCA）独立分量分析（ICA）是信号处理中的降维方法。我们将原始卫星图像分解成一个长向量，并应用PCA/ICA计算每个卫星图像的前10个主分量/独立分量Resnet-18[14].这是一个在Im上训练的深度学习模型，agenet。我们用它来展示直接将自然图像训练的模型应用于卫星图像的局限性。[20]第二十话Tile2vec是一种无监督的方法，它使用地理距离是一种监督不力的形式对于每个卫星图像，Tile2vec会找到一个地理相邻图像作为正样本，一个遥远的图像作为负样本。然后，Tile2vec最小化正样本之间的表示距离，并最大化负样本之间的距离阅读[12]。任意区域上的表示抽取（READ）是一个半监督模型。它使用人类标记的卫星图像的一小部分和大量未标记的图像进行训练 我们直接使用原始论文的嵌入模型来提取我们的卫星图像的表示。地理/地理 这些都是由uti学习的表征-仅对POI视图模型或地理视图模型进行局部化Concat. 这是我们方法的一个变体，它将从POI和地理视图模型中获得的表示连接起来。4.3性能分析我们将RMSE（均方根误差）、R2和MAPE（平均绝对百分比误差）作为社会经济指标预测结果的评价指标列于表2中，其中表现最好的用黑体字表示。我们的方法与attentional融合模型优于所有基线时，使用MLP预测的社会经济指标。自动编码器的表现最差，可能是因为它的压缩表示无法充分捕捉与人类相关的因素。PCA和ICA使用降维来计算主成分/独立成分，这可能与社会经济指标无关。此外，在自然图像上训练的模型在从卫星图像捕获社会经济状况方面存在局限性Tile2vec和READ显示出与我们的方法相当的性能，因为Tile2vec使用地理距离作为辅助信息，而READ使用人类对卫星图像中的发展状况的然而，他们还没有考虑到人为因素的信息。值得注意的是，POI视图模型在外卖订单，评论和人口计数方面具有更好的性能，而地理视图模型在人口密度方面表现更好。 结果与我们的初步研究一致（见图2）。表示的串联显示出比大多数基线更高的性能，但仍然低于我们的模型与注意模块，这证明了我们提出的注意融合模型的优越性。4.4案例研究4.4.1POI视图表示的可视化 在该阶段中，我们通过PCA将POI视图表示映射到2维空间中，并且可视化不同社会经济价值的卫星图像如何位于图6中的表示空间中。我们选择六个锚点，如图6所示，并显示相应的卫星图像。通常，开发状态从锚点1增加到6。在定位点1，卫星图像主要包含很少有人居住的农田地区 锚点2的图像大多包含小村庄，而在锚点3，卫星图像包含更多的居民区。我们可以看到锚点4处的图像由大量建筑物组成，但仍有一些非建筑物区域。最后，在定位点5和6处，卫星图像主要包含城市地区，并显示高度城市化的城市景观。我们使用卫星图像的人口数据来验证我们的分析。我们看到从锚点1到锚点6，种群数量增加，增加趋势由蓝色箭头标记因此，我们可以得出结论，我们提出的POI视图模型可以学习包含人为因素的高度接下来，我们选择代表的右上角的点在图6中绘制了它们的实际地理位置，在图7中绘制了它们的实际地理位置。选定的点为蓝色，其他点为橙色。在查询具体位置后，我们发现地点1位于北京市延庆区政府大楼同样，2至5号地点靠近政府超越地理第一定律：利用兴趣点学习卫星图像的表示WWW3315图6：表示空间的可视化我们用蓝色箭头标记城市化趋势（社会经济价值的增长方向图7：图6中的表示空间中的右上角处的点的地理位置选定的点标记在矩形中，其地理位置为蓝色。北京市密云、怀柔、昌平、平谷四个区的建筑物大多数政府建筑物位于相对发达的地区，这些地区通常有大量的商业活动。位置6和7是接近石门和北京交通大学地铁站。周边地区有许多商业POI从上述分析，我们可以得出结论，通过学习的POI视图表示，具有高社会经济价值的区域可以在没有实际地面调查的帮助下与具有低社会经济指标的区域区分开。4.4.2模型可转移到其他城市。为了测试我们提出的模型的通用性，我们用另一个发达城市（即，上海）和一个欠发达的城市（沈阳）在中国。上海的卫星图像数量为5，904张，沈阳为15，095张，人口数据也来自WorldPop。此外，我们在线来自美团的两个城市的评论数据集我们首先将训练好的北京然后对上海和沈阳的相应社会经济指标即使在不同发展水平的城市，我们的对比学习方法与注意力模型在预测社会经济指标方面也优于基线。我们的方法在不同城市中的不同性能的一个潜在原因是这些城市中人类活动模式的多样性。4.4.3区域相似性分析。 卫星图像的表示也可以用来描述两个区域之间的相似性。给定北京的卫星图像，我们研究是否可以找到上海的卫星图像与给定的社会经济指标的相似水平我们随机选取了三幅不同人口的北京卫星图像，并计算了所选图像与上海所有图像的POI视图表示之间的余弦相似度然后，我们在图8中显示了具有高余弦相似性的上海卫星图像。虽然北京的图像有不同的人口，上海的相似的图像可以通过表征。因此，我们学习的表示可以在不同的城市中以高性能找到相似的区域。5相关工作和讨论5.1相关工作5.1.1卫星图像的表示学习卫星图像的表示学习将卫星图像转换为压缩但信息丰富的向量，用于各种下游任务。表示学习方法可以分为有监督和无监督的方法。 对于监督的情况下，Ayush等人。 [3]训练了一个用于卫星图像的目标检测网络，以生成可解释的表示。Jean等人 [19]使用夜间光照强度作为卫星图像的标签，以提取与贫困相关的代表 He等人 [15]使用OpenStreetMap标签作为表示学习的标签。然而，在大多数情况下，标记的卫星图像是很难获得的，因此许多工作集中在无监督的方法。Han等人[12]通过手动标记一小组卫星图像设计了一种半监督方法，并使用 知识 蒸 馏来 训 练 深度 学 习模 型 。 Jean 等 人 [20] 提 出 了Tile2vec，它使用卫星图像的地理距离从未标记的卫星图像中提取表示。 Bjorck等人 [5]将地理信息应用于卫星图像的表征学习，用于入侵物种的管理。 Wang等人 [31]利用传统的特征提取方法，如HOG和GIST，以及“BagOfFeatures”模型来生成卫星图像的表示。与以前的方法不同，我们使用POI数据来捕获卫星图像中的人为因素，并使用对比学习模型从未标记的卫星图像中提取与人类活动相关的表征。5.1.2从卫星图像估计社会经济指标遥感技术的进步使得利用卫星图像进行社会经济评估成为可能，而这在以前需要昂贵的实地调查。以往的研究中有两类指标：经济指标和社会指标。WWWYanxin Xi，Tong Li，Huandong Wang，Yong Li，Sasu Tarkoma，andPan Hui3316表3：多个城市的社会经济指标预测结果城市指标AutoencoderPCAICAResNet-18Tile2vec读地理POI我们RMSE1.44621.39931.51020.99020.97440.93840.98870.95180.8743上海人口R2 0.27680.32270.21150.66830.65970.67270.67800.71660.7339MAPE0.17390.16310.18660.13090.13380.11640.12820.12040.1152RMSE的数量3.12452.54032.52951.85872.06561.82811.94851.88451.8245上海评论R2-0.5315-0.0123-0.00370.42210.28650.44110.36500.40610.4433MAPE0.99160.88110.88020.57050.65910.55330.59030.56400.5443RMSE1.66451.42091.79661.16681.27791.15541.18951.18211.1334沈阳人口R2 0.13840.3721-0.00380.56580.47920.57430.54880.55440.5904MAPE0.38090.33040.404180.25880.29160.25610.26660.26310.2526RMSE数量4.01023.35293.18941.83921.94081.71471.83261.77641.6084沈阳评论R2-0.9572-0.4155-0.28090.62020.57710.66990.63000.64570.7095MAPE1.38171.26260.95250.60680.61770.57950.57760.56660.5496图8：区域相似性分析。经济指标主要涉及财富和商业活动。Abitbol等人 [1]训练了一个深度学习模型，从卫星图像中预测巴黎的收入状况 Yeh等[34]从卫星图像中预测了非洲村庄的资产财富。 Mirza等人[28]利用夜间灯光数据来研究全球的不平等问题。 Han等人 [13]结合人工智能和机器智能，设计了一个基于卫星图像的发展状况评分模型。 Wang等人 [31]提出利用卫星影像和街景影像预测城市 商 业 区 的 商 业 活 跃 度 。 He 等 人 [15] 通 过 卫 星 图 像 和OpenStreetMap标签预测了商业活动。 Jean等人 [19]使用夜间图像作为替代来预测五个非洲国家的贫困状况。 header等人[16]探讨了利用卫星图像衡量人类发展指标的潜力。 Chen等人[6]基于土地覆被和土地利用数据分析区域经济发展。 在社会指标的情况下，Han et al. [12]使用半监督模型从卫星图像中预测人口密度，年龄和家庭数据。还有一些研究将卫星图像和社会传感数据结合起来绘制种群地图（Cheng et al. [9]，Jing et al.[21]）。我们的工作的优点是同时考虑社会和经济指标，并将人为因素（POI信息）纳入卫星图像进行预测。5.2讨论社会经济指标的准确、及时测量对城市规划具有重要意义越来越多的详细卫星图像可有助于衡量这些社会经济指标。然而，标记的卫星图像的稀缺性迫使研究人员转向未标记的图像。为了帮助利用这些未标记的数据，这项工作提出了第一个使用的POI数据，用于捕捉未标记的卫星图像中的人为因素。 我们展示了我们的对比学习模型如何利用POI信息将人类相关因素纳入卫星图像的表示中。然后，我们证明POI视图表示，以验证他们是信息的社会经济指标。我们的研究揭示了将POI数据用于未标记卫星图像的表示学习总之，我们的研究为表征学习和从卫星图像预测社会经济指标的任务建立了新的性能基准。我们相信，在进一步研究和理解表征的基础上，未来的工作有重要的研究方向。具体来说，我们计划分析的情况下，POI数据可以导致更好的表示比地理数据，以及如何不同类别的POI有助于POI视图表示。进一步研究表征对不同社会经济指标预测的贡献，对于拓宽表征的应用领域具有重要意义6结论在本文中，我们介绍了一种无监督学习方法来学习表示未标记的卫星图像。 除了利用地理学第一定律的表征学习方法之外，我们还提出使用POI数据来捕获表征中的人类活动因素，并设计了一个基于对比学习的框架来将POI数据和卫星图像结合起来进行表征学习。在空间信息和兴趣点信息的表征基础上，我们构建了一个注意融合模型来自动融合来自两种模态的表征。预测各种社会经济指标的实验表明，我们提出的模型可以学习更多超越地理第一定律：利用兴趣点学习卫星图像的表示WWW3317有效的陈述。总的来说，我们的研究重新审视了如何学习未标记卫星图像的表示致谢本研究得到了国家重点研究发展计划项目2020 YFB 210400和2020 AAA 0106000的支持;国家自然科学基金项目61972223、U1936217、U20 B2060和61971267的支持;国际博士后交流项目（人才引进项目）项目YJ 20210274的支持;芬兰科学院项目319669、319670、325570、326305、325774和335934的支持。引用[1] Jacob Levy Abitbol和Marton Karsai2020年。通过城市模式从航空图像推断可解释的社会经济Nature Machine Intelligence 2，11（2020），684-692.[2] Adrian Albert，Jasleen Kaur，and Marta C Gonzalez.2017年。使用卷积网络和卫星图像来大规模识别城市环境中的模式第23届ACM SIGKDD知识发现和数据挖掘国际会议论文集。公元1357-1366年。[3] Kumar Ayush、 Burak Uzkent 、Marshall Burke 、David Lobell 和StefanoErmon。2020.利用卫星图像中的目标探测绘制可解释的贫困地图 。arXiv预印本arXiv：2002.01612（2020）。[4] 约瑟芬·本吉奥，亚伦·库维尔，帕斯卡·文森特。2013.表征学习：回顾与新观点。IEEE transactions on pattern analysis and machine intelligence35，8（2013），1798[5] 作 者 ： John Bjorck ， Brendan H. Rappazzo ， Qinru Shi ， Carrie Brown-Lima，Jennifer Dean，Angela Fuller和Carla Gomes。2021年加速生态科学从上面：空间对比学习遥感。AAAI人工智能会议论文集35，17（2021年5月），14711https://ojs.aaai.org/index.php/AAAI/article/view/17728[6] Chao Chen ， Xinyue He ， Zhisong Liu ， Weiwei Sun， Heng Dong， andYanli Chu. 2020. 基于陆地卫星影像土地利用/土地覆盖变化信息的区域经济发展分析。科学报告10，1（2020），1-16。[7] Longbiao Chen，Chenhui Lu，Fangxu Yuan，Zhihan Jiang，Leye Wang，Dahing Zhang ， Ruixiang Luo ， Xiaoliang Fan ， and Cheng Wang. 2021.UVLens：利用开放政府数据的城市村庄边界识别和人口估计Proceedings ofthe ACM on Interactive，Mobile，Wearable