卫星图像中商业活跃度预测及社会背景挖掘的深度学习模型

3870在卫星图像上感知商业活跃度0Zhiyuan He上海复旦大学计算机科学学院智能信息处理重点实验室上海 16210240032@fudan.edu.cn0Su Yang �0上海复旦大学计算机科学学院智能信息处理重点实验室上海 suyang@fudan.edu.cn0Weishan Zhang 中国石油大学（华东）软件工程系中国青岛 zhangws@upc.edu.cn0Jiulong Zhang 西安理工大学计算机科学学院西安 zjl@xaut.edu.cn0摘要0由于不同的城市区域通常由于内部的不同社会背景而具有不同的商业热度。由于卫星图像具有高分辨率、低成本、实时性和普遍性的数据获取特点，本研究旨在通过对卫星图像上的视觉模式进行分析，解决商业热度预测以及相关社会背景挖掘问题。目标是揭示卫星图像的视觉模式与商业热度之间的潜在规律，以便推断整个城市的商业热度地图，以供政府规制和商业规划参考。我们提出了一种新颖的基于深度学习的模型，该模型从原始卫星图像中学习语义信息，以实现对区域商业热度的预测。首先，我们从GoogleMap收集卫星图像，并根据OpenStreetMap的注释将这些图像标记为POI类别。然后，我们训练一个深度卷积网络模型，利用原始图像推断感兴趣区域的社会属性。最后，我们使用三种经典的回归方法，包括线性回归、支持向量回归（SVR）和梯度提升决策树（GBDT），根据卫星图像中反映的相应社会背景预测区域商业热度。我们将从北京的示例中学习到的深度特征应用于上海，以保证模型的普适性。结果显示，所提出的模型在平均精度上达到了82%的鲁棒性。据我们所知，这是第一项关注商业热度与卫星图像之间关系的工作。我们开发了一个Web服务来演示如何根据给定区域的预测商业热度进行商业规划。0CCS概念0• 应用计算 → 社会学；0�通讯作者。作者也隶属于西安理工大学计算机科学学院。0本文发表在知识共享署名4.0国际（CC BY4.0）许可下。作者保留在个人和公司网站上传播作品的权利，并附上适当的归属。WWW'18 Companion，2018年4月23日至27日，法国里昂，© 2018IW3C2（国际万维网会议委员会），根据知识共享CC BY 4.0许可发布。ACM ISBN978-1-4503-5640-4/18/04。https://doi.org/10.1145/3184558.31863530关键词0城市感知，深度学习，普适计算0ACM参考格式：Zhiyuan He，Su Yang，Weishan Zhang和JiulongZhang。2018。在卫星图像上感知商业活跃度。在WWW'18Companion：2018年网络会议伴随会议，2018年4月23日至27日，法国里昂。ACM，纽约，纽约，美国，8页。https://doi.org/10.1145/3184558.318635301 引言0一些现代城市的基础设施变化非常快。新的商业中心迅速崛起，而旧的中心可能正在衰败[18,24]。在[19]中，通过对街景的计算机视觉分析总结了一些关于区域发展和衰败的规律。除了以定性的方式了解城市外观的变化之外，我们对城市基础设施如何影响经济一无所知，也不知道城市基础设施与经济指标之间的定量关系。由于一些城市的快速发展，一个关键问题是从过去中吸取教训，以便在未来进行更好的城市规划。由于缺乏关于城市基础设施对商业活跃度影响的知识，到目前为止，从经济角度进行的城市规划仍然是一个缺失的主题。此外，对于商业主人来说，获得关于选择适合他们业务的位置的建议以最大化利润至关重要，而建立一个基于城市基础设施和商业活跃度之间关系的预测模型是一种操作性的方法。到目前为止，商业热度如何受城市基础设施的影响尚未完全理解。幸运的是，这个时代丰富的大数据资源为感知城市基础设施以及形成商业热度的基本规律提供了新的手段。由于城市基础设施随着区域的变化而变化，直观上，一个区域的基础设施所潜在的社会功能应该对商业热度的形成产生影响，例如，交通网络、房屋和办公室的数量，以及购物中心的规模（如果有的话）。一般来说，对于一个区域的这些资源的不同配置应该导致不同的商业热度。由于所有城市基础设施都可以在卫星图像中看到，因此在本研究中，我们提出利用卫星图像来研究城市基础设施与商业热度之间的相关性。卫星图像具有以下特点：（1）普遍性：几乎可以获得地球上所有城市的图像；（2）低成本：我们可以从GoogleMap等网站免费下载卫星图像，也可以通过付费服务获得卫星图像，价格不是很昂贵；（3）几乎实时：每小时都可以获得高分辨率的卫星图像，因此追踪城市中区域的发展变得容易。事实上，卫星图像已成为城市感知的主要手段。以往的研究主要集中在识别地面对象，如道路、建筑和自然植被，或通过图像配准检测地面对象的变化。最近，最先进的研究趋势已经转向在卫星图像上的视觉模式与社会经济指标之间的关联性的知识发现，以建立一个能够感知位置感知的社会背景或卫星图像上的经济问题的预测模型。在[15]中，Jean等人提出使用卷积神经网络和迁移学习从夜间光强度的卫星图像中学习特征，以预测一个国家的贫困程度。在[21]中，通过在深度学习框架中学习事故的历史数据与卫星图像之间的相关性，预测道路安全性。在[2]中，应用卷积神经网络来解决土地利用分类问题。然而，学习从卫星图像到广谱社会经济问题的映射仍然是一个未解决的问题，而从卫星图像预测商业热度在城市感知方面迄今为止是一个缺失的主题。0跟踪：认知计算WWW 2018，2018年4月23日至27日，法国里昂3880图1：主要框架：首先，使用卫星图像和OpenStreetMap标签训练基于深度学习的模型。然后，将其应用于新的城市，生成区域特征作为计算商业热度的基础。0以下特点：（1）普遍性：几乎可以获得地球上所有城市的图像；（2）低成本：我们可以从GoogleMap等网站免费下载卫星图像，也可以通过付费服务获得卫星图像，价格不是很昂贵；（3）几乎实时：每小时都可以获得高分辨率的卫星图像，因此追踪城市中区域的发展变得容易。事实上，卫星图像已成为城市感知的主要手段。以往的研究主要集中在识别地面对象，如道路、建筑和自然植被，或通过图像配准检测地面对象的变化。最近，最先进的研究趋势已经转向在卫星图像上的视觉模式与社会经济指标之间的关联性的知识发现，以建立一个能够感知位置感知的社会背景或卫星图像上的经济问题的预测模型。在[15]中，Jean等人提出使用卷积神经网络和迁移学习从夜间光强度的卫星图像中学习特征，以预测一个国家的贫困程度。在[21]中，通过在深度学习框架中学习事故的历史数据与卫星图像之间的相关性，预测道路安全性。在[2]中，应用卷积神经网络来解决土地利用分类问题。然而，学习从卫星图像到广谱社会经济问题的映射仍然是一个未解决的问题，而从卫星图像预测商业热度在城市感知方面迄今为止是一个缺失的主题。0本研究的目标是发现卫星图像的视觉模式与商业活跃度之间的关系。通过挖掘它们之间的相关性建立从卫星图像到商业热度的预测模型，可以在城市规划和商业规划中以理性的方式进行，基于参考商业热度地图上的卫星图像，这是通过将感兴趣区域的图像作为输入应用预测模型得到的副产品。通过逐区域生成商业热度地图，可以在整个城市的基础设施上获得商业活跃度的综合概况，从经济角度为城市规划者提供了可视化的城市视角。此外，对于历史短暂且数据稀缺的新开发区域来说，卫星图像上预测的商业热度成为预测未来商业规划的重要线索。为了达到高预测精度，关键是从历史数据中揭示卫星图像与商业热度之间的相关性，并开发一种推理机制来尽可能接近这种相关性。然而，由于数据的异质性，这并不是一项容易的任务。尽管深度学习已成功应用于从卫星图像中感知城市[15,30]，但直接从卫星图像预测商业热度是不切实际的。主要原因在于卫星图像以高度非结构化的形式存在，具有看似不规则的视觉模式，深度学习模型很难在原始卫星图像上找到商业活动的明确线索。为了解决这个问题，我们提出在卫星图像和商业活跃度之间建立一个语义层。该语义层从原始图像数据中捕捉社会功能和城市基础设施。然后，基于语义层上的城市基础设施的识别，进行商业活跃度的预测。动机如下：一方面，已经揭示了给定区域的商业热度受到区域内外社会背景的影响[29]，兴趣点（POI）起着重要作用，即给定位置的城市功能的类别标签，如购物中心或交通设施。另一方面，已经证明可以从卫星图像中识别粗粒度的POI[2]。这引发了一个有趣的问题：是否可以通过POI从卫星图像预测商业热度？因此，我们利用OpenStreetMap的注释来为每个图像标记POI的类别标签，OpenStreetMap是一个众包项目，用于创建世界上的免费可编辑地图。然后，可以训练一个深度卷积模型来对这些标记的图像进行分类，以识别相应POI类别所指示的城市基础设施。我们将感兴趣的城市划分为多个区域的网格。在每个区域中，我们使用深度学习模型生成一个表示POI统计分布的平均特征向量。然后，使用线性回归、支持向量回归（SVR）和梯度提升决策树（GBDT）等一些回归方法，根据POI的区域特征预测商业热度。为了评估所提方法的普适性，我们将从一个城市训练的模型应用于预测另一个城市的商业热度。最高的预测准确率为82%，这表明卫星图像与商业活动之间存在密切关系。所提方法的主要框架如图1所示。此外，为了展示我们对商业热度的理解，我们提出了一个商业热度的概念图。0主题：认知计算WWW 2018年4月23日至27日，法国里昂3890图2：在线演示，演示如何从卫星图像中推断商业热度。首先，在城市的卫星地图上选择感兴趣的区域。该区域的经度和纬度将出现在右上角。然后，点击“提交”按钮。该区域的商业热度预测值将被计算，并显示与6个POI类别相对应的地面对象的统计分布。0通过卫星图像预测商业热度，我们开发了一个Web服务门户，如图2所示。据我们所知，这是第一项利用卫星图像预测商业热度的研究。本文的贡献总结如下：0•提出了一个框架，基于利用深度神经网络感知卫星图像中反映的社会功能，然后通过基于决策树的推理机制来挖掘社会功能与商业热度之间的关联。这可以帮助城市规划者从中学习进一步的城市规划经验。从技术角度来看，该系统的实现如下：原始卫星图像在语义上没有意义，直接将卫星图像的原始数据与商业活跃度直接相关联是困难的。因此，我们建议在视觉模式和商业活跃度之间添加一个语义中间层。也就是说，我们利用OpenStreetMap生成附加注释，以便从卫星图像中学习和推断社会功能（例如POI）的统计信息。•我们使用从北京学习到的深度特征，以82%的准确率预测了上海的城市规模商业热度，证明了该方法的普适性。•我们开发了一个Web服务门户，以交互方式演示任何区域的商业热度预测0在上海，我们预测了商业热度，为商业位置规划提供了易于使用的决策支持。02相关工作0据我们所知，迄今为止，还没有关于利用卫星图像预测商业热度的公开报告。然而，一些研究已经进行，旨在从原始卫星图像中预测社会背景。在[15]中，使用深度学习和迁移学习来预测贫困，使用夜间灯光作为解决这个问题的代理。卫星图像还用于预测城市土地利用[2,4]、道路安全[21]和城市空气质量[10]。还有许多其他利用计算机视觉方法实现城市感知的工作。城市感知是指使用现代传感器（例如卫星传感器）收集城市大数据，进行分析、规划和预测城市社会属性。在[20]中，使用传统的计算机视觉方法从街景中预测安全评分。在[22]中，利用深度学习技术推进了这项任务。除了安全评分，还可以预测更多的社会属性，如暴力犯罪[3]和距离最近的商业中心的距离[16]。还有一些研究专注于城市身份识别，如[8]和[31]。本研究是第一项致力于发现卫星图像的视觉特征与商业热度之间相关性的工作。最相关的工作是[16]，他们预测最近商业中心的距离，这与商业热度有隐含的相关性。然而，[16]使用的是街景而不是卫星图像，后者应该提供更直接的衡量地面对象之间距离的视角。尽管街景和卫星图像都是免费获取的数据，易于访问，但我们更倾向于使用卫星图像，原因如下：鉴于城市基础设施的快速变化性质，卫星图像承诺对城市发展进行全面和实时的数据采集。0主题：认知计算WWW 2018年4月23日至27日，法国里昂The data collection steps are as follows:1Because predicting urban commercial hotness in non-urban area is meaningless, weonly consider the main urban area of Beijing. To be specific, we use a rectangle arearanges from 40◦ 09’ 24” N, 116◦ 09’ 27” E to 39◦ 44’ 01” N, 116◦ 40’ 18” E.2A rectangle area containing the main urban area ranges from 31◦ 25’ 45” N, 121◦ 07’57” E to 30◦ 49’ 21” N, 121◦ 59’ 22” E.3900数据收集步骤如下：03数据0•训练基于深度学习的模型需要卫星图像和标签。使用GoogleMapAPI，我们下载了北京的卫星图像1。所有图像都在18级缩放级别。然后，我们下载了北京的OpenStreetMap数据，以生成相应的图像标签。我们随机抽取了48,000张图像用于训练，12,000张图像用于评估。详细信息将在下一节中描述。•我们使用训练好的深度模型为区域生成属性，这可以被视为应用于预测商业热度的特征。为了进行公正的验证，我们使用从北京学习到的深度模型来预测上海的商业热度。同样，我们还从GoogleMap下载了上海的卫星图像2。•为了训练上海的预测器，我们需要一个定量的数字来反映一个区域的商业热度。我们使用中国最大的点评网站Dianping.com的数据来共享对商业实体的评论，其功能类似于美国的Yelp。数据包括地理位置、用户评论和用户评分。在这里，我们使用评论数量作为商业热度的代理，因为在线评论来自真正体验过商业实体提供的服务和商品的消费者。0在[29]中，使用包括POI、人员流动性、当地居民数量和购买力以及在线评论在内的城市大数据来预测城市商业区的商业热度，并揭示了POI在商业活跃度预测中的重要作用。因此，在预测商业热度方面，POI的识别至关重要。据我们所知，地理数据上的POI标签注释高度依赖于费时费力的手工工作。由于卫星图像可以提供区域功能的粗略概况，并且已经被用于分类土地利用[2]，本研究旨在从原始卫星图像数据中自动化POI分类和商业热度预测，其中应用深度学习实现POI分类的优化，这是商业活跃度预测的基础。04方法论0我们的目标是从原始卫星图像中预测商业热度。然而，商业活动受到许多因素的影响，如居民总数、居民的真实购买力和商店的密度。即使使用深度学习预测器，直接将原始卫星图像映射到商业热度也是不切实际的。原因在于卫星图像导致了一种高度非结构化的数据形式，很难获得可靠地指示社会属性的明确线索。我们使用OpenStreetMap作为数据标注的补充数据源，其中包含POI类别。OpenStreetMap是一个旨在构建全球地图数据的项目。OpenStreetMap上的所有数据都可以免费下载。有了这些地图数据，我们可以为每个图像分配一个类别标签。因此，我们可以成功训练一个用于原始卫星图像的深度学习分类器。训练好的模型应该足够稳健，可以应用于另一个城市，该模型用于通过对感兴趣区域内的所有图像块进行分类来生成区域特征向量。我们将这个特征向量视为社会上下文表示，因为它是在OpenStreetMap的POI监督下获得的，基于这个特征向量，我们可以继续预测商业热度。所提出方法的主要框架如图1所示。接下来，我们详细描述所提出的方法。首先，我们解释如何使用OpenStreetMap数据分配图像标签。然后，我们描述如何训练带有标签图像的深度学习模型以及如何使用该模型生成区域特征向量。最后，我们描述如何使用特征向量来预测商业热度。04.1 使用OpenStreetMap数据标记图像0OpenStreetMap为世界上几乎所有地区提供详细的地图信息。OpenStreetMap的基本数据结构是节点、路径和关系。节点是最基本的概念。它代表地图上的一个单点，由纬度、经度和节点ID组成。路径是节点的有序列表。它可以是开放的或封闭的。在封闭路径中，最后一个节点和第一个节点是相同的，但对于开放路径来说它们是不同的。道路、铁路和河流用开放路径表示，而封闭路径用于定义有意义的区域，如住宅区、商业区、工业区和学校。关系是描述节点和路径之间关系的概念。在本文中，我们使用封闭路径来标记原始卫星图像。根据其定义，我们可以将封闭路径视为带有标签信息的多边形区域。总体上，OpenStreetMap上有超过2000个标签。在实践中，大多数标签很少使用。我们只使用广泛使用且与商业活动相关的标签。一个标签对应一个类别。我们如下所示地为卫星图像分配类别标签：这里存在一个矛盾：卫星图像（即Google地图瓦片）是一个标准的正方形形状，而路径是一个不规则的多边形。我们计算卫星瓦片中的重叠区域。如果超过预定义的阈值（在所有实验中为70%），我们将根据路径的标签为图像瓦片分配类别标签，如图3所示。03 http://wiki.openstreetmap.org/wiki/Category:Tag_descriptions0Track: 认知计算 WWW 2018, 2018年4月23日至27日, 法国里昂3910图3：使用OpenStreetMap数据为卫星瓦片生成标签。OpenStreetMap路径是一个不规则的多边形。在一个卫星瓦片中，计算重叠区域。如果超过阈值，将根据路径的标签为瓦片分配类别标签。04.2 训练基于深度学习的分类器0图4：用于分类标记的卫星图像的CNN模型：模型以单个图像 S i作为输入；输出是输入属于每个类别的概率（表示为 C i ）。0一旦有了标记的卫星图像，我们可以训练一个基于深度学习的分类器。在本文中，我们采用卷积神经网络（CNN）来对原始卫星图像进行分类。CNN是一类深度前馈网络。在计算机视觉任务中，它已被证明是成功的。传统的图像数据机器学习方法通常从手工制作特征开始。这种工作需要大量的领域知识和劳动。CNN模型可以自动从原始图像中学习提取特征。因此，使用CNN模型不仅可以节省时间，还可以显著提高最终性能。CNN模型将原始卫星图像（表示为 S i）作为输入，并产生类别相关的概率作为输出，其中 S i是具有固定宽度和高度的RGB图像。尽管原始卫星图像是非结构化的，只包含低级特征，但CNN模型可以在POI标签的监督下学习接近语义上有意义的目标。这个过程是通过堆叠的卷积层完成的。一个卷积层通常由3个部分组成：第一部分是卷积核，负责对输入的3D张量进行卷积变换。张量的3个维度是宽度、高度和通道。这个张量也被称为特征图。然后，将结果输入到激活函数中进行非线性变换，通常使用修正线性单元（ReLU）。第三部分是池化层，用于使输出对于微小扰动更加稳定。卷积层的堆叠结构使得更容易以分层的方式捕捉RGB图像的视觉模式。较低的卷积层可以学习提取低级特征，如颜色和边缘，而更深的层则用于提取语义特征，如形状和物体。这些深层特征后面跟着一些带有softmax函数的全连接层，用于产生属于每个类别的概率。CNN模型通常使用随机梯度下降方法进行监督训练。我们将CNN模型的输出表示为 C i ，它是一个具有总共 k个可能类别的类别相关概率。方法的流程图如图4所示。0输出更具鲁棒性以抵抗微小干扰。卷积层的堆叠结构使得更容易以分层的方式层次化地捕捉RGB图像的视觉模式。较低的卷积层可以学习提取低级特征，如颜色和边缘，而更深的层则用于提取语义特征，如形状和物体。这些深层特征后面跟着一些带有softmax函数的全连接层，用于产生属于每个类别的概率。CNN模型通常使用随机梯度下降方法进行监督训练。我们将CNN模型的输出表示为 C i，它是一个具有总共 k个可能类别的类别相关概率。方法的流程图如图4所示。04.3 计算区域特征向量0图5：每个区域的特征提取：使用训练好的深度模型，我们可以为每个图像获取概率值。区域的特征是与该区域中的图像相关的所有特征向量的平均值。0对于单个卫星图像块来说，几乎不可能预测其商业热度。例如，一个卫星图像可能只包含高放大级别下的一部分房屋。这种信息太微小，没有意义。然而，如果我们切换到较低的放大级别，由于有限的分辨率，一些细节将会丢失。因此，我们选择对区域进行商业热度的预测。我们将整个城市划分为一个 n × m 的网格（表示为区域 j ，j = 1 ..n ×m）。每个区域包含一对图像块。如图5所示，我们可以使用训练好的深度模型为每个图像块获取类别相关的概率值。区域的特征是该区域中所有图像块的类别相关概率的平均值：0∈ 区域 j C j0| 区域 j  | 我们将 Feature j视为反映该区域社会环境的向量。实际上，它定量地确定了不同类别的比例，如住宅区、商业区、工业区和学校。我们之所以计算这些特征，是基于以下考虑：实验证明，感兴趣区域中POI的统计分布在预测区域商业活跃度方面起着重要作用[29]。Feature j可以反映区域的社会环境和组成。与原始卫星图像特征相比，该向量包含高级语义信息，被认为是预测区域商业热度等社会属性的强大特征。0Track: 认知计算 WWW 2018, 2018年4月23日至27日, 法国里昂We use the total number of the web reviews on the commercialentities in this area as the proxy of commercial hotness since onlythe customs who have experienced the services and goods providedby the commercial entities wrote such comments on web, and thenumber of the comments reflect how much the commercial entitiesattract attentions, namely, commercial hotness. Here, the reviewdata are from Dianping.com, which is the best-known web sitefor leaving online reviews in China, like Yelp in US. The regionalfeature vector f eaturej is used to predict the commercial hotnessdefined as such. We use three standard regression methods to per-form prediction from f eaturej: Linear Regression, Support VectorRegression (SVR), and Gradient Boosting Decision Tree (GBDT).The results are provided in the following section.3920我们使用该地区商业实体在网络上的评论总数作为商业热度的代理，因为只有体验过商业实体提供的服务和商品的顾客才会在网络上写这样的评论，评论的数量反映了商业实体吸引关注的程度，即商业热度。这里的评论数据来自大众点评网，它是中国最知名的在线评论网站，类似于美国的Yelp。区域特征向量 feature j用于预测商业热度的定义如上所述。我们使用三种标准回归方法来从 feature j进行预测：线性回归、支持向量回归（SVR）和梯度提升决策树（GBDT）。结果将在下一节中提供。04.4 预测区域商业热度05 实验0我们首先在北京使用标记的卫星图像训练一个CNN模型。然后，我们通过预测另一个城市上海的商业热度来验证该模型。这证明了深度学习预测模型的普适性。05.1 CNN训练0下面我们解释如何训练CNN分类器：数据集：我们从Google MapAPI下载了北京的所有卫星图像。所有图像都在18级缩放，并具有256×256的分辨率。然后，我们使用OpenStreetMap数据生成带有标签的图像。之前已经描述了标记每个图像的方法。我们使用6个标签，也就是6个类别，来训练CNN分类器：水域、森林、居民区、工业区、商业区和农田。每个类别随机抽样了10,000张图像。然后，我们将图像分成训练集和验证集。对于每个类别，有8,000张图像用于训练，2,000张图像用于验证。我们的模型不限制类别的总数。在未来的工作中，可以考虑更多的类别来形成更丰富的社会背景表示向量。架构：我们使用InceptionV3[27]作为基本的CNN架构。有许多成功的CNN架构，如AlexNet[17]、VGGNet[23]、Inception网络[14,25-27]和ResNet[13]。InceptionV3是这些成功架构之一。我们使用InceptionV3是因为有一个易于使用的实现，并且它也提供了一个强大的基准。训练：我们不是从头开始训练，而是基于预训练的ImageNet[7]模型初始化参数。总的来说，我们训练了两个CNN模型：对于一个模型，我们只训练了最后的逻辑层。因此，我们可以将预训练的CNN模型视为传统的图像特征提取器。提取的图像特征被馈送到softmax分类模型中得出结果。另一个模型是在Inception V3的所有层上训练的。0Top-1准确率 Top-3准确率0仅逻辑层 0.685 0.942 所有层 0.743 0.9580表1：我们CNN模型的分类准确率。训练数据集包含48,000张图像，每个类别有8,000张图像。验证数据集包含12,000张图像，每个类别有2,000张图像。我们计算验证数据集上的top-1和top-3准确率。总之，我们训练了两个模型：一个只训练了逻辑层；另一个训练了所有层，准确率更高。0对于这两个模型，我们使用32作为批量大小，0.00004作为权重衰减。两个模型的学习率不同。我们使用学习率0.001训练仅逻辑层的模型，使用学习率0.0001训练所有层的模型。两个模型都使用RMSProp优化器[28]进行优化。最后，使用TensorFlow[1]框架在单个NvidiaGeForce Titan BlackGPU上进行训练。评估：为了评估训练好的模型，我们计算测试数据集上的分类准确率，该数据集每个类别有2,000张图像。我们报告20,000次迭代后的top-1和top-3准确率。top-k准确率是指在所有预测中正确命中的比例，其中正确命中表示预测结果中的前k个候选项之一与实际结果一致。如表1所示，两个模型都具有合理的精度。最高的top-1分类准确率为0.743。05.2 商业热度预测0我们使用训练好的深度学习模型来预测另一个城市的商业热度。我们不是从单个图像预测商业热度，而是对城市中的每个区域进行预测。具体如下：数据集：我们将上海划分为n×m个区域。在所有实验中，我们令n = 20，m =20。对于每个区域，特征可以被视为该区域所有卫星图像的类别相关概率值的均值，以确定不同类别的POI的比例。它是由训练好的基于深度学习的模型生成的。每个区域的商业热度是该区域内商业实体的在线评论总数。评论数据来自Dianping.com。我们对每个区域的在线评论数量进行对数转换，并将该值作为监督学习的标签，同时用于性能评估。线性回归：我们将线性回归作为基准模型。给定一个p维特征x i = [x i 1, x i 2, ..., x ip]和标签y i ，i = 1, 2, ...,n，线性回归模型假设x i 和y i之间存在线性关系。还存在一个噪声项ϵ i。因此，线性回归模型可以表示为0y i = β T x i + ϵ i0其中β是一个p维参数向量。线性回归是最基本的回归模型之一。我们将其作为基准模型，证明了商业热度可以通过提出的方法成功地从卫星图像中预测出来。支持向量回归：在机器学习中，支持向量机[6]是一种用于分类的监督学习模型。0Track: 认知计算 WWW 2018，2018年4月23日至27日，法国里昂N�j=1hj(xi)n�i=1yiR2 = 1 −ni=1 (yi − fi)2�ni=1 (yi − y)23930线性回归 SVR GBDT0仅逻辑层 0.743 0.748 0.799 所有层 0.804 0.8130.8220表2：商业热度预测的三种回归模型的R2值。结果是在5折交叉验证上平均得到的。我们使用三种经典回归方法验证了两个基于深度学习的模型。结果显示，提出的方法可以以令人满意的精度进行预测。0[9]中提出了一种用于回归的SVM模型，称为支持向量回归(SVR)。在实验中，我们还使用SVR作为回归方法之一。给定特征x i 和标签y i ，i = 1, 2, ...,n，原始的SVR模型旨在最小化1/2 || w || 20满足 y i − ϵ ≤ w T ϕ ( x i ) + b ≤ y i + ϵ0其中w T ϕ ( x i ) + b是样本x i的模型预测值，ϵ是阈值参数。梯度提升决策树：梯度提升[11,12]是一种机器学习技术，它将决策树等弱预测器组合成一个强模型。梯度提升决策树(简称GBDT)是实验中使用的第三种回归方法。我们还让x i 和y i分别表示特征和标签。原始的GBDT可以看作是N个决策树模型h j , j= 1 ... N的组合：0F N ( x i )=0h 1 通过使用决策树从 { x i } 预测 { y i } 直接学习。h 2通过使用决策树从 { x i } 预测 { y i  −  h 1 ( x i )} 学习。h 3通过使用决策树从 { x i } 预测 { y i  −  h 1 ( x i ) −  h 2 ( x i )}学习，依此类推。在实验中，我们使用了更复杂的GBDT实现[5]。训练：对于线性回归，不需要设置参数。我们使用5折交叉验证和网格搜索来找到SVR和GBDT模型的最佳参数。对于SVR模型，我们使用径向基函数核。惩罚参数C从{0.1, 1, 2,10}中选择，epsilon项ϵ从{0.05, 0.1, 0.15, 0.2,0.5}中选择。对于GBDT模型，最大树深度从{2, 3, 4,5}中选择，学习率从{0.5, 0.1, 0.05, 0.01}中选择，迭代次数从{10,50, 100, 150,300}中选择。评估：我们使用决定系数R2作为评估回归模型的指标。给定观测值{y1, y2, ..., yn}和预测值{f1, f2, ...,fn}，我们首先计算观测值的平均值：0y = 10然后，R2值由以下给出：0图6:最佳模型的观察到的商业热度(评论数量的对数)和预测值。虚线代表函数  y  =  x .0R2值是在5个折叠上计算的，并在表2中显示。最佳模型是在所有卷积层上训练的模型，并使用GBDT作为回归方法。如图6所示，该模型可以从卫星图像中合理地预测商业热度。06 总结与结论0在本文中，我们研究了利用深度学习从原始卫星图像推断城市尺度商业热度的方法。我们提出了一种利用最先进的卷积神经网络模型和开放数据获取强大预测模型的方法。为了验证所提出的方法，我们首先基于一个包含60,000张从Google MapAPI收集的北京卫星图像的大型数据集训练了一个卷积神经网络模型。卫星图像使用OpenStreetMap数据作为补充数据源进行标记。我们的最佳模型在识别POI标签的6个类别上达到了74.3%的分类准确率。然后，我们将模型产生的深度特征应用于上海的商业热度预测。通过逐个区域预测商业实体上的评论数量来实现。我们使用深度学习模型为每个区域生成一个社交上下文特征向量。另一方面，使用从Dianping.com收集的在线评论的对数形式对区域进行标记。我们采用三种经典回归方法，线性回归(LR)、支持向量回归(SVR)和梯度提升决策树(GBDT)，来预测商业热度值。最佳结果由GBDT模型获得，R2值为0.822，证明我们的模型可以以合理的精度从卫星图像中预测商业热度。最后，我们使用最佳模型构建了一个在线网络服务，可以预测上海任何区域的商业热度。实验结果证实:(1)从卫星图像预测商业热度是可行的。卫星图像中包含的视觉特征可以成为商业活动的良好指标。(2)最先进的卷积神经网络模型确实帮助我们实现了高预测准确性。(3)我们可以以相对较低的成本使用卫星图像预测城市的商业活动。(4)我们的模型在一个国家内具有良好的泛化能力，因为卫星图像在视觉上具有相似的外观。0Track: 认知计算 WWW 2018, 2018年4月23-27日, 法国里昂3940通过卫星图像，我们可以实现在城市尺度上具有良好的泛化性的高预测准确性。(3)我们可以利用卫星图像以相对较低的成本预测城市商业活动。尽管我们的方法在准确性方面是实用的，但它也存在一些局限性:首先，我们的模型不是一个端到端的系统，不能直接使用深度学习方法从卫星图像中直接预测商业热度。原因是从单张图像中预测商业热度几乎是不可能的。因此，我们通过区域预测来进行预测。其次，我们将网络评论数量视为商业热度的代理。这种方法易于获取，但可能不是完全准确的。第三，我们在北京训练模型并在上海进行验证。已经证明该模型在一个国家内具有良好的泛化能力，因为卫星图像在视觉上具有相似的外观。可以进行更多的实验来观察该模型是否可以在不同国家之间泛化(例如，在中国进行训练，然后在美国进行预测)。这些局限性将在未来的工作中得到解决。07 致谢0这项工作得到了国家自然科学基金委员会(NSFC)的支持(编号61472087)和上海市科学技术委员会的支持(编号1751110420)。0参考文献0[1]  Martín Abadi, Ashish Agarwal, Paul Barham, Eugene Brevdo, Zhifeng Chen, CraigCitro, Greg S Corrado, Andy Davis, Jeffrey Dean, Matthieu Devin, et al . 2016.Tensorflow: 大规模异构分布式系统上的机器学习.  arXiv预印本 arXiv:1603.04467  (2016).[2]  Adrian Albert, Jasleen Kaur, 和 Marta Gonzalez. 2017.利用卷积网络和卫星图像在大尺度城市环境中识别模式.  arXiv预印本 arXiv:1704.02965(2017). [3]  Sean M Arietta, Alexei A Efros, Ravi Ramamoorthi, 和 Maneesh Agrawala.2014. 城市取证: 利用视觉元素预测非视觉城市属性.  IEEE计算机视觉与图形学交易  20, 12(2014), 2624–2633. [4] Michael J Barnsley 和 Stuart L Barr. 1996.利用基于核的空间重分类方法从卫星传感器图像推断城市土地利用.  摄影测量工程与遥感62, 8 (1996), 949–958. [5]  Tianqi Chen 和 Carlos Guestrin. 2016. XGBoost:一种可扩展的树提升系统. 在  ACM SIGKDD国际知识发现与数据挖掘会议 上. 785–794. [6] Corinna Cortes 和 Vladimir Vapnik. 1995. 支持向量网络.  机器学习  20, 3 (1995),273–297. [7]  Jia