GeoEngine：面向生产的地理空间机器学习平台

GeoEngine：面向生产的地理空间研究Sagar Verma1，2，Siddharth Gupta2，Hal Shin2，Akash Panigrahi2，Shubham Goswami2，ShwetaPardeshi2，Natanael Exe2，Ujwal Dutta2，Tanka Raj Joshi2，Nitin Bhojwani21Uni versite′P-Saclay，CentraleSupe′ lec，Inria，Centre deV ision Nume′ rique2颗粒AI{sagar，akash，sid} @ granular.ai摘要地理空间机器学习已经取得了巨大的学术进步，但其实际应用一直受到难以实现高性能和可靠解决方案的限制。在现实环境中采购卫星图像、处理TB级的训练数据以及管理机器学习工件是严重限制下游创新的一些挑战。在本文中，我们介绍了GeoEngine1平台，用于可重复生产和生产就绪的地理空间机器学习研究。GeoEngine消除了大规模采用计算机视觉和基于深度它是第一个端到端地理空间机器学习平台，简化了对PB图像背后的洞察力的访问。在严格的研究方法的支持下，这个地理空间框架为研究人员提供了强大的抽象，用于图像来源，数据集开发，模型开发，大规模训练和模型部署。在本文中，我们提供了GeoEngine的体系结构，详细说明了我们的设计理念。我们提供了几个图像来源、数据集开发和模型构建的真实用例，帮助不同的组织构建和部署地理空间解决方案。1. 介绍为了解决人类面临的许多最大挑战，我们必须对我们的星球及其演变过程有一个全面的了解。卫星和航空图像与地理空间机器学习相结合，提供了无与伦比的客观全球规模数据来源。在过去的十年中，部署在或- bit上的地球观测卫星数量增加了近八倍，商业卫星的可用性也有类似的增长。1https://apps.granular.ai/apps图1.用于地理空间ML的MLOps管道。通过固定翼飞机和气球获得的空中图像。此外，零售和商业市场上的小型无人机（UAV）正在产生大量的地理空间数据。最近增加的航空数据（例如，多光谱、SAR、LIDAR）以及非图像地理空间数据（例如，GPS）已经从根本上改变了下游应用的潜力。随着这些数据变得更便宜，更容易获得，公司，政府和模型审计基准消耗模型供应GET/api/segment_houseGET/api/classify_propertyGET/api/urban_changeGET/api/urban_change合格可接受95%置信模型库管理模型训练V2（hash：4cBad3）V4V1（hash：V3重量V2重量V1CodeV1CodeV2V2V1参数V1数据集V1参数V2数据集V2图片来源可训练数据集注释7fe5fc5小行星e20155f公民们都试图利用它来更好地了解我们的星球及其居民。随着原始图像可用性的增加，计算机视觉中的方法在很大程度上受到机器学习进步的推动，取得了显着的发展。然而，尽管取得了这些进展，支持地球观测研究的工具仍然缺乏。致力于将地理空间机器学习方法应用于现实世界解决方案的研究人员和开发人员正在积极寻找能够管理地理空间研究各个方面的端到端平台地理空间研究的大部分焦点一直是解决问题和构建新的解决方案，而对底层支持基础结构和协议的虽然在研究环境中使用特定的方法和环境可以实现良好的性能和准确性，但挑战在于构建一个集成的地理空间机器学习解决方案，以支持生产规模的数据吞吐量。机器学习开发生命周期反映了软件开发的生命周期，有四个关键阶段：规划、开发、测试和部署。同样，维护ML系统需要与传统软件系统类似的持续关注，从识别错误逻辑和应用适当的为了执行这些流程，软件开发依赖于DevOps来简化开发，同时持续交付新版本并保持质量。机器视觉模型的工作流程遵循类似的模式。这两种实践的不同之处在于，传统的软件开发是在它运行的环境中进行的。这两种开发实践在软件开发的确定性本质与计算机视觉开发的固有概率性本质并置时存在分歧。此外，正如最近的全球事件所表明的那样，这个星球正在不断变化，因此CV从业者必须预期，为他们的模型提供动力的真实世界数据也将不可避免地发生变化。这 两 种 开 发 实 践 的 明 显 相 似 性 机 器 学 习 操 作（MLOps）平台系统化了建立和训练实验机器学习模型并将其转化为产品的过程。 用于计算机视觉的MLOps平台可以用于多种目的，其中一些常见功能包括：数据源和广播、图像数据管理、数据集开发、模型元数据和人工制品管理、模型验证和操作。不幸的是，在今天支持机器视觉问题的平台中，没有一个完全支持地理空间研究。除了地理空间数据特有的复杂性（如传感器和图像质量以及地图投影）之外，还存在数据表示、数据访问限制和性能问题与大的地理空间图像一起工作使得这些平台不适合于地理空间研究。在本文中，我们介绍了一个新的MLOps工具专注于地理空间机器学习。GeoEngine创建和管理大型注释数据集，将其转换为分析就绪数据集，启动高效的训练管道，存储和版本训练工件，并部署地理空间模型API以供实际使用。还有其他面向地理空间和遥感研究问题以及生产解决方案的功能，例如：实时获取卫星图像，将分析数据绘制成地图，并管理时间序列数据集的矢量数据。2. 现有MLOps工具支持从数据集采购到最终产品的端到端机器学习研究的计算机视觉机器学习平台较少。研究人员和学者广泛使用不同的工具来完成机器学习管道中的不同任务。在地理空间机器学习的情况下，由于缺乏支持与地理空间数据和下游GIS和分析工具更紧密集成的平台，情况普遍如此在本节中，我们将讨论用于创建和管理数据集、训练模型、管理工件和生命周期以及部署模型的不同工具。我们还讨论了一些实际上支持机器学习研究的端到端自动化的工具2.1. 数据集创建和管理虽然有几种工具是为图像符号设计的，但很少有完全支持地理空间数据的。La-belMe [33]、VIA [8]、VoTT [24]和CVAT [34]等工具允许对非地理配准图像进行注释。这些工具为计算机视觉社区提供了大型数据集，有助于加速计算机视觉研究。La- belBox [35]和Scale AI [18]是两个广泛使用的商业工具，具有有限的地理空间支持，基本支持Web地图服务（WMS）图像。虽然这在标记多时态数据时提出了挑战，但这些工具确实具有一组非常棒的主动学习功能，用于AI辅助的数据注释。QGIS [29]是一个广泛使用的开源应用程序，主要用于分析地理空间数据。该工具确实支持注释形状，但在管理复杂的注释工作流方面非常有限。ArcGIS [31]是一种广泛使用的商业工具，在功能和限制方面与QGIS相似。PulseSatellite [23]是一种基于Web的协作工具，分析师可以注释一些图像，然后使用Mask R-CNN[13]自动注释大面积。该工具在导入图像和支持的问题 类 型V-RSIS [14]是 一 种 协作 工 具 ， 允 许 用户 从Google地图中注释WMS图像工具空间数据模型训练模型生命周期审计基准服务[29]第二十九话是的有限没有没有有限ArcGIS [31]是的是的没有没有有限笛卡尔实验室[17]是的是的没有没有没有[19]第十九话是的没有没有没有没有UP42 [11]是的是的没有没有是的GeoEngine是的是的是的是的是的CVS [3]没有是的没有没有是的Aoto ML Vision [5]没有是的是的有限是的TPOT [26]没有是的没有有限没有自动Sklearn [9，10]没有有限没有有限没有MLBox [32]没有是的没有有限没有[第16话]没有是的是的是的是的Kubeflow [12]有限是的是的是的是的Azure ML [2]没有是的是的是的是的[第28话]没有是的是的是的是的表1. GeoEngine与其他地理空间、Auto ML和MLOps平台的比较2.2. 模特训练与管理大多数MLOps平台主要在数据集创建工具的下游运行。有了这样的平台，就可以实现持续的培训。与持续集成类似，持续培训使用户能够系统地验证和改进模型，而不会影响系统稳定性。模型注册中心通过维护模型映像、源代码版本控制和模型工件来帮助用户完成这一任务Polyaxon [25]解决了许多与ML训练相关的挑战，从数据版本到有效的资源提供和实验管理。它是一个基于Kubernetes的平台，附带了一个用户界面，用于访问实验日志和指标。它支持团队级别的协作，并与许多工具集成，从数据管理到通知。MLFlow [22]提供了类似的功能，重点是创建可复制的它还创建抽象来支持大多数流行框架的本地模型部署。虽然权重和偏置（WandB）[38]的设计具有很强的开发者第一的焦点，但它在学术环境中是最强的WandB专注于易于集成和设置，其强大的实验可观察性使其成为训练的最佳选择与权重和偏差类似，Nep-tuneAI [20]提供实验跟踪功能，但缺少数据存储。它确实提供了一套全面的图表功能，以及对主要图表库的支持，使用户能够将其集成到现有的工作流程中，而不是作为替代品。它还支持实验优化，如超参数调整。2.3. 模型部署和生命周期管理一旦创建了视觉模型，操作该模型的最后步骤是测试并将其部署到专用的服务环境中。某些服务平台还试图支持模型开发和培训，而其他服务平台则专注于模型托管。虽然有些系统可以在内部托管，但这可能成本高昂，而且难以大规模管理。因此，大多数服务平台都专注于基于云的托管，基于Kubernetes的托管是其扩展特性的自然选择。BentoML [4]和Seldon [15]等工具可以促进部署，而其他工具则用于管理从硬件配置到数据管理的BentoML提供了一个统一的部署框架，作为机器学习框架和服务平台之间的连接器。Seldon提供了强大的数据结构，让用户可以将他们的模型打包用于云部署。Seldon还随Kubeflow提供，并受任何Kubernetes环境的支持。模型监控在这样的平台中并不是一个常见的功能，但它会很有帮助，因为它可以让人们在生产中不断调整和改进模型在高度开发的MLOps工作流中，这应该是一个活动过程。监测有三个方面• 技术/系统监控检查模型基础设施是否正确。• 模型监测验证了预测• 业务性能监控归结为模型是否对业务有帮助。2.4. 自动化上面讨论的工具可以用于ML管道的单个组件或几个组件。 往往 需要自动化整个过程，从收集和管理数据到在生产中部署和监控数据。这些工具可以分为Au- toML和MLOps自动化。各种AutoML框架使机器学习生命周期的各个步骤自动化。SageMaker [1]、VisionAI [6]、Azure Machine Learning [2]、Kubeflow[12]、Approximia [16]和Gradient [28]在学术界和工业界都有广泛的应用。从表1中可以看出，支持地理空间数据的工具不是面向MLOp的，它们中的大多数甚至不支持模型训练。Auto ML和MLOps工具非常适合模型训练和服务部分。所有这些都缺乏地理空间数据集成，Kube-flow是有限的例外。SageMaker为许多最常用的模型提供服务，并在Amazon云基础设施上构建数据管理它还提供辅助的人在环服务，如数据标签。它VisionAI是另一个Google托管的机器视觉平台，其范围比SageMaker稍微集中，但仍然是为广泛的机器视觉应用而设计的。与SageMaker类似，它可以从与Google Cloud Platform的数据管理和计算资源的紧密集成中受益VisionAI的托管性质可能会限制其对需要更多控制的复杂操作员的可行性。AzureML与SageMaker非常相似，AzureKubeflow旨在简化机器学习中的计算密集型操作与Kubernetes内管理的云资源的连接。Kubeflow通过Argo（一个Kubernetes工作流管理器）支持ML管道，并支持模型部署作为跨广泛的本地和第三方系统的打包API。容量有限的Kubeflow可以与Google EarthEngine交互，以支持地理空间机器学习。3. GeoEngine架构本节介绍了Geo- Engine的不同组件，使其用户能够从头开始创建大型数据集，管理模型训练和部署真实世界的解决方案。3.1. Europa：数据注释工具Europa旨在满足注释工具领域内更多的利基社区用户。因此，虽然Europa与其他本地应用程序共享许多共同的功能，但Europa的功能主要围绕与地理空间问题更相关的用途进行演变。在高层次上，Europa旨在解决以下目标：• 容易摄取图像来源，公共或私人。• 支持广泛的遥感和视觉问题。• 提供高质量的模型训练数据。• 共享遵循开放和可重复标准的数据集。在各种遥感和视觉问题中，变化检测是一个非常具有挑战性的要求。它要求能够跨多个日期跟踪给定感兴趣区域的变化，这需要能够交换注释所在的图像上下文。要创建高质量的注释，我们必须确保应用程序能够支持几个关键特性。首先，它必须允许足够大的数据集。其次，它必须支持多种图像类型，不同的波段，以及如上所述的多日期图像集。最后，一个系统的验证过程是必不可少的，在培训注释和纠正错误的注释。除了注释过程之外，应用程序还应该允许轻松共享和导入数据集。此功能将允许用户快速开始测试假设，并进一步改进现有的导入或注释数据集。3.2. Neso：图像源工具Neso是一个微服务，通过REST端点提供查询和下载卫星和航空图像的功能。它与几个地理空间图像提供商进行交互，以结构化和最小化的方式自动检索地理空间Neso还提供了通过自定义AWS和Google存储桶添加私有图像Europa在内部使用Neso，允许其用户搜索图像以执行注释任务。Dione和Titan使用Neso获取历史和未来任务图像，用于推理工作流和仪表板可视化。3.3. Atlas：培训数据管理工具当在Europa上创建注释任务时，所有图像都可以在我们的平台中以两种不同的格式提供。一种格式是云优化GeoTiffs（COG），图2.GeoEngine上典型的地理空间研究到生产工作流木卫二用它来绘制地图另一个是Neso获得的原始原始格式。注释完成后，我们需要使用注释和原始图像来创建一个可训练的数据集。Atlas可以由Phobos CLI调用，以异步方式创建可训练的数据集对于非常大的数据集，这可能需要几个小时，具体取决于允许使用多少资源。Atlas以高效的方式创建和提供可训练数据集Atlas的设计可随数据集大小线性扩展同时使用廉价的计算实例。单个可训练数据集可以同时被数百个正在训练的模型使用。Atlas可以在任何给定时间为数千名用户和PB级的训练数据提供服务。Atlas使研究人员能够以POSIX文件URL的可训练格式公开共享他们的数据集这对于可复制的机器学习来说是非常必要的。3.4. Arche：实验管理工具Arche使用户能够将地理空间机器学习开发工作流部署到云端。与Phobos合作，Arche将用户定义的模型打包并部署此外，它可以有效地获取相关的训练数据，将分析就绪图像和训练数据输送到实验中，而无需手动数据管理。使用Arche，每个部署和实验相关的事件都会被记录，包括运行时详细信息、实验超参数和性能指标。这使用户能够在模型训练生命周期中实现最大的控制和可观察性，当模型具有硬件要求时，这一点尤其重要，因为需要在云中进行训练。Arche还对每个数据和机器学习资产进行版本化，从而促进生产环境中的模型复制，并允许迭代模型改进。通过Arche，模型训练开销和复杂性显著降低。通过最大限度地利用和控制我们拥有的或云租赁的硬件，可以进一步降低成本3.5. Phobos：地理空间AI Python库Phobos是一个实用程序库，在研究的模型发现和开发阶段提供多种功能。首先，它有助于从Europa导出注释它还为新的地理空间机器学习项目生成样板代码。这种样板代码使研究人员能够编写最少的代码，并专注于实际的模型开发。这个样板是高度可配置的，允许使用多个GPU和多个节点在本地和云中进行这意味着在云中完成训练之前，可以在本地准备和调试 这 个 功 能 在 Python 中 以 及 从 Phobos 命 令 行 界 面（CLI）中很容易访问。Phobos库提供了必要的培训组件来填充项目：• grain允许用户使用YAML文件配置他们的项目超级参数和其他信息。• 变换可用于进行图像预处理任务，如增强和卫星图像特定处理。• 损失模块包含广泛使用的损失。目前，Phobos支持43种不同的图像分类，分割和检测任务的损失。它还允许用户轻松使用自定义损失函数。• metrics模块包含广泛使用的metrics。目前Phobos支持21种不同的图像分类、分割和检测任务。它还允许用户轻松使用自定义的指标。• IO提供模型/网络输入和输出结构的表示。它支持多输入结构的任务，如多传感器融合和多输出结构的多任务一样的问题。它还支持将原始图像和注释处理为可训练数据集。• runner是管理训练信息/时期的核心模块。它具有多节点和多GPU训练和指标计算以及将指标记录到Arche中的所有功能。3.6. Dione：模型部署工具为了依赖于一个关键任务模型，必须有一个清晰的证明，该模型在现实世界的条件下工作。Dione公开了一系列测试，可以在广泛的条件下评估模型的性能。通过这个Dione通过提供一个沙箱测试台来进行模型验证，在该沙箱测试台中，可以对在实验室条件下开发的模型进行性能基准测试，并根据实际条件进行测试。例如，一个旨在跟踪巴基斯坦基础设施发展的使用Dione，用户可以看到模型的Dione支持以下内容• 基准测试为用户提供了一种方法，让他们了解模型在什么情况下表现良好，什么时候表现不好。• 将训练模型部署为生产API，以便用户可以使用它们对历史和未来的卫星图像流进行实时分析。模型修剪[37]和量化用于使推理有效。• 分级允许用户理解并生成关于模型在不同输入（图像的空间和光谱属性）下的表现的报告，• 持续验证允许用户抢先解决模型性能随时间下降的问题。3.7. Titan：分析仪表板Titan试图将地理空间模型向前推进一步，使非技术用户能够部署推理工作流并调查模型输出。通过映射地理空间machine learning operations to business needs, Titaneffec-tively bridges the gap between domain awareness and tech-nical requirement.在Titan平台中，用户可以根据模型性能和对用户查询的适用性来选择和部署模型API。一旦模型API可用，用户就可以询问图像。得益于Geo-EngineTitan工作流支持感兴趣区域（RoI）子任务，使用户能够以规则的间隔（每天、每周、每月）针对其所需位置的动态获取图像运行模型。通过Neso根据模型和用户要求获取图像人们可以通过Titan UI和Titan API执行这些工作流，而相关的客户端库支持对结果输出数据的下游消费，从而使将结果模型数据带入外部环境进行可视化、分析和决策变得微不足道。4. 生产中的GeoEngine企业价值卫星来源21空中和无人机来源5注释数据集16注释像素950亿面积695千110万美元导入的开放数据集56丰富的开放数据集6总像素2.3万亿695万总计1.2亿波利尼西亚表2. Europa使用统计。度量值愿景骨干372损失函数43度量21问题类型17项目总数79实验总数7318每个项目的43表3. Phobos和Arche统计。GeoEngine自二零二一年一月成立以来一直稳步发展。它始于所有组件的最小版本的开发。然后，焦点转移到成熟的木卫二，火卫一和Arche。在本节中，我们将讨论GeoEngine的当前状态，并提供有关各种组件的使用统计信息的一些定量详细信息。我们还讨论了从数据集开发到模型训练和部署的一些项目4.1. 现状表2提供了欧罗巴的统计数据。通过我们的注释团队的努力，我们已经能够通过从26个不同来源获取卫星和航空图像来构建16个数据集。在过去的一年中，我们已经注释了659K平方公里的区域，产生了110万个多边形。这为我们提供了950亿像素的数据，涉及16种不同的用例，包括分割，对象检测，3D配准，多传感器融合，多任务学习，变化检测和其他非传统建模操作。我们已经在我们平台上的所有可用数据集上进行了实验表3显示了Phobos和Arche的功能和使用统计所有项目都在Arche上进行了培训Phobos使我们能够使用可用的损失函数和指标来训练和判断数千个实验，从而快速地通过编目模型进行验证4.2. 开源数据集我们已经在Europa中导入了56个开源地理空间数据集。这给了我们一个机会来验证一些开源数据集。我们在6个导入的开源数据集中发现了几个注释错误，即XView [21] ， OSCD [7] ， OSCD MultiDate [27] ，QFabric [36]和FloodNet [30]。然后，我们用更多的标签和更好的多边形边界固定和丰富了这些数据集。图3显示了导入到Europa中用于验证和调试的QFabric数据集这些数据集以及其他进口的开源数据集都可以在我们的平台上免费获得我们计划导入所有开源地理空间数据集，并不断验证和扩展它们以供公众使用。我们相信，这种做法将导致更高质量的密集丰富的数据集，将大大加快地理空间机器学习研究。4.3. 开源项目我们有79个地理空间机器学习项目，这些项目在所有实验中都是公开的所有版本信息、许可证和作者数据、代码、数据集和模型工件都是公开的。图4显示了对QFab数据集的原始版本进行的实验列表。这与公开可用的数据集相结合图3.修复并丰富Europa上的QFabric注释。图4.在Arche上进行的QFabric数据集实验。使GeoEngine成为一个非常强大和有益的平台，为工业界和学术界都一样。5. 期望和未来目标本文介绍了GeoEngine，一个地理空间机器学习平台，使研究人员和开发人员能够管理大型地理空间项目。GeoEngine与现有的MLOps平台相比质量更好。设计选择是根据现有工具的不足以及遥感研究人员和开发人员的需要来考虑的。我们还提供了一个步行通过的例子和Geo引擎的不同组件的当前状态。本文和相关演示的目标是向地理空间研究人员介绍GeoEngine，并开发在学术界和工业界。我们正在积极努力将所有开源数据集导入GeoEngine，然后验证和丰富这些数据集。我们正在不断地针对各种问题构建更大的数据集，并将其开源。在建模方面，我们引入了大量在更大的地理空间数据集上训练的骨干。从特征的角度来看，许多新的研究正在进行主动学习，概念漂移，模型认证等，这可能会导致新的令人兴奋的功能。正在进行用户体验研究，以不断提高易用性。我们希望地理空间和计算机视觉社区能够在免费层下使用我们的平台，并通过提供有价值的反馈和评论来帮助我们将其发展成为最先进的地理空间研究平台。引用[1] 亚马逊圣人https://aws.amazon.com/sagemaker/. 4[2] Microsoft Azure。蔚蓝毫升。https://azure.microsoft.com/en- in/services/machine-learning/. 三、四[3] Microsoft Azure。定制视觉服务。https://azure.microsoft.com/en-in/services/cognitive-services/custom-vision-service/.3[4] BentoML。本托姆https://www.bentoml.ai/。 3[5] 谷歌云。自动视觉。https://cloud.google.com/vision/automl的网站。3[6] 谷歌云。视觉人工智能。https://cloud.google.com/vision.4[7] Rodrigo Caye Daudt 、 Bertrand Le Saux 、 AlexandreBoulch和Yann Gousseau。使用卷积神经网络进行多光谱地球观测的城市变化检测。在IEEE国际地球科学与遥感大会上。IEEE，2018年。7[8] A.杜塔A. Gupta和A.齐泽曼VGG图像注释器（VIA）。http://www.robots.ox.ac.uk/vgg/software/via/，2016. 2[9] MatthiasFeurer ， KatharinaEggensperger ， StefanFalkner ， Marius Lindauer ， and Frank Hutter. Auto-sklearn 2.0：通过元学习实现免提自动驾驶。 2020. 3[10] Matthias Feurer ， Aaron Klein ， Jost Eggensperger ，Katha- rina Springenberg ， Manuel Blum ， and FrankHutter.高效而强大的自动化机器学习。神经信息处理系统进展28（2015），第2962-2970页，2015年。3[11] UP42 GmbH. 42岁以上。https://up42.com/. 3[12] 谷歌和社区Kubeflowhttps：//www.kubeflow.org/. 三、四[13] Kaiming He et al.面具R-CNN。ICCV，第2980-2988页，2017年。2[14] Dongyang Hou et al. V-rsir：一个开放访问的基于Web的遥感图像检索图像注释工具。IEEE Access，7：83852-83862，2019。2[15] Alex Housley等谢顿https://www.seldon.io/。 3[16] 阿托米亚公司我是艾蜜亚https://algorithmia.com/. 三、四[17] 笛卡尔实验室公司笛卡尔实验室。https://descarteslabs.com/的网站。3[18] Scale AI Inc.比例ai. https://scale.com/. 2[19] 轨道洞察。轨道洞察力。https://orbitalinsight.com/. 3[20] 海王星实验室海王星岛。https://neptune.ai/. 3[21] Darius Lam ，Richard Kuzma ，Kevin McGee ，SamuelDoo-ley ， Michael Laielli ， Matthew Klaric ， YaroslavBulatov，and Brendan McCord.xview：俯视图像中上下文中的对象。arXiv预印本arXiv：1802.07856，2018。7[22] LLC LF Projects.流动。https：//www.mlflow.org/. 3[23] Tomaz Logar等人脉冲卫星：在人道主义背景下使用人工智能反馈回路进行卫星图像分析的工具。在AAAI，第13628-13629页，2020年。2[24] 微软与社区视觉对象标记工具：一个电子应用程序，用于从图像和视频构建端到端的对象检测模型，2018年。2[25] Mourad穆拉菲克etal.Polyaxonhttps://github.com/polyaxon/polyaxon的网站。3[26] RandalS.奥 尔 森etal.Tpot。http://epistasislab.github.io/tpot/。 3[27] M. Papadomanolaki，S. Verma ， M. Vakalopoulou ，S.Gupta和K. 卡兰扎洛斯使用递归神经网络从多时相sentinel-2数据中检测城市变化。在IEEE国际地球科学和遥感研讨会，第214-217页7[28] 纸张空间。梯度离心https://gradient.run/. 三、四[29] QGIS开发团队。地理信息系统.开源地理空间基金会，2009年。二、三[30] Maryam Rahnemoonfar 、 Tashnim Chowdhury 、 ArghoSarkar 、 Debvrat Varshney 、 Masoud Yari 和 RobinMurphy。 Floodnet：用于洪水后场景理解的高分辨率航空图像数据集。arXiv预印本arXiv：2012.02951，2020。7[31] CA：Redlands环境系统研究所。Arcgis桌面：2011年发布10。 二、三[32] 阿克塞尔·阿罗尼奥·德·龙布莱。Mlbox.https://mlbox.readthedocs.io/的网站。3[33] Bryan C. Russell等人Labelme：一个用于图像注释的数据库和基于网络的工具。InIJCV，2007. 2[34] Boris Sekachev等人opencv/cvat：v1.1.0，2020. 2[35] Labelbox开发团队。标签盒，2022年。2[36] Sagar Verma ， Akash Panigrahi ， and Siddharth Gupta.Qfab- ric：多任务变化检测数据集。在Earthvision研讨会计算机视觉和模式识别（CVPR 2021），第10页，2021年。7[37] Sagar Verma和Jean-Christophe Pesquet。利用次微分包含实现网络稀疏化。第38届国际机器学习会议论文集，机器学习研究论文集第139卷，第10542-10552页，2021年。6[38] 权重和Inc. 偏见。权 重 和 偏 见 。https://wandb.ai/. 3