人工引导洪水绘图：从专家到群众

2910人工引导洪水绘图：从专家到群众0Jiongqian Liang俄亥俄州立大学liang.420@osu.edu0Peter Jacobs俄亥俄州立大学jacobs.269@osu.edu0Srinivasan Parthasarathy俄亥俄州立大学srini@cse.ohio-state.edu0摘要0飓风引发的洪水可能导致大量人员伤亡和基础设施巨大损失。从卫星或航空图像中绘制洪水范围对于优先考虑救援工作和评估未来洪水风险至关重要。考虑到水体大小和形状的异质性、云层覆盖和地表自然变化，识别此类图像中的水域范围可能具有挑战性。在这个工作中，我们引入了一种基于半监督学习算法的新型认知框架，称为HUman-Guided FloodMapping（HUG-FM），专门用于解决洪水绘图问题。我们的框架首先利用基于图形的聚类方法将卫星或航空图像划分为补丁。然后，要求领域专家为一些补丁（而不是更难辨别的像素）提供标签。随后，我们根据提供的标签学习分类器来绘制洪水范围。我们在几个最近的洪水紧急情况下测试了我们框架的效果和效率，结果显示我们的算法可以与最先进的方法相比，稳健且正确地检测到水域。然后，我们评估了是否可以用群众的智慧（如危机志愿者）取代专家的指导。我们设计了一个基于HUG-FM的在线众包平台，并提出了一种新颖的集成方法来利用众包努力。我们进行了一个超过50名参与者的实验，并展示了众包的HUG-FM（CHUG-FM）可以接近甚至超过单个专家提供指导的性能（HUG-FM）。0ACM参考格式：Jiongqian Liang，Peter Jacobs和SrinivasanParthasarathy。2018年。人工引导洪水绘图：从专家到群众。在2018年网络会议伴侣，2018年4月23日至27日，法国里昂。ACM，纽约，纽约，美国，8页。https://doi.org/10.1145/3184558.318633901 引言0每年，地球上许多地区都受到严重洪水的影响，导致严重的生命和经济损失[14]。洪水范围的绘制可以用于指导急救人员前往最需要的地方。这些信息还可以用于监测和预测这些地区未来的洪水风险。卫星图像由于其低成本和对大范围空间区域的一致、重复的数据采集能力而非常有用[27,29]。根据可用性，这些图像也可以与航空飞越图像相结合使用。与稀疏的现场物理感应数据（例如河流测量数据）相比，卫星图像可以提供更全面的信息。0本文发表在知识共享署名4.0国际许可证（CC BY4.0）下。作者保留在个人和公司网站上传播作品的权利，并附上适当的归属。WWW'18伴侣，2018年4月23日至27日，法国里昂©2018IW3C2（国际万维网会议委员会），根据知识共享CC BY 4.0许可证发布。ACM ISBN978-1-4503-5640-4/18/04。https://doi.org/10.1145/3184558.31863390数据和气象站记录），卫星图像提供了对景观的综合地理空间视角，并提供了洪水事件的全面地理空间视角。这里的挑战是在给定从云层到城市区域内的折射材料等干扰因素的情况下正确识别受洪水影响的区域。这个问题可以建模为图像分割任务[4, 6, 23,28]，其中我们希望在一个区域内描绘出受洪水影响的区域。这类方法面临的挑战是需要识别出许多形状各异的区段（如弯曲的河流），同时适应各种类型的地表覆盖形式（如沼泽地）。此外，当前的技术通常无法很好地适应高分辨率的卫星图像。最后，洪水区域与其他区域之间的差异可能是如此微妙，以至于通常需要人工指导来准确绘制洪水地图。为了解决这些困难，我们提出了一个基于认知计算思想的框架。认知计算是指“在规模上学习、有目的地推理并与人类自然交互的系统”[15]。城市、地区和国家的紧急系统越来越依赖于这种“智能”系统，以模拟人类思维过程，解决与人类和计算机相互交互并提供必要决策支持的现实问题，以补充传统决策制定。我们提出的认知框架名为HUman Guided FloodMapping（HUG-FM），它将图形聚类和半监督学习的思想与人工指导相结合，以从航空或卫星图像准确地实现灾后洪水地图。图形聚类方法用于将图像划分为补丁（比单个像素更容易标记），并利用专家用户的指导为一些补丁（水域或陆地）提供初始标签。洪水地图的方法涉及对给定区域的卫星图像进行分割，包括洪水发生前和洪水发生后的分割。然后，比较这些洪水前和洪水后的分割结果，以确定受洪水影响和未受洪水影响的区域。我们在印度金奈市2015年洪水、德克萨斯州休斯顿市2016年洪水以及北卡罗来纳州伦伯顿市2017年飓风马修期间的卫星图像上运行HUG-FM。实验结果表明，与遥感和计算机视觉社区的最新方法相比，我们的方法能够有效地识别受洪水影响的区域。我们的方法也更加高效，能够进行实时的增量学习，并提供有用的信息来帮助优先考虑灾后修复和救援活动。我们还扩展了我们的努力，开发了HUG-FM的众包变体（称为CHUG-FM），在这个变体中，我们用群众的智慧（如危机志愿者）取代了领域专家的指导。为了测试众包平台（CHUG-FM），我们招募了50多名志愿者对三个不同的卫星图像进行互动式洪水绘制。我们开发并部署了一种新颖的集成学习方法来整合众包努力，并发现与HUG-FM（与领域专家合作）相比，它提高了洪水绘制的性能。0Track: 认知计算 WWW 2018, 2018年4月23日至27日, 法国里昂29202相关工作2.1图像分割0图像分割是计算机视觉中一个长期存在的问题[1, 2, 4,6, 23,28]。图像分割的经典方法包括基于阈值的技术，其中像素强度阈值T强制所有强度高于T的像素为一种颜色，而所有强度低于T的像素为另一种颜色[1]。在这种方法中，选择T的值是主要的挑战，为此已经开发了几种自动化的方法[23,30]。在遥感社区中选择T的一种流行方法被称为Otsu阈值法[23]，它涉及找到在像素强度直方图中创建最大分离和最小重叠的像素强度。这些阈值方法在遥感和洪水制图中的一个弱点是它们容易受到噪声的影响，并且经常生成太多的小斑点（洪水分割）。图像分割的其他方法包括Baatz等人提出的区域合并技术[2]，该技术以贪婪的方式以分层的方式组合相似的像素。最近，图像分割引入了基于图的方法。它们将图像构建为图，并采用谱或聚类方法进行分割。Shi等人[28]创建了一个带有加权边的图，并使用归一化割准则对图像进行分割。Browet等人[6]也将图像构建为图；他们使用模块性作为准则来找到图像的分割。然而，这些方法在计算上可能很昂贵，并且通常无法在大型卫星图像上进行扩展。研究人员还研究了半监督学习方法用于图像分割[4,16]。一种有影响力的用于洪水制图的半监督方法是由Beucher和Meyer[4]开发的Watershed算法。它要求用户在图像中标记不同的像素，并利用区域生长技术从提供的标记开始合并像素。虽然该方法是交互式和增量式的，但Watershed算法对于每个分割至少需要一个标记，这在城市环境中进行洪水制图的情况下可能效率低下。2.2半监督方法0半监督分类使用除了一定数量的标记数据之外的未标记数据来学习分类器。这种学习方法近年来已经广泛应用[17,22,33]。在这个类别中，一种常见的方法是基于图的半监督学习[3,5]。这类方法利用图结构，该图结构可以来自额外的数据源或者从原始数据中派生而来。一般来说，这些方法通过假设图中相邻的节点应该具有相似的标签，将图结构作为损失函数的正则化器。这些方法不适用于我们的问题，因为它们通常需要更多的标记数据进行训练，并且无法扩展0卫星图像上的洪水制图一直是遥感社区中的研究重点。其中许多工作依赖于阈值的变化，并以纯无监督的方式工作[12,21]。例如，Giustarini等人利用概率洪水制图过程（基于高斯混合模型）将淹没区域与干燥区域分割开来[12]。0存在一些利用人工监督的洪水制图方法[19,31]。Martinez等人[19]从航空图像和地面观测中收集标签，同时采用监督方法在SAR图像上映射洪水的时间动态。半监督学习[31]方法采用区域生长的思想，以不同的方式对图像中像素强度的变化建模。这些方法通常需要大量的标签才能达到理想的性能，并且不自然地支持交互式和众包式洪水制图。02.4 应急响应中的众包0众包在灾难时期的应急响应中也被证明是有价值的[11, 13,20]。最近的一个例子是寻找马来西亚370航班。当局发布了卫星图像，公众协助寻找失踪的飞机[20]。此外，一些研究人员研究了众包在洪水灾害期间的重要作用。Degrossi等人研究了使用社交媒体收集有用信息（如水位和地理位置信息）进行洪水风险管理[9]。虽然现有的工作确实研究了如何在洪水灾害期间将基于群众的信息应用于收集少数地点的信息，但我们不知道有其他努力利用众包来生成整体洪水地图的。03 人工引导的洪水制图0我们的洪水制图系统的设计目标可以陈述如下：0(1) 质量：只需有限的监督即可生成准确的洪水制图。(2)效率：对大型卫星图像进行高效可扩展的洪水制图。效率对于促进交互式学习是必要的；如果该方法用于帮助指导洪水灾害中的紧急响应人员，效率也是至关重要的。(3)交互性和易用性：有效地融入领域专家或群众的专业指导。0考虑到这些要求，我们现在详细描述洪水制图的框架如下。03.1 预处理0为了将卫星图像的区域标记为陆地或水域，我们需要决定一个主要的标记单位。一种直接的技术是将每个像素视为一个单位进行像素级标记。这种方法的缺点是我们失去了由像素之间的地理相关性导出的信息（水域的相邻像素更有可能是水域，反之亦然）。基于像素的方法不仅对噪声效应（在此类图像中常见）敏感，而且容易出现标记错误。另一种选择是进行统一分组，将图像分成许多统一大小的部分。然而，如果不使用图像中的像素强度信息，这种分组可能会跨越陆地-水域边界，导致在标记补丁时出现认知失调。为了避免这些问题，我们采用了一种高效的基于图的方法来生成补丁，这种方法既可以有效地检测出洪水区域，又可以避免生成跨越陆地-水域边界的区域。01我们在一系列真实世界的洪水场景中经验性地验证了像素级方法的这两个局限性，但由于篇幅有限，无法在第5节中包含这些结果。0Track: 认知计算 WWW 2018，2018年4月23日至27日，法国里昂wij =e− d (i,j)σ 2x − |F (i)−F (j)|2σ 2yif d (i, j) < dmax0otherwise.(1)2930不同大小的区域并且在很大程度上避免生成跨越陆地-水域边界的区域。03.1.1 图构建。基于图的分割在文献中得到了广泛研究[6, 10,28]。在本文中，我们采用Cour等人提出的方法将给定的图像转换为一个无向图[8]。图像的每个像素被视为一个节点，并且每个像素与距离d max 内的附近像素之间都有边，其中d max是一个预定义的参数。像素 i 和像素 j 之间的边的权重定义如下：0其中 d  ( i ,  j ) 是像素 i 和像素 j 之间的欧几里得距离，F  ( i )是在像素 i处评估的特征向量。根据数据源的不同，特征向量可以是像素的灰度值或RGB值。σ x ，σ y 和 d max是需要事先确定的参数2。构建的图中节点的数量 n等于图像中像素的数量，边的数量 m = α * n，其中 α是一个小的常数因子，取决于 d max 的设置。03.1.2图聚类生成补丁。在从图像构建图之后，我们对图进行聚类以生成补丁。由于卫星图像通常包含数亿个像素，我们需要一种高度可扩展的图聚类算法。在这项工作中，我们利用多级正则化马尔可夫聚类（MLR-MCL）[24,25]，一种可扩展的图聚类软件3。由于图聚类的目标是生成用于标记的基本单元，我们倾向于产生大量的聚类。经验上，我们发现当一个聚类（补丁）的平均大小为几百个像素时，该方法效果良好。一旦我们获得了图聚类结果，同一聚类中的像素被视为一个补丁。使用这种方法生成补丁有许多优点。首先，与均匀分组不同，这种方法更好地避免了认知不一致的情况，其中聚类穿越自然图像边界（例如，同一个补丁中的水域和陆地）。其次，使用MLR-MCL可以直接控制生成的补丁数量（我们不需要预先指定补丁/聚类的数量）。最后，MLR-MCL的时间复杂度与边的数量成线性关系，在构建的图上运行时非常高效，其中边的数量与节点的数量成比例。3.2认知专家引导的标记0生成补丁后，下一步是要求人工专家识别和标记一些补丁。专家用户将在图像中放置一些标记，以标记他们认为是陆地或水域的一些补丁。我们依赖专家选择要标记的补丁-理想情况下，专注于难以标记的补丁（例如，蜿蜒的河床，城市区域的洪水或沼泽地区）。我们将在第4节讨论自动化此过程的策略。为了利用这种人工提供的监督，然后学习二元分类器，并随后应用于其余未标记的补丁，接下来讨论。0它们可以通过经验交叉验证来决定。https://sites.google.com/site/stochasticflowclustering/03.2.1学习二元分类器。在本文中，我们使用k-NN作为分类器，因为只有少量可解释的特征，并且我们希望模型训练和预测高效。特别地，我们定义两个补丁i和j之间的距离函数如下：0D(i,j) = ||F(i) - F(j)||^2 * log(dist(i,j)) (2)0方程2包含两个部分。第一部分比较两个补丁的特征，而第二部分计算两个补丁之间的欧氏距离。为了计算第一部分，我们分别对两个补丁的特征向量进行平均，并计算它们之间的L2范数。对于第二部分，我们计算两个补丁的地理质心，并计算质心之间的欧氏距离。为了减小地理距离的影响，我们取欧氏距离的对数4。为了对未标记的补丁进行分类，我们根据方程2中的距离函数找到k个最相似的已标记补丁。补丁的分类然后由使用这k个最相似的已标记补丁的标签进行投票决定。我们指出，HUG-FM本质上支持增量学习。如果分类结果不理想并且需要进一步调整，用户将能够通过添加新的标记来改进结果作为监督。然后，结果将根据新添加的信息进行更新。在实践中，我们发现专家通常只需要提供2到6个标记即可生成高质量的结果。3.3洪水映射0在获得洪水前后城市区域的分割之后，可以通过对时间上的分割进行对应来进行洪水映射。我们使用洪水前收集的卫星图像作为参考，并将洪水期间和洪水后的卫星图像与该参考进行比较。在自然灾害之前被分类为非水域，但在灾害之后被分类为水域的区域被视为洪水区域。04 众包的 HUG-FM（CHUG-FM）0当灾难发生时，灾难期间和紧接着的反应时间至关重要。考虑到问题的潜在规模和需要注释的图像数量，可能会超出可用的专家能力。为了通过利用危机志愿者以可扩展的方式生成更一致的结果，我们引入了 HUG-FM的众包变体 CHUG-FM 。 CHUG-FM的关键要素包括基本的 HUG-FM平台和一种新颖的集成策略。集成策略依赖于非专家用户提供的中间结果的推理。4.1 监督收集04.1.1众包界面。在众包平台上，非专家用户会看到一个区域的卫星图像，例如休斯顿或钦奈。用户被提示在图像中标记十五个随机选择的像素。像素标记的界面如图15所示。如图所示，用户被提示在图像中标记黄色的圆圈；在这种情况下，点是明确的。04对数函数在包括平方根、线性和二次函数变体在内的其他函数中表现最好。5我们选择保持界面简单（适用于移动设备和台式机），尽管我们的初步用户研究是在台式机上进行的。0Track: 认知计算 WWW 2018，2018年4月23日至27日，法国里昂2940水。收集了十五个标记的标签后，应用程序运行 HUG-FM并将结果显示给用户，用户可以对结果进行评分（如图1b所示的屏幕截图）。0(a) 提供标签数据的界面0(b) 基于提供的标签的洪水映射结果。0图1：CHUG-FM截图：a）用户标记界面。蓝色方框突出显示要标记的标记周围的区域。右侧显示了标记的放大视图。用户有三个标签选项：水、陆地或未知。b）基于提供的标签的结果（分割）显示给用户，用户可以对结果进行评分。04.1.2 分层生成标记。 HUG-FM 和 CHUG-FM的一个关键区别在于，在前者中，我们依靠人类专家从图像中选择补丁进行标记（参见第3.2节），而在后者中我们不依靠人类专家。对于众包变体，我们需要确定众包成员将标记的关键补丁，因为这些个体（即非专家）可能不擅长选择补丁（例如，他们可能只选择陆地补丁或只选择来自一个非常小的区域的补丁）。预先选择还提供了效率优势，因为用户不需要花时间选择补丁。在设计 CHUG-FM的补丁选择过程时，我们有两个优先考虑因素。首先，无论是否存在任何偏斜（例如图像中几乎没有水），都应该对水和陆地补丁进行采样。其次，应该对覆盖整个图像的补丁进行采样（例如，补丁不仅应该来自图像的特定区域）。为了确保满足这些优先考虑因素，我们将补丁分层为三组：可能是水的、可能是陆地的和不确定的。然后，我们根据其强度值对补丁进行分类。我们将图像转换为灰度图像，并对每个补丁的像素强度拟合一个具有两个分量的高斯混合模型（GMM）。我们计算两个高斯分量的均值µ1和µ2（µ1 <µ2）。然后，我们根据其强度值将补丁分类。如果补丁的平均像素强度x ≤ µ1，则将其视为可能是水的。如果x >µ2，则将其视为可能是陆地的。否则，将补丁分类为不确定的。我们从可能是陆地的和可能是水的三组中分别采样40%的补丁。0在从不确定组中抽取的样本中，80%用于训练，20%用于验证。如果选择了一个补丁，就在其中心放置一个标记（并提供上下文以确保认知对应）。请注意，采样不确定像素使我们能够满足采样中的第二个优先级，即覆盖整个图像。我们在样本中注入两个验证标记，以消除无效的工作者。这两个标记是从卫星图像中手动选择的，对于人类来说将其标记为水域或陆地是微不足道的。总共，我们为每个洪水映射任务生成2个验证标记和13个常规标记。4.2 集成学习0由于不同用户生成的中间洪水映射结果在质量上可能存在很大差异，我们使用一种称为投票分类器的集成学习方法将中间结果聚合成最终结果[26]。我们移除没有正确标记所有验证标记的参与者。为了确定一个补丁的聚合标签，我们计算其在所有参与者中的标签分布。如果将其标记为陆地的结果比例超过某个阈值θ，则将该补丁标记为陆地；否则标记为水域。接下来我们讨论用于选择θ的两倍交叉验证过程。我们将参与者的数量表示为n，每个参与者提供m个标记。在众包实验结束时，我们有n个单独的HUG-FM结果和n*m个带有提供标签的补丁。我们随机选择0.5*n个用户，并将他们的HUG-FM结果作为训练数据集，同时将其余用户提供的0.5*n*m个标记点作为验证数据集。我们在训练数据集上进行聚合，其中我们将阈值θ从0.0变化到1.0，每次增加0.01。然后我们推断验证数据集中补丁的标签，并将用户提供的标签作为评估的基准。我们选择在验证数据集上表现最佳的θ6。虽然θ的选择受到精确度和召回率之间的权衡的影响，但我们在实验中发现，当θ在0.1和0.3之间时，通常可以获得最佳性能。0在本节中，我们将评估我们的框架HUG-FM在真实卫星图像上的性能。5.1 实验设置0我们将我们的算法与一些图像分割和半监督学习的最先进算法进行比较：（1）Otsu阈值法[23]，最常见的基于阈值的方法。（2）Watershed算法[4]，一种半监督的区域生长方法。（3）归一化切割（N-cut）算法[28]。它将图像表示为图，并使用归一化切割准则对图像进行分割。（4）基于图像分割的后处理。虽然它也在分割之前生成补丁，但后续步骤是无监督的。它涉及到根据补丁对的相似性不断合并附近的补丁，直到剩下指定数量的补丁为止。0在这里，我们使用F1分数来衡量整体性能。0Track: 认知计算 WWW 2018，2018年4月23日至27日，法国里昂Track: Cognitive Computing WWW 2018, April 23-27, 2018, Lyon, France2950图像日期 图像大小 σ2x σ2y dmax 补丁数量011/24/2015 800 × 444 3 16 2 12946 10/19/2015 4500 ×2500 2 16 2 69674 10/31/2015 4500 × 2500 2 16 269674 11/12/2015 4500 × 2500 2 16 2 6967411/24/2015 4500 × 2500 2 16 2 69674 12/06/2015 4500× 2500 2 16 2 69674 12/18/2015 4500 × 2500 2 16 2696740表1：数据集和参数设置。0(5)支持向量机（SVM）。该方法使用提供的标记作为训练数据来学习分类器。（6）NORM-THR[18,21]：这是一种现代的基于分割的自动阈值方法，用于水域划分。（7）Planetoid[32]。这是基于深度神经网络的属性图上的最先进的半监督学习算法。为了应用这种方法，我们以与HUG-FM相同的方式构建具有节点属性的图。0我们使用Python实现了HUG-FM和基于图的方法，并进行了后处理。我们使用OpenCVAPI实现了Watershed算法和Otsu阈值法。对于N-cut算法和Planetoid，我们使用了作者提供的源代码。我们使用SVM-light进行SVM方法的实现。05.2针对金奈数据集的定性实验05.2.1单个图像上的水域划分。为了定性评估，我们使用了印度金奈市在2015年南印度洪水期间的卫星图像。总共我们在洪水期间的六个卫星图像上运行了HUG-FM，重点关注金奈大都市区，每隔十二天运行一次。这些图像来自Sentinel-1，该卫星每隔十二天绕行该地区。考虑到一些基线方法（如N-cuts算法和Watershed算法）在大型卫星图像上的计算成本非常高，无法在24小时内完成，我们对卫星图像进行了降尺度处理，并对它们进行了方法和基线的比较。例如，我们在2015年11月24日的金奈卫星图像上运行了所有算法，将其从4500×2500缩小到800×444。关于数据集的基本信息和我们算法的参数设置在表1中显示。我们将我们的算法与基线方法在缩小后的图像上的性能进行了比较，如图2a所示（2015年11月24日的金奈地区）。水陆分割结果如图2b-f所示，执行时间列在表2中。由于篇幅限制，我们省略了NORM-THR、Planetoid和SVM在金奈数据集上的结果（它们的性能略低于HUG-FM），但在下一节中将详细比较这些方法。我们对金奈数据集的以下观察结果如图2所示：0（1）我们的方法在所有方法中表现最好。我们的方法可以清晰地识别大部分水域，甚至是细长的河流；而大多数其他方法则无法做到。特别是，我们的方法擅长识别任意形状的区域，而不限制每个分割的大小。我们注意到图2c中的Otsu阈值法也具有类似的优点，但它对噪声非常敏感，容易生成许多微小的分割。07 http://svmlight.joachims.org/ 8https://en.wikipedia.org/wiki/2015_South_Indian_floods0方法 # 标记 时间（秒）0HUG-FM 2 0.0570Otsu阈值法 0 0.0770Watershed算法 11 0.2250N-cuts算法 0 538.6150基于图的方法（带后处理） 0 558.2200表2：不同方法的运行时间比较。#标记是人为为算法提供的标记数量。0分割（图像上的分割数量是我们方法的两倍）。这是因为它的分割结果仅取决于每个像素的强度，如果像素强度与其相邻像素差异很大，则一个像素可以成为一个单独的分割。当我们进行定量评估时，这个缺点将变得更加明显。（2）与Watershed算法相比，我们的方法在需要更少的人力投入的情况下产生更好的结果（图2b与图2d对比）。Watershed算法似乎能够正确捕捉一些边界，但无法分割出小的水域，包括细长的河流。对于图2d中的结果，专家用户在不同的水域中放置了九个标记和两个陆地标记（见图3b）。但分割结果仍然不理想。另一方面，使用我们的方法，用户只需要分别在水域和陆地中放置一个标记（见图3a），结果比Watershed算法好得多。造成这种差异的原因之一是Watershed算法是一种区域生长方法，分割从局部标记开始生长；因此，它需要更多手动放置的标签才能达到理想的性能。（3）N-cuts算法倾向于生成过度平衡的分割，并且无法提取细长形状的分割（如图2e所示）。虽然它在检测大多数边界方面表现良好，但它将大面积分割成应该属于一个分割的多个部分。这可以从一些大湖的分割中看出。总体而言，结果比我们的算法差得多。（4）基于图的分割与后处理在检测一些大区域方面效果很好（见图2f）。然而，与N-cuts算法类似，它无法检测到小的水域区域，尤其是细长的河流。（5）如表2所示，我们的方法是在提供标签后立即对图像进行分类的最高效方法。N-cuts算法非常慢，因为它涉及Laplacian矩阵的特征向量的昂贵计算。基于图的分割与后处理方法在层次合并阶段计算成本很高。我们的方法甚至比简单的Otsu阈值法更快，因为我们是按块对图像进行标记，而不是逐像素进行标记。我们指出，我们的算法需要约30秒进行预处理以生成块。然而，预处理时间在这里不是很重要，因为我们只需要进行一次。标记时间是一个更重要的因素，HUG-FM大大减少了这部分时间，使我们能够在不同的场景中使用（例如在线交互学习和众包）。0HUG-FM0.95520.8681SVM0.94510.8382Planetoid0.94450.8414NORM-THR0.86730.83712960（a）钦奈的缩小卫星图像0（b）HUG-FM的结果0（c）Otsu阈值法0（f）基于图的聚类与后处理 图2：钦奈卫星图像（2015年11月24日缩小）。不同方法的分割结果。0（a）用户为我们的方法提供的两个标记0（b）提供给Watershed算法的十一个标记0图3：用户为算法提供的标记。蓝色点将区域标记为水域，绿色点将其标记为陆地。0我们讨论如何采用开发的水域划分方法来检测洪水区域。为此，我们对表1中描述的钦奈所有全尺寸卫星图像进行水域划分，并进行动态分析。具体而言，我们使用2015年10月31日的分割结果作为基准，并将其与之后日期的水域划分进行比较。图4呈现了水域面积的动态变化。红色表示从陆地变为水域的区域，黄色表示相反的变化。从图4中，我们可以清楚地观察到11月24日和12月6日的水域面积最大；随后水域面积似乎有所减少。红色区域很可能是洪水影响的地区。洪水图与南印度洪水从2015年11月8日持续到2015年12月14日的事实非常一致。0在本节中，我们对具有真实数据的HUG-FM进行定量评估。为此，我们依赖于休斯顿的高分辨率合成孔径雷达卫星图像，该图像是在2016年洪水之后立即采集的，并由领域专家进行了手动注释（该注释为真实数据）。图像的尺寸为1,550×2,533。与之前的实验类似，我们在钦奈的全尺寸卫星图像上进行了水域划分，并进行了动态分析。具体而言，我们将2015年10月31日的分割结果作为基准，并将其与之后日期的水域划分进行比较。图4展示了水域面积的动态变化。红色表示从陆地变为水域的区域，黄色表示相反的变化。从图4中，我们可以清楚地观察到11月24日和12月6日的水域面积最大；随后水域面积似乎有所减少。红色区域很可能是洪水影响的地区。洪水图与南印度洪水从2015年11月8日持续到2015年09 动态图像可在http://jiongqianliang.com/HUGFM/中查看。0方法 准确率 F1得分0Watershed算法 0.8904 0.67960Otsu的阈值法 0.8977 0.73940表3：休斯顿数据集的定量评估。0在针对钦奈数据集的实验中，每个像素点都有两个来自雷达的原始属性（HH和HV）以及一个表示地理高程的属性。HH和HV测量材料反射的波的极性，有助于区分水域和陆地。我们在该数据集上使用了两个由专家用户提供的代表性标记来运行HUG-FM，用于水域和陆地区域。作为基准，我们将我们的方法与前一节中一些最佳方法进行比较。我们使用六个精心选择的标记来运行Watershed算法。对于SVM和Planetoid，我们提供了50个标记的水域和陆地的样本，因为它们需要更多的标记数据来生成合理的结果（标记数据从地面真实数据中采样）。我们利用领域专家提供的真实数据，并使用准确率和F1得分评估不同的方法。表3显示了这些方法的性能。可以看出，HUG-FM在两个评估指标上的值最高，明显优于其他方法。Otsu算法和Watershed算法的精度都非常低，因此F1得分也很低，而NORM-THR的性能更加平衡。在所有基准方法中，NORM-THR、SVM和Planetoid是最强的。我们指出，即使SVM和Planetoid使用了更多的标记数据（100个训练样本，而HUG-FM只有2个），我们的方法仍然优于它们。我们还在图5中可视化了这些方法的结果。我们的方法很好地捕捉到了各种形状的水域区域，而Otsu算法则倾向于错误分类。010 N-cut算法和基于图的后处理算法无法在24小时内完成运行，因此在此不予报告。0Track: Cognitive Computing WWW 2018, April 23-27, 2018, Lyon, France2970（a）11/120（b）11/240（c）12/060（d）12/180图4：从11/12/2015到12/18/2015的水域变化，以10/31/2015作为基准。每12天一张图片。红色表示在给定日期上是陆地而在10/30/2015上是水域的区域，而黄色表示在给定日期上是水域而在10/30/2015上是陆地的区域。蓝色和绿色表示在10/30/2015上最初是水域或陆地的区域，在给定日期上仍然是如此。0（a）原始数据0（b）HUG-FM0（c）Otsu的阈值分割0（d）Watershed0（e）SVM0（f）Planetoid0图5：休斯顿数据集上的洪水映射结果（截断）。0方法 准确度 F1得分0HUG-FM（由专家）0.9552 0.86810平均 HUG-FM（由众包）0.9380（±0.061）0.8290（±0.094）0CHUG-FM 0.9655 0.88400表4：CHUG-FM与休斯顿其他方法的结果比较。0许多地区被错误地分类为水域，结果看起来非常混乱。Watershed算法生成过于平滑的结果，无法准确捕捉到小的水域。SVM和Planetoid的结果在视觉上与HUG-FM相似（NORM-THR的图像由于空间限制未显示），但是这三种方法都错误地将许多陆地区域分类为水域。05.4 众包实验设置0为了评估我们的众包认知框架CHUG-FM，我们在用户研究（OSU-IRB＃2015B0249）中招募了53名受过大学教育的广泛混合的参与者，该研究遵循尼尔森诺曼集团的标准指南。参与者有时间熟悉界面，并有机会使用与实验中使用的任何卫星图像都不同的一些测试图像进行工作。每个参与者被提供三个不同的卫星图像，并限定15分钟的时间。第一张图片是2016年休斯顿的图片。0（b）F1得分图6：箱线图显示CHUG-FM在不同参与者数量下的性能差异。x轴表示参与者数量，y轴表示准确度和F1的评估测量值。0测量值 中位数 平均值 标准差0花费时间（分钟）5.78 6.08 1.850评价使用网站的便捷性 5.00 4.68 0.520评价说明的清晰度 5.00 4.73 0.500表5：众包实验用户反馈总结。评分范围为1到5，5为最高。0如前一节所讨论的洪水。另外两张图片是北卡罗来纳州伦伯顿市在飓风马修之前和之后的照片（尺寸均为2031×2500）。在网站的首页上向参与者展示了逐步的说明。在每个任务结束时，参与者被要求评价HUG-FM的结果，并为我们的众包平台提供反馈。05.5 众包结果分析05.5.1集成学习结果。一旦参与者完成实验，我们按照前面所述的步骤进行集成学习。由于5名参与者未能正确标记验证标记，我们从数据库中删除了这些无效参与者。我们首先讨论包含所有像素的休斯顿数据的结果。通过两次交叉验证调整，该数据集的最佳阈值θ为0.21。我们使用该阈值对这些参与者的所有HUG-FM结果进行聚合。我们将聚合结果与每个个体和领域专家的结果在表4中进行比较。我们可以观察到CHUG-FM的性能明显优于每个个体的HUG-FM（表4中的第2行与第3行进行比较）。即使与由领域专家使用精心选择的标记进行的HUG-FM相比，CHUG-FM仍然为我们带来了0.0385的改进。0Track: 认知计算 WWW 2018, 2018年4月23日至27日, 法国里昂2980F1分数方面的术语。这揭示了众包在洪水测绘中的强大能力。虽然每个个体在测绘洪水方面表现不佳，但只要错误不在用户之间相关，我们就可以通过聚合获得高质量的结果。我们还分析了CHUG-FM的性能如何随参与者数量的变化而变化。我们将参与者数量从5变化到40。对于每个特定的参与者数量c，我们从总共48个有效参与者中随机选择c，并运行与上述相同的聚合，使用0.21作为θ。我们重复相同的过程60次，并计算每个c的平均性能和相应的标准偏差。我们在图6的箱线图中显示结果。我们可以从图6中观察到，随着参与者数量的增加，CHUG-FM的性能提高。当参与者更多时，性能的方差较低是可以预期的。我们还可视化结果，对所有三个图像进行定性评估，包括两个卫星图像，这些图像在飓风马修之前和之后不包含地面真值标签（由于空间限制，图像被省略）。我们观察到，CHUG-FM可以比HUG-FM更准确地捕捉到水域。它生成了更平滑的结果，且不易受到噪声的影响。05.5.2用户体验分析。我们对众包平台的用户体验进行了全面分析。我们在表5中总结了结果。我们可以看到，平均只需要6.08分钟（最长11.33分钟，最短3分钟）就可以完成三个洪水测绘任务。根据反馈，参与者对我们的众包平台的易用性和认知对应性表示赞赏。超过75%的参与者在评价网站的易用性和指令的清晰度时给出了最高分。14名参与者通过网站上的文本框提交了详细的评论，其中5名参与者提到我们的众包平台“易于使用”/“直观”。以下是几个代表性的积极评论：0(1) 用户1：“非常有趣的练习。非常易于使用和跟踪...” (2)用户2：“相当不错的想法...” (3)用户3：“我认为这很酷...我真的很喜欢这个。”0一些参与者指出，一些标记位于水域和陆地之间，很难标记。这是预期的，因为我们有意在不确定的区域生成了一些标记，以确保我们覆盖整个图像空间。在未来，我们计划改进用户界面，使参与者更容易标记这些标记（例如，支持交互式缩放视图）。06 结论0在本文中，我们描述了一种新颖的认知框架，通过有效地将人类指导与机器学习模型相结合，解决了洪水测绘问题。在专家指导下，我们的算法能够正确地分割出水域和陆地区域，与最先进的方法相比，误差更小。为了在灾害期间使用，我们开发了一种新颖的众包平台和集成算法，利用了众包（危机志愿者）的智慧。我们的众包实验，超过50名参与者参与了三个不同的任务，一致表明众包变体表现良好-产生了与领域专家制作的洪水地图相当的抗噪声洪水地图。0致谢：本工作得到了国家科学基金会EAR-1520870和DMS-1418265的支持。俄亥俄超级计算中心在PAS0166的资助下提供了计算支持。所有内容代表作者的观点，不一定得到赞助商的共享或认可。我们感谢Jiayong Liang和Desheng Liu的有益讨论。0参考文献0[1] S. S. Al-Amri, N. V.Kalyankar等人。使用阈值技术的图像分割。《计算机学报》，2010年。[2] M. Baatz和A.Schäpe。多分辨率分割：一种用于高质量多尺度图像分割的优化方法。《应用地理信息处理XII》，58:12-23，2000年。[3] M. Belkin，P. Niyogi和V.Sindhwani。流形正则化：一种从标记和未标记示例中学习的几何框架。《JMLR'06》。[4]S. Beucher和F.Meyer。