基于位置的虚拟现实技术在山峰检测中的应用

第八届位置与网络国际研讨会（Eighth International Workshopon Location and the Web）WWW 2018，2018年4月23日至27日，法国里昂1206基于位置的虚拟现实技术在山峰检测中的应用Antonio La Salandra，Piero Fraternali，DarianFrajbergPolitecnico di Milano米兰，意大利name.polimi.it摘要基于位置的移动户外应用程序是强大的工具，可以让用户参与社会和环境任务，并支持新兴的公民科学范式。在本文中，我们提出了PeakLensVR，一个虚拟现实的基于位置的移动应用程序，使用户能够用他们的手机捕捉全景山图像，并在以后可视化这样的图像，丰富的元数据从捕捉点可见的山峰，与低端的VR设备。PeakLensVR的目标是利用地理定位增强和虚拟现实应用的新兴趋势，培养一个具有环保意识的用户社区，他们自愿收集山区图像用于环境监测目的。CCS概念• 信息系统→移动式信息处理系统• 以人为中心的计算→虚拟现实;·计算方法学→计算摄影;·应用计算→环境科学;关键词虚拟现实，移动应用，基于位置的系统，遥感，环境监测，山地识别ACM参考格式：安东尼奥·拉·萨兰德拉，皮耶罗·弗拉特纳利，达里安·弗雷伯格。2018.基于位置的山峰检测虚拟现实应用。在WWW '18伴侣：2018年网络会议伴侣，2018年4月23日至27日，法国里昂。ACM ，New York，NY，USA，9页。https://doi.org/10.1145/3184558的网站。三一九一五五九1引言虚拟现实（VR）设备和配备传感器的移动电话的普及正在促进沉浸式内容消费和共享，不仅用于娱乐，还用于环境教育和意识。如今，用户可以轻松地用智能手机拍摄3D沉浸式视频和图像，将其发布在他们最喜欢的社交平台上，供其他人重温他们的体验本文在知识共享署名4.0国际（CC BY 4.0）许可下发布作者保留在其个人和公司网站上以适当的归属方式传播作品的权利。使 用 普 通 智 能 手 机 或 消 费 级 VR 设 备 ， 例 如 GoogleCardboard1和Samsung Gear VR2。利用用户位置的VR移动应用程序的一个有前途的领域收集具有足够空间和时间密度的数据需要数十万贡献者，持久参与。虚拟现实，加上地理参考数据的移动传感，可以在环境监测公民科学应用的传播中发挥重要作用：用户可以用户外移动应用程序收集数据，然后将这些数据转换成可在他们的社交圈内共享的沉浸式内容。通过这种方式，其他用户可以以准真实的方式重温体验并加入贡献者社区。本文介绍了PeakLensVR，这是一个基于位置的移动应用程序，用于收集山脉图像，并将其转换为可使用VR设备并可在社交网络中共享的沉浸式内容通过PeakLensVR，用户可以360度拍摄例如，在拍摄山脉风景的全景照片时，在获取场景的同时记录相机位置和取向，并且稍后以沉浸式模式可视化全景图像，该全景图像富含使用在捕获期间保存的位置和取向计算的关于视野中的峰的信息。关于山的元数据（峰、名称、海拔、与观看者的距离）被渲染为用户可以用VR设备的控制器激活的热点，如图1所示。可视化和交互可以通过简单的智能手机或Google Cardboard VR查看器以沉浸式模式进行。带注释的全景图像被转换为流行的可扩展元数据平台（XMP）格式，以便在社交网络中轻松共享。PeakLensVR是监测山区积雪覆盖率的研究工作的一部分，因此通过低成本多媒体内容的分析[4，7]。SnowWatch Portal3收集用户生成的或从旅游网络摄像头抓取的山照片，分析这些山照片以提取雪指数（例如，最低雪海拔），并预测以雪的形式存在于山区的水储量[4]。PeakLens4是一款基于增强现实位置的移动应用程序，用于为SnowWatch数据集收集山脉照片;为了吸引用户，它使用智能手机摄像头捕获的帧作为输入，识别用户通过手机实时查看的山峰，用户WWW©2018 IW3C2（国际万维网会议委员会），在知识共享CC BY 4.0许可下发布。ACM ISBN 978-1-4503-5640-4/18/04。https://doi.org/10.1145/3184558.31915591http://vr.google.com/cardboard/2http://www.samsung.com/global/galaxy/gear-vr/3http://snowwatch.polimi.it4http://peaklens.com第八届位置与网络国际研讨会（Eighth International Workshopon Location and the Web）WWW 2018，2018年4月23日至27日，法国里昂1207图1：全景图像和可见峰来自GPS、陀螺仪、磁力计和加速度计[7]。为了计算手机屏幕上的峰值位置，PeakLens从相机帧中提取天际线，并将其与通过查询构建的虚拟全景实时对齐，即NASA SRTM [18]地球的数字高程模型（DEM）以及用户的位置和方向。DEM服务器 的 数 据 丰 富 的 山 峰 的 坐 标 和 元 数 据 ， 主 要 是 从OpenStreeMap5（OSM）GIS系统。比较真实和虚拟天际线，PeakLens确定可见山峰的屏幕坐标，并在正确的屏幕位置插入带有名称，海拔和距离的标签，实时增强用户PeakLensVR旨在促进PeakLens用户和SnowWatch贡献者的社区，使全景360◦风景图像的记录及其在沉浸式模式下的重播与mo-胆汁手机或VR耳机。用户可以重温其他人的户外体验，预览风景全景，以沉浸式和互动的方式获取有关山脉的信息，并希望加入SnowWatch社区并为数据收集做出贡献。PeakLensVR重用了SnowWatch和PeakLens的部分组件，但增加了新功能并显著扩展了现有功能：它引入了一个用于360◦图像采集的新模块，扩展了峰值定位算法以应对大型全景通过拼接捕获的图像序列构建的照片，并支持VR模式下的内容实现。其贡献可概述如下。5http://www.openstreetmap.orgPeakLensVR的特征在于处理流水线，用于从标记有相机的位置和取向的图像序列创建全景视图;流水线由传感器初始化、倾斜控制、基于传感器的图像对准、基于内容的对准细化、颜色校正、接缝估计、图像混合和全景图像生成组成;模块针对移动设备的有限资源进行了优化;与数字摄像机的经典拼接算法相比，PeakLensVR为捕获序列中的每个图像记录从陀螺仪和加速度计估计的摄像机的取向，并在全景视图的合成中利用它。为 了 提 供 引 人 入 胜 的 用 户 体 验 ， PeakLensVR 扩 展 了PeakLens的峰值定位方法，以处理大型360◦图像。识别在所捕获的全景中可见的峰值确定它们在圆柱形视图中的位置，并在视图中插入对应于每个峰的热点。先进的基于内容的算法使用图像处理技术和外部地理数据源来实现将峰定位到全景图像上的更高精度，超出仅基于从传感器导出的设备取向的位置估计的有限精度所获取的富含峰值位置的全景图像可以在智能手机的全屏模式下或使用Google Cardboard VR查看器在沉浸式模式下查看。热点对应于峰位置被插入，并且用户可以与它们交互以获得关于视图中的峰的元数据。最后，我们通过将用基于传感器和基于内容的算法计算的峰值位置与在在线服务的帮助下手动建立的地面实况峰值位置进行比较来评估全景图像中的峰值定位的准确性，所评估表明，由于当今消费级移动电话在感测方向上的固有不准确性2相关工作PeakLensVR是一个虚拟现实（VR）应用程序。VR是一种计算机生成的环境，人类可以与类似于现实生活的存在感进行交互[17]，这要归功于用于投影数字世界的临时查看器（头盔或眼镜），用于3D空间声音的耳机和用于交互的控制器最近，VR应用已经到达消费者市场，其中VR平台使用PC或智能手机作为计算单元。智能手机解决方案仅将耳机用作智能手机的支持，智能手机管理计算和显示。在[5]中可以找到上一代VR的详细描述。PeakLensVR在智能手机VR系统上工作，因为激发该项目的环境数据收集和意识工作需要部署到一个庞大的用户社区，他们合作创建全景图像并传播它们。在这类设备中，Gear VR和Google Cardboard是最受欢迎的解决方案。PeakLensVR是为Google Cardboard开发的，以利用广泛的支持智能手机和耳机，从而第八届位置与网络国际研讨会（Eighth International Workshopon Location and the Web）WWW 2018，2018年4月23日至27日，法国里昂1208更好地接触非专业用户;最终，即使是这样一个简单的平台也被证明能够提供足够好的可视化和与360 °沉浸式内容的交互。基于沉浸式多媒体内容的VR应用，如360 ◦照片和视频，越来越受欢迎：Youtube 6提供了以360 °观看视频的可能性，Facebook 7已经为照片和视频推出了相同的功能。这一趋势引起了GIS研究人员的兴趣，作为传播地理知识的新手段。关于VR和GIS集成的早期研究在[12，20]中进行了讨论。[3]调查VR GIS应用于城市和环境规划、设计、娱乐、教育和培训、个人健康和保健。虚拟游览是最常见的应用，例如，谷歌街景应用程序8支持的沉浸式模式与纸板耳机。ArcheoVR [2]融合了VR、GIS 和考古学;它以巴西 史前遗址 Itapeva RockyShelter的逼真3D模型为特色;利用放置在兴趣点中的热点和在站点导航期间跟随用户的视听指南来支持探索。Trail Me Up9是一个提供虚拟徒步旅行的网络平台。内容是cap-tured与安装相机，自动拍摄地理定位的照片，而步行背包。收集的照片被处理以创建虚拟旅游，其中热点被手动放置以标记感兴趣的点，例如山脉。PeakLensVR提供了一个虚拟的山地景观全景，在地球上任何可以看到山脉的地方用一个简单的手机捕捉;热点被自动地放置在屏幕的对应于山顶的正确位置，而不需要任何手动编辑，并且通过查询DEM和GIS源，利用在图像捕获期间记录的用户位置和照相机的方位，自动地提取关于所见山峰的有用信息并将其连接到热点。3处理流水线图2概述了组成PeakLensVR的处理步骤和应用程序3.1场景获客场景采集让用户通过用智能手机摄像头拍摄一系列照片来捕捉周围环境的全景。此外，纬度，经度，相机视野和方向被捕获，以在拍摄期间监视智能手机位置，并支持将图像拼接成360°全景。初始化为了正常工作，必须校准磁力计，因此在记录会话开始时呈现邀请用户以8形图案移动智能电话的消息该运动迫使磁力计重新设置并返回正确的基本方向。校准和6http://www.youtube.com7http://facebook360.fb.com8http://www.google.com/streetview/9http://www.trailmeup.com图2：PeakLensVR主要处理步骤和模块GPS激活后，显示拍摄照片的界面。此外，纬度，经度和视野的设备被保存.倾斜控制通过围绕垂直轴顺时针旋转智能手机来获取全景场景为了控制该过程和智能手机取向，使用方位角、俯仰和滚动方位角使用两个值：相对和绝对。绝对方位角，即， 根据磁力计和加速计提供的数据计算设备罗盘方向和磁北之间的角度;它被存储以便稍后在峰值识别阶段中使用。相对方位角是指当加速度计被激活时的电话位置，并且用于在采集期间控制设备取向以及在全景生成期间对准照片它仅从陀螺仪和加速度计计算，因为磁力计由于磁场变化而遭受不准确为了生成柱面全景图，每隔一段时间拍摄一张系列照片第八届位置与网络国际研讨会（Eighth International Workshopon Location and the Web）WWW 2018，2018年4月23日至27日，法国里昂120910度w.r.t.相对方位角，同时用户围绕垂直轴顺时针旋转电话。对于每张照片，捕获相对方位角、俯仰角和横滚角。绝对方位角也单独保存，以供以后使用。在没有三脚架的情况下，用户通常围绕其垂直轴而不是围绕智能电话的垂直轴旋转，这导致需要补偿的视差。 这同样适用于俯仰和滚动，因为检测到可能损害最终结果的移动：如果智能手机横向或向前倾斜超过25 °，则停止采集。当检测到可接受的360°旋转或用户按下按钮停止捕获时，全景合成开始。3.2全景构图在图像和传感器数据被捕获后，Peak-LensVR组成了圆柱全景图。对齐第一个图像w.r.t. 为组合物选择的参考表面接下来，它们被缝合在一起以产生没有明显伪影的全景图。对齐和拼接是顺序的：一次只有一个图像和当前的部分全景被保存在内存中，以减少所需的空间。对齐过程准备图像以合并到圆柱形视图上。首先通过基于传感器数据应用透视变换来旋转图像然后，将它们投影到圆柱形参考表面上，并应用基于像素的对准后处理，以细化从传感器数据估计的相对图3：基于传感器的对准前后的图像序列。基于传感器的对准图像通过应用基于俯仰和滚转的透视变换来顺序地扭曲价值观将第一图像的俯仰作为参考，而将滚动的参考值设置为0（电话处于垂直位置）。通过仅考虑滚动来使第一图像变形;考虑到它们的滚动以及它们的节距与参考节距之间的差异，使随后的节距翘曲。该方法重建了采集期间相机的移动。图3示出了利用可变俯仰和滚转拍摄的四个图像的序列以及在应用基于传感器的对准之后的结果。圆柱投影下一步是将每个图像投影到圆柱参考表面[19]上。首先，使用Forward Warping将图像映射到圆柱体上。接下来，使用“反向扭曲”将圆柱体上的像素映射到最终图像像素。最后，使用双线性插值来计算目标像素的颜色图4：基于像素的对齐细化。a）没有基于像素的校正的结果;b）示出引入的伪影的图像的细节; c）具有基于像素的校正的结果; d）示出引入的伪影已经消失的图像细节。在通过基于传感器的对准和圆柱形扭曲执行的倾斜角补偿之后，由于错误的获取移动导致平移分量，因此仍然存在明显的问题，该平移分量不能被传感器检测到并且引入视差误差，该视差误差导致平移分量的偏移。第八届位置与网络国际研讨会（Eighth International Workshopon Location and the Web）WWW 2018，2018年4月23日至27日，法国里昂1210导致合成全景中的伪像。为了校正这种异常，遵循[19]中基于像素的对齐比较图像像素的强度，并计算细化每个图像的位置的水平和垂直给定两个图像，将水平和垂直平移应用于它们的位置，评估该偏移的误差以测试像素一致的程度，并且迭代该过程在给定间隔内的所有翻译都已尝试之后，选择具有最小误差的翻译。该方法利用误差度量来评估比对的质量，并利用搜索技术来探索翻译的空间。图4示出了应用和不应用这些细粒度调整的拼接结果。在图4（b）中，突出了由方位角变化的平移分量引入的重复对象的问题图4（d）示出了在比对细化之后这些伪影如何消失。在变形和对齐之后，图像拼接将图像粘合在一起以组成全景图。首先对图像进行颜色均衡，然后确定将每对图像拼接在一起的最佳路径，最后使用混合来消除接缝。颜色校正如果用户选择在采集期间使用曝光和白平衡的自动设置，则图像之间可能存在色差色彩校正的目的是减少这种影响;PeakLensVR基于[ 21 ]中描述的方法实现算法。为了应用颜色校正，选择图像（可能是最好的一个）作为校正所有其他图像的参考。被证明适用于日光下的户外图像的启发式质量评估标准是选择具有中值亮度值的图像[16]。接下来，针对序列中的每个图像计算颜色校正系数，以使其相对于参考图像均衡。利用所计算的系数，以迭代方式对图像进行颜色校正，从序列中的第一个图像开始并且按照采集顺序进行移动对象和残余对准误差可能导致全景图像中的重影伪影。接缝估计是一种用于找到最佳路径的技术，沿着该路径在图像差异最小的地方切割和合并图像如在[10，11，21]中，我们使用动态编程来找到最佳接缝，因为其有限的计算和存储器要求使其特别适合于移动实现。 动态规划方法解决了成本最小化问题。首先，通过计算两幅图像的重叠区域中的像素值平方差来生成误差表面。该表面表示要拼接的两个图像之间的残余误差然后，从上到下逐行扫描误差表面，并计算累积最小平方差误差表面此曲面包含所有可能的剪切图像路径。通过从最后一行到第一行遍历累积误差表面来计算最小成本路径选择最后一行上的最小值点，然后在每次迭代时，选择上一行中的最小值连接点，直到到达第一行并完成路径。均值坐标混合找到最佳接缝后，下一幅图像将沿着接缝拼接到全景图图5：在两个图像的重叠区域中估计的最佳接缝的示例使用混合技术来平滑过渡。PeakLensVR使用均值坐标混合作为质量和计算要求之间的最佳权衡，这是[6]中提出的用于即时图像克隆的技术，并在[21]中用于拼接目的。为了加速计算，已经使用了优化方法校正颜色仅在接缝附近精确计算。然后，对于其他像素，对这样的精确值进行（bi）线性内插。3.3在全景图像被合成之后，峰值识别用它们的元数据（名称、海拔、与观看者的距离等）来标记出现在其中的山峰。该过程包括两个步骤：首先，使用利用传感器数据估计的用户的位置和方向、峰值坐标的存储库（从诸如开放街道地图的开放源GIS收集）和地球的数字高程模型（主要从NASASRTM数据集[ 18 ]获得）来计算峰值的2D屏幕坐标;然后，为了克服罗盘传感器的低精度，通过比较从相机视图提取的山脉天际线和从DEM计算的地球的3D模型提取的参考天际线来细化这种初始估计。的PeakLensVR中使用的算法扩展了PeakLens项目[8]中开发的算法，以处理360◦全景图像。请注意，峰值识别需要Internet连接来获取信息。如果在全景生成阶段结束时连接可用，则自动启动模块;否则，将全景放置在等待列表中，并且在下一次启动具有活动网络连接的应用时执行峰值识别功能。第八届位置与网络国际研讨会（Eighth International Workshopon Location and the Web）WWW 2018，2018年4月23日至27日，法国里昂1211图6：（a）仅利用传感器数据的全景到天际线对准，（b）利用基于内容的匹配调整的对准此外，该模块可以很容易地扩展，以便与从Flickr10等来源检索的外部全景照片一起工作，只要它们包含所有所需的元数据，这些元数据也应该被移植到应用程序的预定义格式中基于传感器的峰值定位基于传感器的峰值定位利用在线服务，该在线服务输入用户的纬度和经度，并返回图像作为输出，该图像具有从该点可见的天际线的表示和可见峰值的列表以及它们相对于天际线的位置。基于传感器的峰定位将峰坐标从天际线图像坐标系（XY）映射到全景图像坐标系（xy）。将全景图像映射到天际线图像需要基于其视场缩放前者，以便实现相同的像素/度比率，并且将其平移以适应俯仰和滚动。将全景图像与天际线图像配准允许识别视野中的峰。通过仅使用传感器数据计算的峰值位置可能由于传感器误差而不精确，例如，这是由于罗盘误差引起的对电话方位的错误估计。通过将实际相机视图与基于用户的位置从在线服务检索的虚拟天际线图像进行比较，可以利用基于内容的方法来提高准确性第一步是从全景图像中提取天际线像素。从山脉图像中提取天际线是一个经过充分研究的问题[1];为了应用的目的，我们利用了[8]中描述的算法天际线图像10http://www.flickr.com相对于从在线服务下载的天际线图像缩放从全景提取的两个轮廓线，然后搜索其中两个天际线重叠更多的对准 该过程应用模板匹配技术，其迭代地应用垂直和水平偏移，并且基于两个天际线的重叠程度为每个偏移计算匹配分数。最后，具有最高分数的偏移被用于校正峰值位置。图6示出了通过仅使用传感器数据（a）以及应用匹配算法（b）的全景图像和天际线图像的对准请注意，PeakLensVR的天际线匹配算法与PeakLens的原始算法不同，因为在后一种情况下，摄像机图像的视场远小于天际线的视场（360◦），而在PeakLensVR中，两条天际线都可以跨越360◦。因此，最佳对齐的（平面）搜索方法已被修改，通过部分地水平复制其宽度百分比的虚拟天际线，启发式地定义以在计算搜索成本以及找到正确匹配的可能性。3.4形象显示和分享PeakLensVR提供了不同的方式来可视化和共享内容：全景图可以使用Cardboard模式与VR耳机或在手机中使用全屏沉浸式模式进行查看。也可以在Facebook上或与PeakLensVR的其他用户共享全景Cardboard和沉浸式全屏模式可视化在Cardboard和Android沉浸式全屏模式下，虚拟环境都是通过将全景和山峰投影到圆柱形表面上来构建的。生成用户的摄像头第八届位置与网络国际研讨会（Eighth International Workshopon Location and the Web）WWW 2018，2018年4月23日至27日，法国里昂1212图7：捕获的全景图像（顶部）和用于手动定义峰值位置的地面真实坐标的相应虚拟图像（底部）视图放置在此圆柱体的中心在Cardboard模式下，可以转过身来，通过移动头部来观看场景，就像观看真实的全景一样。传感器捕捉移动并将其应用于3D场景内的相机，自动滚动用户视图。热点被放置在峰位置（参见图1）：用户可以指向热点并通过查看它并通过控制器点击来可视化具有峰的所有元数据的对话框在沉浸式全屏模式下，显示的不是可单击的热点，而是带有峰名称的标签可以单击并拖动全景以滚动场景。构建3D环境需要将全景映射到3D场景上，并且将峰值坐标从全景图像的平面系统变换到场景的圆柱系统。首先，将所捕获的全景和峰值热点或标签映射到表示所捕获的全景的平面参考帧。360度全景然后，将所得图像投影到圆柱形参考系。PeakLensVR全景图可以在应用程序的用户之间共享调用峰值识别服务所需的所有元数据都封装在图像的EXIF容器内，因此可以通过简单的文件复制来传输全景图，而无需特定于应用程序的安装过程。在应用程序启动时，检测到新的全景，并且自动调用用于识别其峰值的服务一旦生成了峰值列表，用户就可以将全景可视化，就好像他已经拍摄了全景一样。全景图也可以在Facebook上分享，并在社交网络提供的沉浸 式 模 式 下 可 视 化 PeakLensVR 可 以 使 用 Facebook 元 数 据（Photo Sphere XMP）导出全景图，以便在该平台中进行渲染。4评价PeakLensVR的用户体验质量取决于通过图像拼接构建的全景视图的保真度以及全景图像中峰值位置的准确性。评价的重点是全景图中峰位置的准确性;这允许对拼接图像的保真度进行评估，所述拼接图像包含定位，以及天际线匹配算法相对于纯粹基于传感器的峰值定位的改进。该数据集由10张在科莫拍摄的全景照片组成意大利北部的湖泊地区和意大利南部的波利诺国家公园照片是在不同的天气条件下拍摄的，有不同的曝光度，有些照片中的物体被遮挡了天际线它们的水平视野范围从大约96◦度到360◦，并且在开放街道地图中有许多可见的峰值，元数据在1到11之间。数据集通过使用三星Galaxy S5和1280x720像素帧来生成全景图。所有全景图像均使用PeakLensVR拍摄。用于比较位置的地面实况峰值位置由基于传感器的算法和匹配算法生成的并且用于评估误差的全景图已经在在线服务的支持下被手动确定，给定视点的地理坐标，该在线服务返回在该点可见的全景图的数字表示，该数字表示富含放置在其顶点位置的每个可见峰的标签图7示出了一个示例：虚拟全景图像已经被用作手动设置每个可见峰的正确屏幕上坐标的指导评价屏幕上峰值位置误差的指标在一些实施例中，用于测量像素误差的标准误差是欧几里德像素误差（EPE）、欧几里德度误差（EDE）、方位角度误差（ADE）和俯仰度误差（PDE）。EPE是地面实况与估计的峰值位置之间的以像素为单位的欧几里得距离。EDE是第八届位置与网络国际研讨会（Eighth International Workshopon Location and the Web）WWW 2018，2018年4月23日至27日，法国里昂1213基于传感基于内容#是说中值是说中值即兴表演13,973,681,721,8056.72%23,193,191,881,6041.10%32,222,241,841,7717.40%45,893,732,371,9359.73%54,574,572,202,2051.73%69,079,073,353,3563.06%74,354,172,562,4841.18%899,2499,242,152,1597.83%997,2997,713,413,4196.49%102,682,672,102,1021.32%是说23,2522,992,362,2854.66%中值4,463,952,182,1354.22%表1：基于传感器和基于内容的欧几里得度误差EDE比较。使用EPE和每个全景图像的像素度比ADE是以度为单位的沿水平轴的距离，PDE是沿垂直轴的距离。ADE和PDE分别量化方位角和俯仰误差。已经针对每个全景中的峰值计算了误差统计。已经为每个全景计算了最小、最大、平均和中值EPE和EDE、平均和中值ADE和PDEEDE已被认为是在数据集中的所有峰，并用于计算在1至6度的误差类的峰位置的频率分布。表1示出了当使用基于传感器和基于内容的方法时针对每个全景计算的EDE值以及平均EDE相对于传感器估计的改进。这些值示出了跨全景的传感器数据的波动平均而言，错误减半。一个有趣的结果是样品8、9.即使他们最初的基于传感器的估计是完全错误的，匹配算法几乎完全纠正了错误。存在其中改进不那么明显的一些情况，但这些也是其中基于传感器的误差较小的情况（样品3和10）。最后，约54%的平均改善和约2度的平均EDE（其对应于40个像素的EPE）示出匹配算法相当显著地改善了峰值位置。已经针对整个数据集计算了关于基于传感器的EDE和匹配算法的峰值频率分布，如图8所示：在应用匹配算法之后，85%的峰值具有该值对应于约57个像素的EPE，并且如果与基于传感器的方法的EDE相比，则可以认为是良好的结果，对于基于传感器的方法，仅35%的峰具有小于3度的EDE，并且17.5%的峰具有大于6度的EDE为简洁起见，我们仅报告了EDE评估的结果ADE和PDE的分析证实了匹配算法所提供的改进图8：在基于传感器和基于内容的匹配方法之后，峰的频率分布相对于其EDE的分类。5结论和今后的工作本文介绍了PeakLensVR，这是一款基于位置的移动应用程序，允许用户拍摄全景照片，根据位置和方向自动识别图像中的山峰，并在VR模式下实现增强了山峰信息的照片的可视化。在一些情况下，如果用户在图像序列采集期间进行错误的移动，或者关于地形或GIS峰值坐标的DEM数据不精确，则所生成的全景图可能包含影响峰值定位的误差，而不是由所实现的基于内容的天际线匹配算法补偿。这种影响可以通过引入局部匹配算法[7]来减弱：一旦图像天际线已经与虚拟天际线对准并且已经估计了峰值位置，则局部匹配执行另一个细化步骤。对于每个峰，在估计的峰位置周围提取天际线的小块，并且仅针对该块重复天际线对准。该步骤可以进一步改善结果，因为它较少受虚拟或图像天际线的不精确性的影响。第二条发展路线涉及在VR模式中再现除了峰之外的其他感兴趣的对象。我们正在收集有关山区小屋和小径的GIS数据，这些数据可以通过扩展[9]中讨论的峰值定位算法合并到全景图像中。引用[1] Lionel Baboud、Martin Cadík、Elmar Eisemann和Hans-Peter Seidel。2011.自动照片到地形对齐的山地图片注释。 在第24届IEEE计算机视觉和模式识别会议，CVPR 2011，科罗拉多斯普林斯，CO，美国，2011年6月20-25日 。 IEEE 计 算 机 学 会 ， 41http://ieeexplore.ieee.org/xpl/mostRecentIssue.jsp?punnumber =5968010[2] EduardoZilles Borba、Andre Montes、Marcio Almeida、Mario Nagamura、Roseli Lopes 、 Marcelo Knorich Zuffo 、 Astolfo Araujo 和 Regis Kopper 。 2017年。ArcheoVR：探索伊塔佩瓦的考古遗址。在虚拟现实（VR），2017年IEEE。IEEE，463-464。[3] Maged N Kamel Boulos，Zhihan Lu，Paul Guerrero，Charlene Jennett，andAnthony Steed.2017.从城市规划和应急培训到Pokémon Go：虚拟现实GIS（VRGIS）和增强现实GIS（ARGIS）在个人、公共和环境健康中的应用。国际健康地理杂志16，1（2017），7。第八届位置与网络国际研讨会（Eighth International Workshopon Location and the Web）WWW 2018，2018年4月23日至27日，法国里昂1214[4] Andrea Castelletti，Roman Fedorov，Piero Fraternali，and Matteo Giuliani.2016年。山顶上的多媒体：利用公共雪图像改善水系统运行。2016年ACM多媒体会议论文集，MM 2016，荷兰阿姆斯特丹，2016年10月15日至19日。948-957[5] Joshua Q Coburn，Ian Freeman，and John L Salmon. 2017.回顾当前低成本虚拟现实技术的能力及其增强设计过程的潜力。Journal of Computing andInformation Science in Engineering17，3（2017），031013。[6] Zeev Farbman 、 Gil Hoffer 、 Yaron Lipman 、 Daniel Cohen-Or 和 DaniLischinski 。 2009. 用 于 即 时 图 像 克 隆 的 坐 标 。 在 ACM Transactions onGraphics（TOG），第28卷中。ACM，67。[7] Roman Fedorov，Darian Frajberg，and Piero Fraternali. 2016.户外移动增强现实框架及其在山峰检测中的应用增强现实、虚拟现实和计算机图形学国际会议。斯普林格281[8] Darian Frajberg，Piero Fraternali，and Rocio Nahime Torres.2017年。卷积神经网络用于像素级天际线检测。 人工神经网络和机器学习-ICANN2017-第26届人工神经网络国际会议，意大利阿尔盖罗，2017年9月11日至14日，会议记录，第二部分。12-20[9] Darian Frajberg，Piero Fraternali，and Rocio Nahime Torres.2017年。异构山地增强现实移动应用的信息集成。在2017年IEEE数据科学与高级分析国际会议DSAA 2017上2017年10月19日至21日，日本东京。313-322.https://doi.org/10.1109/DSAA.2017.5[10] Seong Jong Ha、Hyung Il Koo、Sang Hwa Lee、Nam Ik Cho和Soo KyunKim。2007. 移动相机系统的全景拼接优化IEEE Transactions on ConsumerElectronics53，4（2007）.[11] Seong Jong Ha、Sang Hwa Lee、Nam Ik Cho、Soo Kyun Kim和ByungjunSon。2008.嵌入式全景拼接系统采用自动拍摄接口。IEEE Transactions onConsumer Electronics54，1（2008）.[12] 黄波，江斌，李辉。2001年GIS、虚拟现实和互联网的集成，国际地理信息科学杂志15，5（2001），439[13] Alexis Joly 、 Hervé Goëau 、 Julien Champ 、 Samuel Dufour-Kowalski 、Henning Müller和Pierre Bonnet。2016.众包生物多样性监测：分享你的照片流如何维持我们的星球。在2016年ACM多媒体会议上。ACM，958[14] Christopher S Lowry和Michael N Fienen。2013年。CrowdHydrology：众包水文数据和参与公民科学家。Ground Water51，1（2013），151-156.[15] Lara Piccolo、Miriam Fernández、Harith Alani、Arno Scharl、Michael Föls和David Herring。2016年。气候变化参与：有目的的多任务游戏的结果在第一届社会网络环境和生态监测国际研讨会上。AAAI Publications.[16] 查尔斯·波因顿1998.认为有害的YUV和亮度：在视频中请求精确的术语。（1998年）。[17] 乔纳森·施图尔。一九九二年。定义虚拟现实：尺寸决定遥现。Journal ofcommunication42，4（1992），73[18] 美国地质调查局。2009年航天飞机雷达地形测量任务（SRTM）：美国地质调查概况介绍2009-3087。http://dds.cr.usgs.gov/srtm/[19] 理查德·塞利斯基。2006.图像对齐和拼接：一个教程。Foundations andTrends® in Computer Graphics and Vision2，1（2006），1[20] Edward Verbree ， Gert Van Maren ， Rick Germs ， Frederik Jansen ， andMenno-Jan Kraak. 1999.虚拟世界视图中的交互-将3D GIS与VR连接起来。International Journal of Geographical Information Science13，4（1999），385[21] Yingen Xiong和Kari Pulli。2010.快速全景拼接实现高质量手机上的全景图像IEEE消费电子汇刊56，2（2010）中描述的。