没有合适的资源?快使用搜索试试~ 我知道了~
软件X 19(2022)101144原始软件出版物HiVecMap:海量地理矢量数据实时地理可视化并行工具陈罗a,b,刘泽邦a,刘伟,马梦宇aa中国长沙国防科技大学电子科学与技术学院南方丘陵区自然资源调查与监测重点实验室ar t i cl e i nf o文章历史记录:2022年3月21日收到2022年6月1日收到修订版,2022年保留字:地理矢量制图地理空间大数据并行映射a b st ra ct提出了一种面向大规模地理矢量数据制图的并行实时可视化软件工具HiVecMap。HiVecMap计算每个显示单元的映射值,而不是每个矢量特征的值每个显示单元的映射值由相应空间范围内的地理矢量特征的数量确定因此,计算复杂度取决于单元的数量,而不是整个地理数据集的特征的数量。当单元的数目远小于地理特征的数目时,可以大大提高可视化效率。HiVecMap是用MPI+OpenMP并行策略实现的,并且已经过广泛的实验结果表明,该方法可以实现大规模地理矢量数据的在线实时制图,与现有最佳方法相比,性能提高了十倍以上。©2022由Elsevier B.V.发布这是CC BY许可下的开放获取文章(http://creativecommons.org/licenses/by/4.0/)中找到。代码元数据当前代码版本1.0用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-22-00072法律代码许可证MIT许可证(MIT)使用git的代码版本控制系统使用C++、Python、JavaScript的软件代码语言、工具和服务编译要求,操作环境依赖性Redis,MPICH,libpng,Crow,boost,Hicore,Flask,openLayers支持电子邮件问题liuzebang19@nudt.edu.cn软件元数据当前软件版本1.0此版本可执行文件的永久链接https://github.com/KyrieBang/HiVecMap法律软件许可证MIT许可证(MIT)计算平台/操作系统Ubuntu 18.04.安装要求依赖Redis,MPICH,libpng,Crow,boost,Hicore,Flask,openLayers如果可用,链接到用户手册-如果正式发布,包括一个参考文献列表中对出版物的参考问题支持电子邮件liuzebang19@nudt.edu.cn1. 动机和意义地理可视化是数字时代理解地理空间信息和知识的一种新方法,*通讯作者。电子邮件地址:luochen@nudt.edu.cn(Luo Chen),liuzebang19@nudt.edu.cn(Zebang Liu),mamengyu10@nudt.edu.cn(Mengyu Ma)。https://doi.org/10.1016/j.softx.2022.101144在一系列实际问题上的许多应用,例如数字地球[1]、地球物理学[2]、环境[3,4]、农业[5]、能源[6]、交通运输[7]。在地理可视化过程中,重点是信息探索和意义构建,科学家和专家可以使用地理可视化工具来探索数据,生成假设,开发问题解决方案和构建知识[8]。从而使交互式地理可视化成为科学研究的焦点。然而,随着地理信息获取的快速发展,2352-7110/©2022由Elsevier B. V.出版这是CC BY许可下的开放获取文章(http://creativecommons.org/licenses/by/4.0/)。可在ScienceDirect上获得目录列表SoftwareX期刊主页:www.elsevier.com/locate/softx罗晨,刘泽邦,马梦雨软件X 19(2022)1011442×随着技术的发展,数据规模呈爆炸性增长。据最新统计,著名的开放地理数据提供商OpenStreetMap [9]的地理矢量要素(节点和线)数量已超过85亿。最近的一份报告中国土地调查的数据显示,土地利用多边形总数达到2.95亿[10]。这给交互式地理可视化带来了很大的挑战,它增加了响应时间,使交互性变差。在过去的几年中,已经提出了一些方法来解决这类问题,例如数据简化[11],数据分解[12],LOD策略[13],GPU多核并行化[14],Map-Reduce框架[15,16],内存中并行计算策略[17,18],显示驱动策略[19]。面对大规模地理矢量要素的在线实时交互场景,我们在前期工作中提出了一种能够用于大规模地理矢量对象交互式可视化空间分析的显示驱动计算模型(DisDC)[20],以及一种适合DisDC核心计算需求的自定义空间索引HiIndex [21与目前主流的矢量特征逐个栅格化、中间结果合并到最终可视化图像的技术不同,该方法以像素为计算单位,直接得到最终的显示效果,大大减少了计算冗余,实现了大规模矢量特征的实时可视化同时,从实验结果来看,基于设计的空间索引每秒生成的tile数量已经达到了900tile/s以上,远远大于为改变样式或切换视图而渲染的tile数量[21]。HiVecMap采用DisDC和HiIndex的核心思想,实现了视口显示像素单元驱动的地理矢量数据可视化模型,将依赖于地理矢量数据形状的映射计算转化为对像素单元所表示的空间所包含的地理矢量数据的搜索。极大地降低了大规模地理矢量数据的绘制成本。其次,设计了一种名为VPQ(Viewport Pixel Quadtree)的空间索引,在VPQ的支持下,HiVecMap具有高效的瓦片渲染性能,并将大规模矢量数据的可视化延迟降低到几分之一秒。特别适用于大规模地理矢量数据的即时预览场景。与现有方法相比,具有明显的优势,能够很好地支持大规模数据的在线交互可视化应用。此外,与现有的瓦片映射方法相比,其将生成的地图瓦片缓冲在大量的外部存储器空间中,HiVecMap将映射瓦片临时存储在存储器中而不占用任何外部存储器空间。真正实现了实时预览、实时计算、实时渲染的效果,在降低存储占用成本HiVecMap分解视口中的可视化任务一系列的子任务。每个子任务生成256 256像素图像称为平铺图像。整个视口由多个根据空间位置拼接的平铺图像组成。 在图块图像中,采用OpenMP并行策略绘制64K像素的图块图像.在视口中,采用MPI策略并行绘制多个平铺图像本文件的结构如下。在第2节中详细描述了HiVecMap,在第3节中展示了一些大规模地理矢量数据集的一系列示例,在第4节中讨 论 了 HiVecMap 的 影 响 , 在 第 5 节 中 给 出 了 进 一 步 开 发HiVecMap的结论和指南2. 软件描述HiVecMap是一个高效、实时的海量地理矢量数据地图可视化HiVecMap对包含点、线、面要素的矢量数据进行栅格化,并使用地图瓦片技术,因此,在构建给定数据集的VPQ空间索引并计算屏幕具体像素值此外,传统的GIS软件很难显示数千万的地理矢量数据,而HivecMap可以实现十亿比例尺地理矢量数据的实时交互浏览。2.1. 软件构架为了支持对海量地理矢量数据的交互式探索,HiVecMap提供了一个高性能的并行处理架构,如图所示。1、架构被设计为在用户发送可视化请求之后最小化从数据处理到映射效果获取的整个过程的响应时间。HiVecMap采用2.1.1. 基于像素的空间索引构建服务在PSICS中,将不同类型地理矢量点、线、面数据的空间索引构建算法封装为地理矢量数据注册服务(GVDRS)。当用户对矢量数据集发出浏览请求时,GVDRS负责检索文件系统中的地理矢量数据文件,判断数据类型并选择相应的算法在内存中构建空间索引结构。一方面,索引结构可以直接用于内存中的下一个可视化计算,其内存占用比读取原始矢量数据进行光栅化要小得多。另一方面,它可以输出到文件系统,并通过索引存储和重构策略(ISRS)从索引文件中重构,以供以后重用。2.1.2. 基于并行像素生成的映射服务在PPMS。主要部分是多线程地图瓦片服务器(MMTS)和混合并行可视化引擎(HVE)。MMTS采用多线程的方式将地理矢量数据可视化封装到WTMS中,便于在网络上浏览和传输。HVE采用基于MPI和OpenMp的混合并行计算模型计算像素值, 瓦片请求被分配给不同的MPI进程,并且瓦片的每个像素的计算被按行顺序分配给不同的OpenMP线程。此外,切片请求分析过程分析浏览器发送的切片任务,并删除不需要绘制的图块,以减少计算量。要求包括:(1)瓦片对应的空间范围与空间范围不相交(2)瓦片的对应空间范围不包含地理矢量元素;(3)错误的瓷砖请求。渲染切片过程在HVE中完成后立即获得像素生成结果,并根据提供罗晨,刘泽邦,马梦雨软件X 19(2022)1011443⟨⟩Fig. 1. HiVecMap的架构被用户。并行任务调度将以流的形式生成的瓦片任务动态地分配给HVE,并以先进先服务的方式处理瓦片请求任务首先,基于MPI进程的数量均匀地分配瓦片请求剩余的图块请求任务被设置为等待状态。当一个MPI进程完成处理任务时,其他瓦片请求任务被动态地分配给MPI进程。2.2. 软件功能HiVecMap为海量地理矢量点、线串、面数据的可视化提供了方便快捷的功能支持,主要功能有四个简单的API提供给用户:2.2.1. 根据给定的矢量数据构造VPQ索引结构该函数用于根据给定的shapefile格式的矢量数据,自动构造VPQ索引结构,支持生成高效、低内存消耗的索引结构,以替代原始数据,供下一步使用数据可视化。VPQNode *rootNode = constructVPQ(dataPath,geoType)如API所示:dataPath参数为地理矢量数据的绝对路径;geoType参数为地理矢量数据的类型,包括点、线、面样式;VPQNode参数为抽象基类,描述内存中索引的节点单元的基本信息,如节点、节点层次、2.2.2. VPQ索引格式在内存和文件系统之间的转换该函数用于将VPQ索引输出到文件系统并将VPQ文件读取到内存中,索引文件,以便再次快速浏览地理矢量数据。val VPQfile =saveVPQ(indexPath)VPQNode *rootNode = readVPQ(indexPath)如接口所示:indexPath参数为文件系统的索引输出路径,VPQNode参数和*rootNode参数与2.2.1节描述相同。2.2.3. 创建地理矢量数据的制图可视化效果该功能用于将地理矢量数据栅格化,封装为WTMS,并在屏幕上显示最终的制图效果,能够探索和揭示关系矢 量 特 征 之 间 的 关 系 , 并 显 示 数 据 的 趋 势 。valspatialWTMS=visualize ( tileId , rules ,rootNode)如API所示:tileId参数是矢量数据WTMS的tile id,格式为(z,x,y);rules参数是矢量数据的映射效果,格式为(颜色,alpha,模式可选),模式是矢量多边形数据的一个选项,用于填充多边形要素内部;*rootN- ode参数是2.2.1节中构造的VPQ索引的根节点指针;spatialWTMS参数是地理矢量数据的http接口,用户可以在WebGIS应用的客户端浏览器中使用该接口浏览数据。3. 说明性实例HiVecMap的在线说明性示例如图1A和1B所示提供。 2比4 图1和图2中使用了1亿比例尺的全球地理矢量点、线串、多边形数据。2通过实例说明,在HiVecMap中通过改变颜色、透明度等样式,可以实现地理矢量数据的交互式浏览和探索。2在实际使用中,用户可以根据个人喜好和数据属性选择颜色。例如,可以选择蓝色作为湖泊多边形要素的填充颜色。而且最重要的是,HiVecMap中地理矢量数据浏览和样式更改的时间延迟只有几分之一秒。基于以上考虑,我们可以看到HiVecMap实现了大规模地理矢量特征的实时可视化,从而为后续的数据处理和分析提供支持。罗晨,刘泽邦,马梦雨软件X 19(2022)1011444图二. 1亿级地理点数据的实时可视化。(For对本图图例中所指颜色的解释,读者可参考本文的网络版图3.第三章。1亿级地理lineString数据的实时可视化。(关于此图例中颜色的参考解释,请读者参考本文的网络版本4. 影响HiVecMap提出并实现了一种新的大规模地理矢量数据可视化方法,使得渲染延迟主要取决于视口,而不是像传统方法中的地理矢量数据量。以这种方式,当视口大小被确定并且地理矢量数据的量大,可以大大提高可视化性能。像素驱动的绘制模型非常适合并行化。因此,HiVecMap采用了OpenMP + MPI混合并行策略,实现了在多核计算机和集群计算机环境下大规模地理矢量数据的实时绘制。HiVecMap已被用于土 地 资 源 调 查 领 域 的 学 术 研 究 [22 , 23] 和 工 业 项 目 此 外 ,HiVecMap被封装为面向服务的包,HiVecMap的说明可以在链接https://github.com/KyrieBang/上找到罗晨,刘泽邦,马梦雨软件X 19(2022)1011445见图4。1亿级地理多边形数据的实时可视化。(For对本图图例中所指颜色的解释,读者可参考本文的网络版HiVecMap。程序运行的主要参数用shell脚本编写,包括数据输入 路 径 、 索 引 输 出 路 径 、 使 用 的 线 程 数 等 参 数 。 同 时 ,HiVecMap的操作步骤非常简单,只需要运行shell命令编译程序,建立矢量数据集的空间索引,可视化矢量数据集即可。因此,HiVecMap可以作为一个组件,在土地管理、农业、林业、地质调查、地理、交通、城市规划、灾害管理、公共安全等领域的各种GIS应用系统中优化数据预览、制图、查询和在线分析5. 结论提出了一种用于海量地理矢量数据实时可视化的HiVecMap。提出了一种新的方法,通过分析视口中每个像素对应的空间范围与地理矢量数据之间的空间关系来计算每个像素的值。该方法将传统上依赖于数据尺度的计算复杂度转化为视区尺度的计算复杂度,极大地提高了大规模地理矢量数据集的可视化速度。在数十亿数据集上的实验表明,与现有方法相比,该方法的性能提高了十倍以上此外,所提出的方法的所有可视化结果都被临时存储在内存中,并且不需要外部磁盘空间。与现有的基于地图瓦片的方法需要大量的外部磁盘空间来缓冲瓦片数据,无法实时改变矢量数据的制图效果相比,HiVecMap具有存储占用成本低、风格渲染实时性好等优点。竞合利益作者声明,他们没有已知的竞争性财务利益或个人关系,可能会影响本文报告的工作数据可用性数据将根据要求提供。致谢本工作得到国家自然科学基金项目(批准号:41971362,U19A2058)。引用[1]Ltekin A,Griffin AL,Slingsby A,Robinson AC,Klippel A.地理空间信息可视化与延展实境显示。数字地球手册;2019年。[2] 地理可视化:天主教仪式建筑群的一个例子。Archaeol Prospect 2006;13(4):282-90. http://dx.doi.org/10.1002/www.example.com[3]陆Y,方T。使用时间地理学和3D地理可视化检查个人空气污染暴露,摄入量和 健 康 危 险 区 。 ISPRSIntJGeo-Inf2014;4 ( 1 ) : 32-46.http://dx.doi.org/10.3390/ijgi4010032网站。[4] Cominelli S,Leahy M,Devillers R,Hall GB.地理可视化工具,为船只噪音管理提供信息,以支持物种海洋海岸管理2019年;169(3月):113-28.http://dx.doi.org/10.1016/j的网站。ocecoaman.2018.11.009网站。[5] Peter BG,Messina JP,Lin Z,Snapp SS.云上的作物气候适宜性映射:可持 续 农 业 的 地 理 可 视 化 应 用 Sci Rep 2020;10 ( 1 ) : 15487.http://dx.doi.org/10.1038/s41598-020-72384-x网站。[6] 孙X,王X.油气井数据关联规则挖掘的地理可视化。ISPRS Int J Geo-Inf2017;6(2):48. http://dx.doi.org/10.3390/ijgi6020048.[7]Hamad K,Quiroga C.档案ITS数据的地理可视化-案例研究。IEEE TransIntellTranspSyst2015;17(1):1-9.http://dx.doi.org/10.1109/TITS.2015.2460995.[8]Kraak M-J.地理可视化图解。ISPRS J Photogramm Remote Sens 2003;57(5-6):390-9. http://dx.doi.org/10.1016/S0924-2716(02)00167-3.[9]凯勒角开放地图。地理信息系统百科全书;2015年。[10] 中 国 自 然 资 源 部 。 第 三 次 全 国 土 地 调 查 公 报 。 2021 年 , 网 站 ,http://www.mnr.gov.cn/dt/ywbb/202108/t20210826_2678340.html。罗晨,刘泽邦,马梦雨软件X 19(2022)1011446[11]Cruz IF,Ganesh VR,Caletti C,Reddy P. Giva:地理空间和时间数据集成,可视化和分析的语义框架。第21届ACM SIGSPATIAL地理信息系统进展国 际 会 议 论 文 集 。 2013 年 , 第 544-7 页 。 http://dx.doi 的 网 站 。org/10.1145/2525314.2525324。[12]郭明,关清,谢忠,吴丽,黄勇。多段线和多边形并行矢量数据可视化的空间自 适 应 分 解 方 法 。 IntJ GeogrInfSci2015;29 ( 8 ) : 1-22.http://dx.doi.org/10.1080/13658816的网站。2015.1032294。[13]吴宏,杨春,黄德武,谢军。基于八叉树的视相关LOD方法在虚拟地球中的动态 地 球 科 学 现 象 可 视 化 。 Comput Geosci 2011;37 ( 9 ) : 1295-302.http://dx.doi.org/10的网站。1016/j.cageo.2011.04.003。[14]唐 ·W 用 图 形 处 理 机 并 行 绘 制 大 型 圆 形 地 图 。 Int J Geogr Inf Sci 2013;27(11):2182-206. http://dx.doi的网站。org/10.1080/13658816.2013.778413。[15]Eldawy A , Mokbel MF , Alharthi S , Alzaidy A , Tarek K , Ghani S.Shahed:基于地图的时空卫星数据查询和可视化系统。2015年IEEE第31届数据工程国际会议 。IEEE;2015年,第1585-96页。http://dx.doi.org/10.1109/ICDE.2015的网站。7113427。[16]放大图片作者:Eldawy A,Mokbel M. Hadoopviz:一个MapReduce框架,用于大空间数据的可扩展可视化。IEEE International Conference on DataEngineering数据工程国际会议2016,p. 601-12. http://dx.doi.org/10的网站。1109/ICDE.2016.7498274。[17]Yu J,Tahir A,Sarwat M. Geosparkviz在行动:一个数据系统,内置-以支持地理空间可视化。2019年IEEE第35届数据工程国际会议(ICDE)。IEEE;2019年,第1992-5页。得双曲正切值. doi.org/10.1109/ICDE.2019.00222网站。[18]Yu J,Sarwat M. Geosparkviz:一个可视化大规模地理空间数据的集群计算系统。VLDB J 2021;30(2):237-58。http://dx.doi.org/10.1007/s00778-020-00645-2.[19]马明,吴英,欧阳旭,陈丽,荆南。Hivision:快速可视化大规模空间矢量数据。计算机地球科学2021;147:104665。网址://dx.doi.org/10.1016/j.cageo.2020.104665网站。[20]马明,杨爱,吴永,陈丽,李军,荆南。Disa:一个面向大规模矢量数据的显示驱动空间分析框架。第28届地理信息系统进展国际会议论文集。2020,第147- 150页。http://dx.doi.org/10.1145/3397536.3422333网站。[21]刘志,陈丽,杨爱,马明,曹军. Hiindex:一种高效的空间索引用于大规模地 理 矢 量 数 据 的 快 速 可 视 化 。 ISPRS Int J Geo-Inf 2021;10 ( 10 ) : 647.http://dx.doi.org/10.3390/ijgi10100647网站。[22]马明,吴英,陈玲,李军,荆南。大规模空间数据的交互式和在线缓冲区覆盖分析ISPRS Int J Geo-Inf 2019;8(1).网址://dx.doi.org/10.3390/ijgi8010021网站。[23]马明,陈丽,欧阳晓,刘晓,李军,荆南。高效的交互式全球蜂窝信号强度可视化。IEEETransBigData2020;14(8):1.http://dx.doi.org/10.1109/TBDATA.2020.3029559网站。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功