可在www.sciencedirect.com上在线获取ScienceDirectSoftwareX 5（2016）1原始软件出版物www.elsevier.com/locate/softx大数据时代地理空间研究和教育的开放式cyberGIS软件Shaowen Wanga，b，c，d，e，f，Yan Liua，b，c，f，Anand Padmanabhana，b，c，fa美国伊利诺伊大学厄巴纳-香槟分校CyberGIS高级数字和空间研究中心，c伊利诺伊大学厄巴纳-香槟分校地理与地理信息科学系e伊利诺伊大学厄巴纳-香槟分校图书馆与信息科学研究生院接收日期：2015年3月16日;接收日期：2015年7月3日;接受日期：2015年10月28日摘要CyberGIS代表了一个跨学科的领域，它结合了先进的网络基础设施，地理信息科学和系统（GIS），空间分析和建模以及许多地理空间领域，以提高研究生产力并实现科学突破。它已成为新一代GIS，在数据驱动的知识发现、可视化和可视化分析以及协作解决问题和决策方面实现了前所未有的进步。本文介绍了三种开放软件策略-开放访问，源代码和集成-服务于不同的地理空间社区的各种研究和教育目的。这些战略已通过三种相应的软件模式：网络地理信息系统网关、工具包和中间件，在一个领先的网络地理信息系统软件环境中得到实施，并取得了广泛而重大的影响。布拉奇 2015作者由Elsevier B.V.发布。这是CC BY许可下的开放获取文章（http：//creativecommons. org/licenses/在/4。0/）。关键词：网络GIS;网络基础设施;地理空间大数据代码元数据当前代码版本v0.6此代码版本使用的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-15-00005法律代码许可证NCSA开源许可证使用git的代码版本控制系统使用C、C++、Python、Bash; MPI、OpenMP、CUDA的软件代码语言、工具和服务编译要求，操作环境依赖性编译器：GNU/Intel/Cray;操作系统：Linux（RedHat，Debian，Ubuntu，CentOS，SUSE）;扩展：GDAL，GEOS，PROJ 4，SPRNG，PySAL、OpenGeoDa等如果可用，链接到开发人员文档/手册https://github.com/cybergis/cybergis-toolkithttp://cybergis.cigi.uiuc.edu/cyberGISwiki/doku.php/ctCyberGIS帮助台（help@cybergis.org）CyberGIS Center for Advanced Digital and Spatial Studies，University ofIllinois at电子邮件地址：shaowen@illinois.edu（新加坡）Wang）。http://dx.doi.org/10.1016/j.softx.2015.10.0032352-7110/2015作者。由爱思唯尔公司出版 这是CC BY许可下的开放获取文章（http：//creativecommons. org/licenses/by/4. 0/）。2S. Wang等人/SoftwareX 5（2016）11. 动机和意义随着地理信息科学和技术的持续增长，地理空间数据和相关分析已经变得无处不在，使得科学研究和决策支持能够在众多的科学和工程领域中进行，包括例如生态学、环境科学和工程、公共卫生、地球科学和社会科学[1，2]。需要广泛的计算能力来管理和分析大量复杂和异质的地理空间数据，这些数据是在多个尺度上收集的，并被许多地理空间社区用于不同的应用[3]。然而，传统的GIS方法和相关的软件工具主要是使用顺序计算开发的，并且不能充分解决这种不断增加的数据强度、复杂性和应用多样性[4]。CyberGIS云、高端和高吞吐量）已成为解决地理空间大数据挑战的新一代GIS [5，6]。CyberGIS作为一个跨学科领域的快速发展受到先进数字技术的推动，并受到众多地理空间社区中存在的大量科学创新和CyberGIS已经发展成为一个由硬件、基础设施、软件和服务以及应用程序组成的复杂生态系统[7]。开放软件对于有效解决生态系统的复杂性和支持地理空间社区的多样性至关重要我们的开放式网络GIS软件方法有三个关键策略：开放访问，源代码和集成，由三种相应的模式实 现 ： 网 络 GIS 网 关 ， 工 具 包 和 中 间 件 [8 ， 5 ， 9] 。CyberGIS网关（以下简称网关）为地理空间社区提供了一个在线解决问题的环境，以访问基于CI的CyberGIS软件和数据功能。 CyberGIS Toolkit维护一套社区选择的开源空间 分析 和 建 模软 件 ，可 在 高 性能 计 算资 源 上 扩展 。GISolve Middleware将Gateway和Toolkit连接起来，以管理CI访问的复杂性。这三种模式形成了开放式软件架构（参见[8]中的图1和[10]中的图1），以解决网络GIS软件的开放访问，开放API，开源和基于CI的集成和计算。这种网络地理信息系统方法已经在许多领域产生了重大影响（例如，生物科学[11]，耦合2. CyberGIS网关-开放访问网关是领先的在线地理空间问题解决环境，提供网络GIS功能，以服务于各种研究和教育目的[8，5]。作为科学网关的先驱[16]，Gateway建立在TeraGrid GI-科学网关方法的基础上，通过基于富客户端Web技术的友好用户界面[17]桥接高级CI和GIS功能。网关功能可在两个级别上提供给用户：服务和应用。作为Gateway是一个开放式访问平台，代表了一种软件即服务的方法，可显著降低访问高级CI和管理cyberGIS软件的复杂性。一般来说，推进科学软件需要软件工程和特定领域的科学知识。特别是，网络地理信息系统软件表现出额外的复杂性，由于高性能的并行和分布式计算资源和服务，以及不同的地理空间用户社区的集成。每个网关服务目前都作为RESTful Web服务（https://en.wikipedia.org/wiki/Representational状态传输）实现。仅仅采用面向服务的办法不足以广泛开放网络地理信息系统的能力。使用cyberGIS功能通常需要高度交互式的用户界面，因为地理空间数据和分析需要频繁的用户参与数据和研究区域选择，地图投影，特征提取和地图可视化等任务。因此，网关的目的是提供一套丰富的交互式用户界面组件的cyberGIS数据和分析，利用先进的网络技术，如HTML5和地理空间可视化软件。网关应用程序是网关在线框架内的独立Web应用程序，用于与后端CI和服务进行交互，以实现一套地理空间数据和分析功能。关于网关应用程序开发的详细讨论可以在[8，10]中找到。此视频：https://www.youtube.com/watch? v=hrJ cZkG-Xs&t=12提供了一个地球科学应用程序的说明性示例，同时演示了网关如何与在线数据服务。CyberGIS网关已经发展成为一个开放的访问环境，供大量用户执行计算和数据密集型，以及由高级CI支持的协作地理空间问题解决。网关软件的开发重点是可重用的cyberGIS用户界面组件和网关门户管理。Gateway中的用户界面组件，如地图面板、可视化和符号系统、数据层排序和地图制作功能等，都以JavaScript库的形式内置于应用程序开发中。建立了一个编码框架，用于可扩展地集成各个应用程序代码和门户管理。3. CyberGIS Toolkit-开源CyberGIS Toolkit集成了一组松散耦合的可扩展地理空间软件组件，用于以下目的[10]：通过严格的软件构建、测试、打包和基于开源软件实践的部署，将CyberGIS工具包作为可扩展的CyberGIS分析的可靠社区软件工具箱;捕获软件元素的空间特征，以在各种CI环境中实现最佳的计算性能、可扩展性和可移植性;以及让计算和数据科学家参与进来，推进可扩展的地理空间计算。···S. Wang等人/SoftwareX 5（2016）13+++++表1CyberGIS Toolkit中的软件组件。名称描述Scalable computing部署Scalability（cores）PABM Scalable agent-based modeling MPI MPI IO XSEDE 16，384并行PySAL可扩展PySAL功能多核XSEDE 32PGAP并行遗传算法库MPI XSEDE Blue Waters262，144 pRasterBlaster Map reprojection MPI MPI IO XSEDE 1024SPREG空间回归高吞吐量幻影云按需TauDEM水文信息分析MPIMPI IO XSEDE 1024视域能见度分析GPU ROGER单GPU WRF多尺度天气建模MPI XSEDE 4096注 ： XSEDE （ 极 限 科 学 和 工 程 发 现 环 境 ， http://xsede.org ） ， Blue Waters （ http://bluewaters.ncsa.illinois.edu ） ， ROGER（https://wiki.ncsa.illinois.edu/display/ROGER）是由美国国家科学基金会部分支持的CI计划和设施。Phantom Cloud是一个按需和可扩展的云资源，托管在阿贡国家实验室。表1列出了一套有代表性的软件组件，这些组件已集成到当前版本中或在网关中开放访问，并计划在CyberGIS工具包中发布。这些组成部分是以各种与网络地理信息系统有关的社区项目中开发的研究代码为基础的。每个组件都遵循基于社区需求和代码准备程度（如代码质量和可扩展性）以及相关工作是否已发布的CyberGIS Toolkit集成过程。CyberGIS Toolkit的所有组件都是开源的。CyberGIS Toolkit具有一个持续的集成过程，通过严格的开源软件工程来简化已识别的地理空间代码的集成。如果代码需要被细化以用于来自开源社区的评估，则代码开发者被提供有针对该特定代码的软件库支持而开发人员采用 适 当 的 桌 面 级 软 件 测 试 工 具 （ 例 如 ， Python Note-book/iPython）进行组件级测试。当代码准备好进行集成时，应用了两个级别的测试：可移植性和可伸缩性。通过用 于 软 件 构 建 和 测 试 的 CI 资 源 （ 例 如https://www.batlab.org/），使用操作系统、体系结构和软件库版本的不同组合进行可移植性测试。可扩展性测试需要高性能计算专业知识和计算性能分析，以识别计算、内存、输入/输出（IO）和网络上的潜在性能瓶颈。此测试对于增强代码对高性能计算资源和问题大小的可伸缩性至关重要通常，这种测试和计算强度评估会导致改进的可扩展算法和新的计算技术[18，19]。由于CyberGIS工具包组件的可扩展性通过该过程得到了提高，因此用户的主要好处是他们能够通过解析大数据来解决地理空间问题，而这是使用传统GIS方法无法实现的。这是因为对于Toolkit中的大多数软件组件，当数据量很大时，计算是一个主要瓶颈。除了软件组件（表1），CyberGIS工具包还共同管理软件依赖关系。当前的组件依赖于以下三种类型的开源软件库/API：语言和系统：Python模块（例如，Numpy和Scipy）、Lustre文件系统工具（用于MPI IO）、MPI、OpenMP、CUDA和SPRNG（并行随机数生成器）;地理空间软件：GEOS、Proj 4、GDAL、PySAL、Shapely、Geoserver和PostGIS;以及• 性能分析：PAPI、IPM和Darshan。CyberGIS工具包可以下载并部署在配置有并行计算能力的计算资源上。Toolkit部署包括最终用户可以直接使用的编程库和应用程序4. GISolve中间件-开放式集成开放式集成策略旨在提供对尖端CI资源的可互操作访问，并建立空间智能编程功能，以帮助应用程序开发人员直接从访问高级CI功能中受益为了实现这一目标，地理空间软件专家，谁是受过训练的使用地理空间工具和服务编程，但可能没有很好的装备，直接与先进的CI和地理空间大数据，需要能够弥合技术鸿沟，因此，开放集成战略的重点是这一差距。具体来说，开放式集成策略管理CI访问的复杂性，同时为它们提供空间感知API。GISolve中间件实现了这一角色，使得高级计算和信息基础设施与地理信息系统能力的开放式集成能够经由一套开放式服务API（可在http：//sandbox获得）用于计算密集型 和 协 作 式 地 理 空 间 问 题 解 决 。 雪 茄 。 伊 利 诺edu/home/doc/gosapi/GISolveOpenServiceAPI。html）。特别是，GISolve开放式服务API定义了一组REST Web服务接口，用于身份验证、应用程序集成和基于CI的地理空间计算;在应用程序的集成以及计算和数据需求的管理方面发挥着重要作用;并且是CyberGIS网关提供的开放式访问的关键推动者。此外，GISolve中间件具有空间感知能力，并对空间分析和建模的计算强度进行建模，以基于CI表示计算需求[4]。支持开放式集成的关键GISolve Web服务接口包括：（1）应用程序集成API提供了··4S. Wang等人/SoftwareX 5（2016）1一种将应用软件集成到cyberGIS软件环境中的机制，并允许应用软件开发者和贡献者定义定制的用户/服务接口，将其应用程序部署在CI资源上，并将这些服务发布到cyberGIS软件环境中;（2）安全API提供了一个基于令牌的身份验证和授权框架，用于集成服务、Web应用程序（3）计算API管理计算、数据和可视化资源的复杂性，以提供按需和灵活的机制来访问支持网络GIS分析所需的CI资源。5. 影响开放式网络GIS软件方法的三种形式为推进网络GIS和相关领域科学、高性能空间分析和建模算法开发以及可扩展的计算方法提供了全面的开放式软件解决方案。例如，CyberGIS Gateway已在全球范围内用于各种尖端研究和教育目的（图1）。CyberGIS Gateway也可以被公众广泛访问，通过可定制和友好的用户界面来了解高级CI支持的科学问题解决方案全面的网络GIS软件方法帮助提高了美国地质勘探局国家地图计划的软件能力，这也具有重大和广泛的社会影响。作为一个软件贡献者，USGS发布了一个可扩展的地图重投影软件作为一个开源软件后，基于CI的pRasterBlaster集成显着提高了该软件在数千个处理器上的可扩展性。另一方面，作为网络地理信息系统社区的用户，他们发现并正在使用TauDEM，另一个工具包组件，以加快国家水文数据集（NHD）的研究。这种平衡和整体的开放软件方法有可能适用于面临地理空间大数据挑战的其他跨学科和多学科社区。由于大多数Toolkit组件已经在先进的CI资源上通过了软件工程和可扩展性测试，Toolkit组件本身以及在CI上开发可扩展软件的经验具有直接采用或适应于工业使用的潜力。6. 结论在过去的几年里，cyberGIS发展迅速以有机和分布式的方式集成到一个复杂的在线界面、软件工具和服务的生态系统中，通过采用先进的CI功能，实现了许多空间分析、建模和仿真应用。这种增长提出并明确了传统开源软件模型无法完全满足的独特需求。在本文中，我们已经制定了我们的开放软件的方法，创新和维持一个开放的网络GIS软件生态系统。具体而言，为了满足Fig. 1. CyberGIS网关用户在全球的空间分布。由具有不同水平的计算专业知识和技术技能的各种地理空间社区提出，我们建立了一种开放访问、开源和开放集成的软件方法，其中有三种不同但相互关联的模式。在NSFCyberGIS 软件项目中，这三种模式分别代表为（1）CyberGIS网关，侧重于没有复杂技术知识的广泛社区;（2）CyberGIS工具包，侧重于具有GIS和CI深厚技术知识的CyberGIS专家;(3) GISolve Middleware 是GISolve 的 中间 件 ，它 在 Gate-way和Toolkit之间架起了一座桥梁，为GIS开发人员提供了友好的服务接口，以支持基于CI的应用程序集成和执行。它们共同构成了网络地理信息系统社区的尖端地理空间大数据和计算平台。从CI软件的角度来看，网关模式 类似于其他科学领域中描述的成功软件平台方法，例如纳米技术中的NanoHub（ http://nanoHUB.org ， Madhavan 等 人 [20] ） 和 广 义HubZero 方 法 （ http://hubzero.org ， McLennan 和 Kennell[21]）。与这些类似方法的一个关键区别是，网络GIS软件侧重于提供地理空间功能，并利用大数据和计算中的地理空间特征。我们相信，网络GIS软件生态系统所采用的这种扩展的开放方法代表了对开源的强大增强，这无疑使网络GIS社区受益，并可能在其他科学社区中得到采用致谢本文和相关材料部分基于美国国家科学基金会（NSF）资助的工作，资助号为：0846655、1047916、1354329和1443080。这项工作使用了NSF极限科学和工程发现环境（XSEDE）。NSF支持XSEDE，授权号为1053575。本材料中表达的任何意见、发现、结论或建议均为作者的观点，不一定反映NSF的观点S. Wang等人/SoftwareX 5（2016）15引用[1] Wang S，Armstrong MP.网格计算环境中空间插值区域分解的四叉树方法。并行计算2003;29（10）：1481[2] WrightDJ，Wang S. 空间网络基础设施的出现 ProcNatl Acad Sci2011;108（14）：5488-91.[3] 王S，胡H，林T，刘Y，Padmanabhan A，Soltani K. CyberGIS用于数据密集型知识发现。 ACM SIGSPATIAL Newslett 2014;6（2）：26-33.[4] 王 S， 阿姆斯特朗 MP. 一 理论 方法 到 的 使用c地理分析中的网络基础设施。Int J Geogr Inf Sci 2009; 23（2）：169-93.[5] WangS. 用于综合网络基础设施的网络地理信息系统框架，GIS和空间分析。Ann Asphalt Amer Geograph 2010;100（3）：535-57.[6] WangS，Wilkins-Diehr NR，Nyerges TL. CyberGIS-走向协同网络基础设施和GIScience的高级Navisphere：研讨会摘要。J SpatInform Sci2012;4：125[7] Wang S. CyberGIS：集成和可扩展的地理空间软件生态系统的蓝图。Int J Geogr Inf Sci2013;27（11）：2119-21.[8] 刘永永，Padmanabhan A，Wang S. 网络地理信息系统网关，使数据丰 富 的 地 理 空 间 研 究 和 教 育 。 一 致 计 算 ：PractExper 2015;27（2）：395-407。[9] 王 S， 阿姆斯特朗 国会议员， Ni J， 刘 Y. GISolve： 一种基于网格用于计算密集型地理信息分析的问题解决环境。在：第14届高性能分布式计算国际研讨会（HPDC-14）的会议记录-分布式环境中大型应用程序的挑战（CLADE）研讨会。 IEEEPress; 2005. p. 三比十二[10] 王S，安瑟林L，Bhaduri B，Crosby C，Goodchild MF，刘Y，Nyerges TL. CyberGIS软件：综合审查和集成路线图。Int J Geogr InfSci2013;27（11）：2122[11] 王S，朱晓刚.将网络基础设施和地理信息系统相结合，以增强生态和环境研究的能力。生物科学2008;58（2）：94-5.[12] 唐伟，王S，Bennett DA，刘Y. 网络基础设施环境中基于代理的建模：面向服务的计算方法。 Int J Geogr Inf Sci2011;25（9）：1323-46.[13] AnselinL，Rey SJ. CyberGIScience时代的空间计量经济学 IntJ GeogrInf Sci2012;26（12）：2211-26.[14] [10]张志，刘永永，张文，张文. FluMapper：一个cyberGIS应用程序，用于对大量基于位置的社交媒体进行交互式分析。一致计算：PractExper 2014; 26（13）：2253[15] 施X，王S. 健康GIS的计算和数据科学Ann.GIS2015;21（2）：111-8.[16] 劳伦斯KA，威尔金斯-迪尔N，Wernert JA，皮尔斯M，Zentner M，马鲁谁在乎科学之门对社区使用和需求的大规模调查。第九届网关计算环境研讨会论文集。(GCE’14), Piscataway (NJ, USA): IEEEPress; 第1-4页。http://dx.doi.org/10.1109/GCE.2014.11网站。[17] 王S，刘毅. TeraGrid GIScience Gateway：桥接网络基础设施和GIScience。Int J Geogr Inf Sci2009;23（5）：631-56.[18] Finn MP，Liu Y，Mattli MD，Guan Q，Yamamoto KH，Shook E，BehzadB. pRasterBlaster：使用极端科学和工程发现环境的高性能小比例尺光 栅 地 图 投 影 转 换 。 In ： The XXII International Society forPhotogrammetry Remote Sensing Congress，Melbourne，Australia，August 25[19] 杨文，刘永玉，王松，王文，王文. 加速TauDEM作为XSEDE上的可扩展水文地形分析服务。2014年极端科学与工程发现环境年会论文集。（XSEDE'14），Atlanta（GA）：ACM Press; 2014. 7月13日至18日，p。5：1-5：2。[20] Madhavan K，Zentner L，Farnsworth V，Shivarajapura S，ZentnerM，放大图片作者：Denny N.nanoHUB.org：基于云的纳米级建模、仿真 和 教 育 服 务 Nanotechnol Rev 2013;2 （ 1 ） ： 107-17 。http://dx.doi.org/10.1515/ntrev-2012-0043网站。[21] McLennan M，Kennell R. HUBzero：计算科学与工程领域的传播与合作平台。Comput Sci Eng 2010;12（2）：48-52.
我的内容管理
展开
