SoftwareX 11（2020）100401原始软件出版物OpenCLC：一个用于线性水文特征李婷a，b，劳伦斯V.Stanislawskic，Tyler Brockmeyerc，Shaowen Wanga，b，伊森·谢弗斯ca美国伊利诺伊州厄巴纳市伊利诺伊大学厄巴纳-香槟分校地理和地理信息科学系b美国伊利诺伊大学厄巴纳-香槟分校CyberGIS高级数字和空间研究中心c美国。地质调查局，地理空间信息科学卓越中心，美国密苏里州罗拉ar t i cl e i nf o文章历史记录：接收26十二月2018收到修订版2019年11月16日接受2020年保留字：CyberGIS线相似性评估水文学国家水文数据集a b st ra ct国家水文数据集（NHD）是美国的一个基础地理空间数据源，可以进行广泛和多样化的环境研究，并支持许多情况下的决策。然而，鉴于初始采集和水文变化可能不一致，NHD需要定期验证和更新。此外，使用NHD数据的系统或工具必须管理NHD（NHD HR）的高分辨率版本中发生的定期更新。这项研究有助于填补这一空白，建立一个开源的软件工具，名为OpenCLC，自动识别匹配和不匹配的两套水文流线之间的线功能。除了识别两个版本的NHD系之间的差异外，结果还可以应用于提高NHD HR内容的质量。OpenCLC在计算可扩展性方面明显优于最好的现成商业软件，它作为CyberGIS工具包的一部分广泛提供，以造福广大的环境和地理空间科学界。©2020作者由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本V0.8永久链接到代码/此代码版本使用的存储库https://github.com/ElsevierSoftwareX/SOFTX_2018_242法律代码许可证GNU通用公共许可证，版本3代码版本控制系统使用git软件代码语言使用C、python编译要求，操作环境依赖关系编译器：GNU/Intel;操作系统：Linux（RedHat，Debian，Ubuntu，CentOS，SUSE）;认证：GDAL如果可用，链接到开发人员文档/手册https://github.com/cybergis/cybergis-toolkit/CyberGIS帮助台（help@cybergis.org）1. 导言和背景国家水文数据集（NHD）是美国地表水特征的综合矢量数据集（[1]美国Geological Survey，2000），用于地貌、水文和流域研究（[2] Sheng et al. 2007; [3] Maceyka and Hansen，2016; [4]Schneider et al. 2017; [5] Vander-霍夫等人2017;[6] Wu and Lane，2017;[7] Liu et al.2018年）。两联系人：地理和地理信息科学系，伊利诺伊大学香槟分校，2046室，自然历史大楼，MC-150，1301 W。格林街，Urbana，IL 61801，USA.电子邮件地址：shaowen@illinois.edu（美国）Wang）。https://doi.org/10.1016/j.softx.2020.100401NHD数据集目前可用。中等分辨率的NHD是从1：100，000比例的源数据编制的，是美国不再维护地质调查局。高分辨率NHD（NHD HR）是从1：24，000（24K）或更细比例的源数据中编译的，并定期更新。NHD HR是美国最新和最详细的水文数据集（[8]美国地质调查局，2018）。为了提高NHD HR的准确性，正在进行多种努力。例如，排水线或其他水文特征通常来自最新的数字高程模型（DEM），激光雷达或其他数据（[9] Poppenga等人。2013; [10] Stanislawski，Buttenfield和Doumbouya，2015;[5] Vanderhoof等人。2017）。本文介绍了一个开源软件工具OpenCLC2352-7110/©2020作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx2T. Li，L.V.Stanislawski，T.布罗克迈耶等人/SoftwareX 11（2020）100401====Fig. 1. OpenCLC的工作流程其使识别表示相似特征的两组线之间的匹配和失配线的过程自动化。通过该过程确定的匹配和不匹配线提供了可以集中验证以改进NHD内容的位置。[10] Stanislawski、Buttenfield和Doumbouya（2015年）首次使用此处描述的过程来生成管线对应系数初步测试在30个水文单元代码8（HUC-8）子流域上进行，每个子流域包括700至21，000条地表水出油管。该过程的早期版本是使用通过Python定制的ArcGISGDR工具实现的，每个子流域需要10分钟到1小时的处理时间。因为在美国有2000多个HUC-8子流域，在一些国家，广泛实施是 不切实际的。新的OpenCLC 使用Python和C编程语言实现，以支持高性能计算（HPC）环境中的并行处理。OpenCLC是CyberGIS工具包的一部分，使广泛的环境和地理空间科学社区受益（[11] Wang，2010; [12] Wang et al.2016）。CyberGIS Toolkit是一套用于HPC中GIS处理的程序和应用程序OpenCLC的效率通过比较高程导出的排水管线与美国接壤的所有HUC-8子流域的NHD出油管来证明2. 工作流确定CLC是一个有序的过程：栅格化每个输入数据集的线密度;计算两个线密度栅格之间的差异;计算匹配像元的置信区间（具有与零无显著差异的差值的像元）;基于差值栅格和置信区间对研究区域进行重新分类;识别重新分类栅格中匹配或不匹配像元内的线要素部分;将任何给定区域的CLC计算为两个输入数据集中所有匹配线的长度之和除以两个数据集中所有线的长度之和（[10] Stanislawski，Buttenfield，and Doum-bouya，2015）（图11）。①的人。每个子流域可以使用空间网格进一步划分，并在每个较小的分区中计算CLC值。OpenCLC旨在利用HPC的强大功能进行CLC计算过程，并允许在全国范围内比较地表水流网络。它是用Python实现的，C语言编写，//gdal.org）上提供。OpenCLC采用shapefile格式（.shp）的两个线要素数据集作为输入，这两个数据集河流网络应来自同一次流域或流域）。用户指定两个附加参数，即搜索半径和像元大小，线密度光栅化。OpenCLC输出两个线密度栅格和它们的差异栅格、一个重新分类的栅格、一个每个输入线数据集之间匹配和不匹配特征的shapefile，以及一个具有CLC值的空间网格的shapefile。3. 执行3.1. 线密度光栅化计算输入线数据集的线密度栅格的一种简单方法是在每个像元中心创建一个圆形缓冲区，然后将此圆与输入线相交，以计算每个像元的线密度然而，在每个单元处的缓冲区和交叉分析可能是计算密集型的。shapefile中的每个线段都由一系列线段组成在OpenCLC中，每个单元的线密度计算被分解为计算单个线段的线长，以感兴趣的像素为中心的圆（缓冲区边界），为所有候选线段重新计算。图图2示出了一种使用简单的数学计算来计算单个线段和圆之间的相交长度的有效方法，而无需缓冲区或相交分析。将数据集中与单元格圆相交的所有线段的长度代替循环通过所有线段以计算每个单元处的交叉长度和密度，线密度光栅化过程计算输入线数据集内的每个线段附近的单元的线密度，并累积部分结果以获得最终的线密度光栅。可以跳过没有相邻行的空单元格。查询每条线段附近的像元比查询每条线段附近的线更容易运行cell.如图在图3中，线密度光栅化过程循环通过每个线段，识别线段的边界框的距离r内的单元，并将线段相交长度添加到每个单元的总和3.2. 识别匹配和不匹配的特征创建每个输入线数据集的线密度后，两个线密度栅格之间的差异栅格计算了根据差异栅格计算匹配像元的置信区间（差值与零无显著差异）。应用空间数据精度国家标准（[13]美国联邦地理数据委员会，1998年）的垂直精度测试程序，通过将整个差异栅格的均方根误差（RMSE）乘以1.96来估计匹配线要素的95%置信区间的上限。差异栅格被计算为线数据集1（LD 1）的线密度栅格减去线数据集2（LD 2）的线密度栅格。然后将差异栅格根据置信区间将其重新分类为四类：小于下限的值（clc_code 1，LD 1匹配，LD 2不匹配）;置信区间内的值（clc_code 2，LD 1和LD 2匹配）;大于上限的值（clc_code 3，LD 1不匹配，LD 2匹配）;以及空白区域，其中LD 1和LD 2的线密度接近0（clc_code 4，LD 1和LD 2不匹配）。（可选）如果两个数据集中的线重叠的水体面可用（如NHD双线溪流、湖泊、池塘和水库），则可以使用它们T. Li，L.V.Stanislawski，T.布罗克迈耶等人/SoftwareX 11（2020）1004013==图二、直 线 与 圆 相 交 的 长度（L）。被节目。程序将对水体多边形进行栅格化，并将其分类为匹配像素（clc_code 2），重新分类的光栅。这一步骤可以更好地匹配水体内的流线，因为它们受到这些多边形的银行内的位置变化。重新分类的差异栅格用于识别两个输入线数据集中的匹配和不匹配特征。线跟踪算法使用重新分类的差异光栅的相交光栅单元的clc_code值如图4、跟踪点从每条线的起点移动到终点，并且每当栅格单元的值改变时，线被分割。两个输入线数据集中的每个栅格要素都将根据重分类差异栅格中的相交像元值分为多个部分在具有附加clc_code属性字段的输出shapefile中，每个DXF零件都将成为一个新DXF要素。给定被定义为LD 1密度减去LD 2密度的线密度差，来自LD 1的clc_code值为3或4的全部或部分线要素是不匹配要素，而来自LD 1的clc_code值为1或2的要素是匹配要素;来自LD 2的clc_code值为3或4的全部或部分线要素是匹配要素。clc_code值为1或4的LD2是不匹配的要素，clc_code值为2或3的要素是匹配的要素。3.3. CLC计算在识别两个数据集中的匹配和不匹配行时，CLC度量计算如下（Stanislawski等人，2015）：CLCM1+M2M1+ M2+ O1+ O2M1是LD 1中匹配特征的长度之和， M2是LD 2中匹配特征的长度之和，O1是LD 1中从LD 2省略的特征的长度之和，以及O2是从LD 1中省略的LD 2中的特征的长度之和。CLC值估计匹配的行的比例，范围在0和1之间。CLC值为1表示两个数据集中的所有特征都匹配，0表示没有匹配的特征。CLC度量是针对整个研究区域计算的，其中比较了两个输入线数据集也可以为覆盖研究区域的网格（渔网）中的所有分区4T. Li，L.V.Stanislawski，T.布罗克迈耶等人/SoftwareX 11（2020）100401图三. （a）对于每个线段，在计算线密度时，只有落在半径为r的缓冲区内的附近单元中心才会受到影响;（b）半径为r的线缓冲区的边界框与扩展半径为r的线的边界框的结果相同。见图4。线跟踪算法的说明。不同的单元颜色表示重分类栅格中的不同类值。当单元格值更改时，跟踪点将沿着直线移动并分割直线其产生CLC值的空间分布为了生成CLC分布，标识分析查找所有具有clc_code属性的行中落在每个网格单元内的那部分。随后，针对落在每个网格单元内的线的每个子集确定CLC度量。CLC分布中相对较低的值表明可能需要集中进一步验证或改进工作的位置。4. 评价本节演示了在HPC环境中使用OpenCLC工具，以估计美国境内高程导出的排水管线和相关NHD出油管之间的相似性。4.1. 数据和计算因为NHD HR是在多为了提高分辨率（或尺度），数据通常必须细化到公共尺度，以便用于分析或显示目的。为了完成这项任务，使用加权流量累积模型（[14] Stanislawski，Falgout和Buttenfield，2015）从1/3弧秒DEM数据（标称10 m单元分辨率）中提取了美国大陆24 k处的自然排水模式参考排水网络。给定基于24K的排水模式，NHD HR可以被细化到24K，使用分层修剪过程的几个较小的尺度（[15] Stanislawski，2009;[16] Stauffer，Finelli和Stanislawski，2016）。高程导出的排水线是从美国接壤的2119个HUC-8子流域中提取的，每个子流域提供17至2800 km的排水线。OpenCLC在12节点Linux集群上进行了测试，每个节点有20个处理核心和128 GB RAM。作业执行和计算资源（如节点、处理器、内存和处理时间）通过Slurm P2PManager进行管理。该工作流程允许通过处理每个可用岩心上的一个子盆地，同时比较通过高速Infiniband网络上的并行共享Lustre文件系统提供对文件存储的快速访问。4.2. 结果OpenCLC处理一个单独的HUC-8子盆地与24米的细胞分辨率和半径的线密度计算需要不到两分钟，使用一个单一的处理核心。这是一个实质性的改进，在ArcGIS的过程中，需要10分钟到一个小时。同时处理多达240个子盆地，在大约两个小时内完成了美国该任务比较了超过1000万公里的流线，由超过3000万个矢量特征和超过1.6亿个顶点组成，这些值可以加倍以说明高程导出的排水线。通过OpenCLC确定的HUC-8 CLC值的空间分布如图所示。五、在2119个子盆地中，有35个处理失败，失败率为1.65%。总体而言，西南部的匹配较差，那里的许多特征都是短暂的特征。这是预期的结果，因为用于提取高程导出的水系线的模型参数中不包括短暂特征。这些结果确定了提取模型存在明显问题的特定子流域，以及应重点改进模型的地方。图图6示出了由OpenCLC识别的匹配和不匹配特征的空间分布以及网格化CLC值。网格化结果清楚地识别出具有相对较高比例的不匹配特征的部分，这些特征可能需要更详细的评估（图1）。6 c），矢量结果提供了一个更详细的评估（图。6b）。详细的分析表明，大部分不匹配的特征出现在子流域0303003的一级（源头）支流中（图11）。6a，b），这通常是所有测试子盆地的情况。T. Li，L.V.Stanislawski，T.布罗克迈耶等人/SoftwareX 11（2020）1004015图五. CLC值的分布，将1：24，000比例（24 K）高程导出的排水管线与美国接壤的HUC-8次盆地的24 K NHD出油管进行比较。CLC值估计匹配的线的比例; 1表示两个数据集中的所有特征匹配，0表示没有匹配的特征。CLC处理失败的35（粉红色阴影）的2119个子流域。见图6。 匹配和不匹配的分布（a）流线和（b）由OpenCLC确定的深河流域高程导出的排水线，北卡罗来纳州，在国家水文数据集（NHD）中被分配了8位水文单位代码（HUC8）03030003。网格CLC值（c）显示流域内每个约6.6公里乘6.6公里网格的CLC值5. 结论正如本分析所示，OpenCLC是识别高程导出排水管线和NHD出油管之间差异的有效工具，可以极大地帮助管理和更新NHD。通过基于HPC的实施，OpenCLC为非常大的区域或国家提供了对两套不同水文线之间相似性的快速评估。整个美国的分析需要大约两个小时的OpenCLC，而其他可用的工具将需要几个星期的时间来完成这个过程。这一性能改进开启了该工具的其他可能用途，例如改进或比较整个国家的排水线提取模型。OpenCLC用于自动比较两组线性要素，这些要素代表任何类型的类似现象如本文所述，OpenCLC的初始版本被配置为比较两组具有相似位置精度的地表水排水线在该版本中，预计线密度分辨率参数是从输入数据集的位置精度推导出的如通过以上分析，假定输入流线的源尺度为24 K，可以推断24-m单元分辨率对于线密度光栅化过程和随后的CLC计算是足够然而，为了比较两个线性特征数据集与实质上不同的精度，该程序将需要修改，以允许两个分辨率参数的输入，并处理两个线密度数据集与不同的分辨率。预计今后的软件版本将进行这种开发竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢本文和相关材料部分基于美国政府支持的地质调查局，授权号G14AC00244和国家科学基金会（NSF ），授权号1443080和1664119。作品使用了6T. Li，L.V.Stanislawski，T.布罗克迈耶等人/SoftwareX 11（2020）100401ROGER超级计算机，由NSF资助，资助号为1429699。本材料中表达的任何观点、发现、结论或建议均为作者的观点，不一定反映资助机构的观点。非常感谢伊利诺伊大学厄巴纳-香槟分校CyberGIS高级数字和空间研究中心的Anand Padmanabhan和Zewei Xu在数据处理和软件测试方面免责声明任何使用的贸易，公司或产品名称仅用于描述目的，并不意味着美国认可政府。引用[1]美国地质调查局。国家水文数据集：概念和内容（2000年）。美国地质调查局;2000年，https://nhd.usgs。gov/chapter1/chp1_data_users_guide.pdf，最后访问日期2018年3月1日。[2]Sheng J，Wilson JP，Chen N，Devinny JS，Sayre JM.大都市地区流域评估用国家水文数据集质量的评价。GISci Remote Sens 2007;44（3）：283-304.http://dx.doi.org/10的网站。1548-1603.44.3.283。[3]作者：A.利用激光雷达和高分辨率航空照片增强弗朗西斯马里恩国家森林的水文测绘在 南卡罗来纳州沿海地区。在：斯特林格克里斯蒂娜E，克劳斯肯W，拉蒂默詹姆斯S，编辑。河口源头：流域科学与管理的进展-第五届跨机构流域研究会议论文集。2015年3月2日至5日，南卡罗来纳州北查尔斯顿。E-Gen技术 SRS-211， Asheville， NC： 美国农 业部 森林 服务 ，南 方研 究站;2016，p. 302.[4] Schneider A，Jost A，Coulon C，Silvestre M，Théry S，Ducharne A.基于高分辨率地形并受岩性、气候、坡度和观测流域密度约束的全球尺度河网提取。GeophysResLett2017;44：2773-81.http://dx.doi.org/10.1002/2016GL071844.[5]范德胡夫MK，Distler HE，Lang M.整合雷达卫星2号、激光雷达和世界观3号图像，以最大限度地探测美国德尔马瓦半岛的森林淹没范围。远程传感器2017;9（105）。http://dx.doi.org/10.3390/rs9020105，2017.[6]Wu Q，Lane CR.利用激光雷达和航空影像描绘湿地集水区并模拟水文连通性。HydrolEarthSystSci2017;21（2017）：3579-95.http://dx.doi.org/10.5194/hess-21-3579-2017网站。[7]刘永永，梅德门博士，塔博顿DG，郑晓，王世。一个用于高分辨率大陆尺度洪 水 淹 没 制 图 的 cyberGIS 集 成 和 计 算 框 架 。 J Am Water ResourAssumption2018;54（4）：770-84.[8]美国地质调查局。水文学：NHDPlus高分辨率，国家水文学数据集，流域边界数据集。UnitedStatesGeologicalSurvey;2018，https://nhd.usgs.gov/index.html，last accessed 1 March 2018.[9]Poppenga SK，Gesch DB，Worstell BB.水文变化检测：从LiDAR DEMS导出的表面通道用于更新映射的水文的有用性。J Am Water Resour Assumption2013;49（2）：371-89. 网址：//dx.doi.org/10.1111/jawr.12027网站。[10]Stanislawski LV，Buttenfield BP，Doumbouya A.一种自动比较独立导出的流 网 络 的 快 速 方 法 。 Car- togr Geogr Inf Sci 2015;42 （ 5 ） ： 435-48 。http://dx.doi.org/10.1080/15230406的网站。2015.1060869。[11]Wang S.一个CyberGIS框架，用于综合网络基础设施、GIS和空间分析。AnnAsphalt Amer Geogr 2010;100（3）：535[12]王 S ， 刘 Y， Padmanabhan A. 大 数 据 时 代 地 理 空 间 研 究 和 教 育 的 开 放 式SoftwareX 2016;5：1网址：//dx.doi.org/10.1016/j.softx.2015.10.003网站。[13] 美国联邦地理数据委员会。地理空间定位精度标准第3部分：空间数据精度国 家 标 准 。 FGDC-STD-007.3-1998 ， Reston ， VA ： Federal GeographicData Committee; 1998，p.25.[14]Stanislawski LV，Falgout J，Buttenfield BP.通过高性能计算自动提取美国接壤地区的自然排水密度模式。CartogrJ 2015;52（2）：185-92。http://dx.doi的网站。org/10.1080/00087041.2015.1119466。[15]斯坦尼斯拉夫斯基按上游流域进行特征修剪，以支持美国国家水文数据集的自动综合。Comput Environ Urban Syst2009;33（5）：325-33.[16]Stauffer A，Finelli E，Stanislawski LV. 从泛化到VisibilityFilter属性：利用数据库属性支持高效的泛化决策。萨克拉门托，加利福尼亚州：美国水资源协会;2016年。
我的内容管理
展开
