AutoCNet：行星数据稀疏多图像对应识别的Python库及其在行星科学中的应用

SoftwareX 7（2018）37原始软件出版物AutoCNet：用于行星数据稀疏多图像对应识别的Python库放大图片作者：Jason Laura*，Kelvin Rodriguez，Adam C.埃文？邓恩？帕奎特美国地质调查局，天体地质科学中心，2255 N。Gemini Drive，亚利桑那州，86001，美国ar t i cl e i nf o文章历史记录：2017年10月11日收到2018年2月2日收到修订版，2018年关键词：计算机视觉行星科学摄影测量图像拼接a b st ra ct在这项工作中，我们描述了AutoCNet库，用Python编写的，支持应用计算机视觉技术的n-图像对应识别遥感行星图像和随后的光束法平差。该库旨在支持探索性数据分析、算法和处理管道开发以及高性能计算（HPC）环境中的大规模应用，以处理大型数据集并生成基础数据产品。我们还提出了一个简短的案例研究，说明了阿波罗15公制相机的高水平使用。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v0.2.0用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-17-00073法律代码许可证无许可证（公共领域）使用git的代码版本控制系统使用Python、CUDA的编译要求，操作环境依赖性Linux，OSX Python科学计算栈如果可用，链接到开发人员文档/手册例如：https://usgs-astrogeology.github.io/autocnet/问题支持电子邮件jlaura@usgs.gov1. 动机和意义行星遥感图像的精确空间定位是行星科学研究、着陆点选择和数字地形模型（DTM）生成等应用的重要前提为了严格确定图像的位置，需要精确的传感器位置和姿态[1]。传统上，识别相同的特征或对应关系（例如，火山口边缘、巨石）由于观察几何结构[2]、图像均匀性、传感器异质性以及缺乏鲁棒的、广泛适用的计算机视觉（CV）算法的问题，在很大程度上是手动的由于数据量、传感器空间和光谱的指数增长，需要光束法平差[3]的自动对应识别方法通讯作者。电子邮件地址：jlaura@usgs.gov（J. Laura）。https://doi.org/10.1016/j.softx.2018.02.001科学研究和跨领域研究[4]。手动对应识别不能扩展到问题域。我们知道其他的努力，以提供自动的n-图像对应识别行星图像或通用的解决方案，适用于行星图像。其中包括美国地质调查局科学中心的成像仪和光谱仪集成软件（ISIS3）[ 5 ]findfeatures应用程序，NASAAmesStereoPipeline[6]用于密集3D模型重建的应用程序，自动配准和正射校正（ACRO）Mars工具[7]以及标准现成的图像处理软件包，如ESRIArcGIS和AdobePhotoshop。 AutoCNet库在六个方面与这些应用程序不同。首先，AutoCNet本身支持32位图像，而无需重新缩放到8位，因为我们不依赖OpenCV [8]进行特征提取。其次，AutoC-Net专注于密集特征提取和稀疏特征匹配，以支持光束法平差而不是密集3D重建。第三，AutoCNet支持使用平铺方案进行特征提取2352-7110/Elsevier B. V.这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx*38J. Laura等人/SoftwareX 7（2018）37用户可定义的下采样和先验匹配信息（如下所述），以支持任意大小的行星数据集第四，AutoCnet被设计为具有高度可扩展性的功能编程库，而不是一组高级应用程序或处理管道。第五，虽然AutoCNet已经实现了ACRO Mars项目的耦合分解[9]和环匹配[7]方法，但我们专注于创建可扩展和可分布的图形表示，以支持处理 大 量 数 据 。 最 后 ， 其 他 软 件 包 （ 如 ArcGIS Pro 或 AdobePhotohop）支持创建马赛克数据集，这些数据集应用计算机视觉（CV）技术将图像变形（而不是应用严格的变换）为美观的马赛克。所得到的产品不受摄影测量控制，导致未知的误差，这可能使这些产品无法用于某些科学应用。我们开发了AutoCNet库，其目标是（1）为行星图像的CV和摄影测量技术的开发和应用提供计算研究环境，以及（2）为跨异构传感器的批量数据处理创建管道这些目标的计算环境不同。为了开发新的算法或开始使用新的数据集，Xueyter笔记本[10]交互式计算环境非常适合交互式计算和可视化。对于批量数据处理，AutoCNet数据结构和函数方法应用程序非常适合高性能计算（HPC）环境。AutoCNet库目前用于处理火星奥德赛热发射成像系统（THEMIS）[11]收集的数据，以支持子像素精确的成对图像配准，用于自动变化检测[12]，使用与第3节中描述的相同的处理工作流程。支持对应识别和随后的光束法平差的自动化方法是支持基础数据产品开发的关键计算工具[13]，这些产品在许多行星科学应用中发挥基础作用2. 软件描述AutoCNet库被设计为支持使用CV方法对遥感行星数据进行n图像对应识别AutoCNet使用Python和CUDA编写，在本质上设计为一个功能库，具有供研究科学家使用的高级API和用于演示将高级API链接到处理管道的参考实现。2.1. 软件构架AutoCNet项目被模块化为三个组件，重点是（1）重叠图像和相关通信的一般簿记，（2）功能分析算法，以及（3）通用实用程序和可视化功能。2.1.1. autocnet.graph和autocnet.controlautocnet库的核心是将图像表示为节点并将潜在的重叠表示为边的dataGraph我们使用一个无向NetworkX [14]图作为数据图的基础，从而获得NetworkX中包含的所有图Node和Edge对象是定制开发的，用于扩展NetworkX功能。每个节点代表一个遥感图像与相关的空间信息，如图像足迹和地理变换，以及方便的功能，以支持兴趣点提取。每个边表示两个图像之间的重叠，并存储成对的对应信息。一个关键的设计决策是在整个匹配和异常值检测过程中保持所有对应关系因此，AutoCNet使用Pandas [15]DataFrame用于存储对应信息和类似索引的布尔型DataFrame的掩码。虽然数据图存储成对图像重叠信息，但控制模块支持将成对信息聚合成邻域信息。在大量图像中识别的对应关系的识别和存储对于摄影测量光束法平差过程是至关重要的因此，我们利用存储在Control对象中的Pandas DataFrame来跟踪单个成对对应关系或度量，并将其聚合为点对象。2.1.2. 算法相机、匹配器和转换模块包含了大量的算法功能。这些模块被设计为包含映射到CandidateGraph、Node或Edge对象的通用函数。这是一个有意的功能性设计决策，以支持可伸缩性和可扩展性。相机模块包含标准的理想化相机表示和多图像三角测量功能，其通常用于多视图几何应用中以估计图像关系[16]。匹配器模块包含CPU [8，17]和GPU（CUDA）[18]实现，用于特征提取和匹配。最后，变换模块以单应性、基本和三焦点张量矩阵的形式封装了成对和多图像关系计算的算法[8，16]。2.1.3. 支撑模块最后，该库提供了utils、io、vis和cg模块，这些模块分别包含实用程序函数、专用序列化例程和数据输入/输出（IO）、可视化便利函数对于序列化，我们使用JSON元数据和内置的NumPy [19]数组输入/输出功能，外部管理的Planetary IO模块以所有地理空间数据抽象库（GDAL）[20]支持的格式提供输入数据读取（例如，ISIS3 Cube，GeoTiff，JPEG 2000）。MatPlotLib [21]库为可视化提供了基础。最后，cg模块包含通用计算几何算法，例如多边形中的点检查，用于确定所识别的对应关系是否存在于两个图像的重叠内。2.2. 扩展性如上所述，AutoCNet利用功能设计，通过该功能设计，具有通用接口的算法可以应用于通用图形结构。在实践中，这意味着自定义算法可以在管道处理中开发、测试和使用，只要它们符合API。例如，特征提取功能需要观察数据的输入数组以及任何适当的参数和关键字参数。底层提取算法可以采用任何形式。有关此示例，请参阅（http://bit.ly/2ENTIfw），其中修补了自定义平铺提取器支持大型阿波罗15号全景图像。对于匹配、离群值检测算法和关键点掩蔽算法也采用相同的方法。3. 软件功能为了演示AutoCNet库的功能，我们处理了八张阿波罗15号测绘（公制）相机在月球哈德利-亚平宁地区的在轨道16、22和27期间收集了航天器安装的公制框架相机图像，图像和可变照明条件之间约有80%的重叠[23]。概括地说，处理阿波罗15号数据集的这个子集需要八个步骤：（1）识别J. Laura等人/ SoftwareX 7（2018）37Fig. 1. 一个潜在的流程图，从一组输入数据，通过模块库中，在控制网络的后续光束法平差。图二. 不进行离群值检测的初始对应性识别示例（左）和离群值检测后的相同图像对（右）。轨道16（左）和27（右）的图像。这些结果在所有28个图像对之间重复。重叠图像，（2）关键点提取，（4）匹配，（5）异常值检测，（6）空间抑制，（7）子像素细化，以及（8）使用ISIS3拼图应用程序的光束法平差[1]。这个流程在图1中表示，外部框标识库，内部框标识应用于图形对象的通用算法或方法。首先，使用嵌入式地理空间足迹（使用ISIS3软件库中的标准摄影测量技术从摄影测量相机模型和相关的月球形状模型导出）和多边形重叠检查来或者，在初始传感器指向和定位信息包含太多误差的情况下，可以将标准邻接结构定义为散列表。接下来，使用许多支持的特征提取器中的一个提取关键点，包括全套OpenCV [8]提取器（需要将数据重新存储到8位，并且由于预处理缩放可能会影响最终解决方案质量），VLFeat [17]尺度不变特征变换（SIFT）提取器或上述CUDA SIFT实现[18]。第三，然后使用基于CPU的近似K-Nearest Neighbor（KNN）算法或基于GPU的蛮力匹配器来匹配所提取的特征与地面和近距离计算机视觉图像对应识别一样，初始轮匹配包括大量的错误。因此，然后以比率检查[24]、可选的对称性检查、使用RANSAC的初始基本矩阵的估计以及最后使用最大似然估计（MLE）方法[16]的基本矩阵的细化的形式应用离群值检测。在行星图像的均匀性条件下，我们发现比率检查必须动态参数化，AutoCNet库支持传递任意函数到异常检测方法。在比率的情况下，例如，可以传递四分位数分类器，并忽略与上四分位数中的比率的那些对应关系图2示出了异常值检测之前和之后的匹配阶段。AutoCNetvis模块用于在一个AutoCNet Notebook中生成这些可视化[10]。接下来，具有良好空间覆盖的稀疏分布的对应比紧密聚集的对应更优选，因为分布有助于在光束法平差期间将图像“固定”在一起。因此，通过磁盘覆盖（SDC）[25]的空间感知抑制接下来，应用传统的基于模板的[26]或基于旋转、缩放和变换不变模板的子像素匹配器（Ciratefi）[27]。精确光束法平差需要亚像元精度最后，将得到的对应作为ISIS3兼容控制网写入磁盘，并应用传统的严格摄影测量光束法平差[1]。4. 影响和结论目前，行星科学界没有软件库来支持严格控制的数据产品的自动生成。AutoCNet的目的是履行两个角色，作为一个开源软件库，用于识别遥感行星图像之间的n首先，没有单一的CV算法适用于所有可能的观察和照明条件、传感器类型或图像分辨率。AutoCNet填补了一个空白，能够利用一个ex-technical库的功能来测试算法应用程序的序列或原型的新算法的开发，通过公开一个高层次的API和集成到现有的科学计算Python环境。我们知道没有其他开源解决方案专注于行星科学数据集，提供这种类型的计算实验环境。其次，底层系统架构支持AutoCNet的使用40J。Laura等人/SoftwareX 7（2018）37用于分布式计算环境中的大容量（图像数量或图像大小）处理结合起来，这两个角色对行星研究界有很大的影响，允许开发针对特定传感器的方法（这是经常需要的），并大规模应用这些方法来开发支持广泛科学活动的基础数据产品我们已经介绍了AutoCNet库，它已被用于开发一个八图像镶嵌，如阿波罗15号的情况下所描述的第3节，以及THEMIS数据，如第1节所示。该库继续进行开发，最近增加了环匹配技术，如[7]所述。我们目前正在研究一个摄影测量控制的火星勘测轨道飞行器上下文相机（CTX）[28]四边形，其中包含数千张图像和描述处理技术的相关论文。确认这项工作得到了NASA-USGS 机构间协议#NNH16AC13I的支持。任何贸易、公司或产品名称的使用仅用于描述目的，并不意味着美国政府认可。政府的引用[1] Edmundson KL，Cook DA，Thomas OH，Archinal BA，Kirk RL.拼图：用于地外摄影测量的isis3光束法平差。ISPRS Ann Photogramm Rem Sens SpatInf Sci 2012;203-8. http://dx.doi.org/10.5194/isprsannals-I-4-203-2012.[2] 放大图片作者：John L.美国地质勘探局最近的行星地形测绘：月球、火星、金星和更远的地方。ISPRSAnn PhotogrammRem Sens Spatial Inf Sci2000;33：476-90.[3] Agarwal S，Snavely N，Seitz SM，Szeliski R.大规模的捆绑式调整。在：第11届欧洲计算机视觉会议论文集：部分II，ECCVBerlin，Heidelberg：Springer-Verlag.p. 29比42 网址http：//dl.acm.org/citation.cfm? 1888028.1888032。[4] 杨C，拉斯金R，古德柴尔德M，Gahegan M.地理空间网络基础设施：过去，现在和未来。Comput Environ Urban Syst2010;34（4）：264-77. 注释。[5] Becker KJ ， Robinson MS ， Becker TL ， Weller LA ， Edmundson KL ，Neumann GA，Perry ME，Solomon SC. First global digital elevation modelof mercury.In ： Lunar and planetary science conference ， vol. 47; 2016 ， p.2959年。[6] Moratto ZM，Broxton MJ，Beyer RA，Lundy M，Husmann K.艾姆斯立体管道，美国宇航局In：Lunar and planetary science conference，vol. 41; 2010，p.2364年[7] Sidiropoulos P，Muller JP.高分辨率行星图像到正射校正基线的多仪器核心校正的系统解决方案。IEEE Trans Geosci Remote Sens 2018;56（1）：78-92.http：//dx.doi.org/10.1109/TGRS。2017.2734693。[8] 布拉德斯基湾OpenCV库，博士。Dobb[9] Sidiropoulos P ， Muller JP.通 过 耦 合解 压 缩 实 现 大 图 像匹 配 。 IEEE TransImage Process 2015;24 （ 7 ） ： 2124-39. http://dx.doi.org/10 的 网 站 。1109/TIP.2015.2409978。[10] Pérez F，Granger BE. IPython：一个交互式科学计算系统。计算机科学与工程2007;9（3）：21 http://dx.doi.org/10.1109/MCSE.2007。五十三网址http://ipython.org。[11] Christensen PR，Jakosky BM，Kieffer HH，Malin MC，McSween，Jr.HY，Nealson K，Mehall GL，Silverman SH，Ferry S，Caplinger M，Ravine M.火星奥德赛任务的热在：罗素CT，编辑。2001年火星奥德赛。荷兰，多德雷赫特：Springer; 2001年。p. 85比130 网址：//dx.doi.org/10.1007/978-0-306-48600-5网站。[12] 爱德华兹角自动热发射成像系统变化检测[在准备中]。[13] Laura JR ， Hare TM ， Gaddis LR ， Fergason RL ， Skinner JA Jr. ，HagianneJJ，Archi-nal BA.迈向行星空间数据基础设施，摄影测量和遥感学会国际地理杂志，Inf. 2017：6（6）. http://dx.doi.org/10.3390/ijgi6060181网站。网址http://www.mdpi。com/2220-9964/6/6/181。[14] Hagberg AA，Schult DA，Swart PJ.使用networkx探索网络结构、动态和功能。In：Varoquaux G，Vaught T，Millman J，editors. Proceedings of the7th python in science conference，Pasadena，CA USA; 2008，p.11比5[15] 麦金尼W Python中统计计算的数据结构。In：van der Walt S，Millman J，editors.第九届Python in Science会议论文集;2010年，p.51比6[16] 哈特利·R，齐瑟曼·A.计算机视觉中的多视图几何第2版New York，NY，USA：Cambridge University Press;2003.[17] Vedaldi A，Fulkerson B. VLFeat：一个开放的便携式计算机视觉算法库; 2008年。http://www.vlfeat.org/网站。[18] Björkman M，Bergström N，Kragic D.利用多标记磁共振推论侦测、分割与追踪未知目标ComputVisImageUnderstand2014;118：111http://dx.doi.org/10.1016/j.cviu.2013.10.007 网 站 。 网 址 ： http ：www.sciencedirect.com/science/article/pii/S107731421300194X。[19] van der Walt S，Colbert SC，Varoquaux G. numpy数组：一种用于高效数值计 算 的 结 构 。 ComputSciEng2011;13 （ 2 ） ： 22-30.得 双dx.doi.org/10.1109/MCSE.2011.37值.URLarXiv：http://aip.scitation.org/doi/pdf/101109/MCSE201137。[20] GDAL开发团队，GDAL-地理空间数据抽象库，版本x.x.x，开源地理空间基金会（201 x）。网址http://www.gdal.org。[21] 亨 特 JD 。 Matplotlib ： 2D 图 形 环 境 。 计 算 机 科 学 与 工 程 2007;9 （ 3 ） ：90http://dx.doi.org/10.1109/MCSE.2007.55网站。URLarXiv：http://aip.scitation。org/doi/pdf/101109/MCSE200755。[22] Lawrence SJ，Robinson MS，Broxton M，Stopar JD，Close W，GrunsfeldJ，Ingram R，Jefferson L，Locke S，Mitchell R，Scarsella T，White M，Hager MA，Watters TR，Bowman-Cisneros E，Danton J，Garvin J.阿波罗数字 图 像 存 档 ： 新 的 研 究 和 数 据 产 品 。 在 ： NLSI 月 球 科 学 会 议 。 LPIContributions，第1415卷; 2008年。[23] Broxton MJ，Moratto ZM，Nefian A，Bunte M，Robinson MS. 根据阿波罗15号米制相机图像进行初步立体重建。In：Lunar and planetary scienceconference，vol. 40;2009，p. 2282号[24] 劳从尺度不变的关键点中提取独特的图像特征。Int J Comput Vis 2004;60（2）：91-110. http://dx.doi.org/10.1023/B:VISI.000002966 4.99615.94.[25] Gauglitz S，Foschini L，Turk M，Höllerer T.有效地选择用于视觉跟踪的空间分布的关键点。在：2011年第18届IEEE图像处理国际会议; 2011年，第1869-72页。http://dx.doi.org/10.1109/ICIP的网站。2011.6115832。[26] 格 伦 A 摄 影 测 量 中 影 像 匹 配 的 发 展 与 现 状 。 Photogramm Rec 2012;27（137）：36-57. http://dx.doi.org/10.1111/j.1477-9730.2011.00671.x。[27] de Araújo SA，Kim HY. Ciratefi：一个扩展到彩色图像的RST不变模板匹配。IntegrComput-AidedEng2011;18（1）：75-90.网址http://dl.acm.org/citation.cfm? 2019531.2019535。[28] Malin MC，Bell JF，Cantor BA，Caplinger MA，Calvin WM，Clancy RT，Edgett KS，Edwards L，Haberle RM，James PB，Lee SW，Ravine MA，Thomas PC，Wolff MJ.火星勘测轨道飞行器上的上下文相机调查，J Geo- physRes ： Planets 2007 ： 112 （ E5 ） 。 http://dx.doi.org/10.1029/2006JE002808 网站。