iamxt：图像处理和分析的NumPy最大树工具箱

SoftwareX 6（2017）81原始软件出版物iamxt：用于图像处理和分析的Roberto Souzaa，Ruta，Letícia Rittnera，Rubens Machadob，Roberto Lotufoaa巴西坎皮纳斯，坎皮纳斯大学电气和计算机工程学院b巴西坎皮纳斯信息技术中心雷纳托·阿彻阿提奇莱因福奥文章历史记录：2015 年 8 月 14 日 收 到 ，2016年9月1日收到修订2017年3月14日接受保留字：Max-tree组件树数学形态学a b st ra ctiamxt是一个基于数组的最大树工具箱，使用NumPy库在Python中实现，用于数组处理。它拥有最先进的构建和处理最大树的方法，以及大量的可视化工具，可以查看树及其节点的内容工具箱中使用的基于数组的该工具箱的目标受众包括希望在该领域开展研究的数学形态学学生和研究人员，以及需要简单易用且易于集成到应用程序中的工具箱的图像处理研究人员。©2017作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。代码元数据1. 动机和意义最大树[1]是一种通过其连接组件的层次关系来表示灰度图像的数据结构。最大树的一个简单说明如图1所示。使用最大树过滤图像包括remov-它的一些节点。它已被用于属性过滤和交互式可视化[2]，形态学过滤[3]，最大稳定极值区域（MSER）的特征提取[4]，训练样本的交互式收集[5]，图像分割[6，7]等应用。尽管它的大的适用性，最大树仍然是鲜为人知的数学形态学社区之外。这项工作的动机是向科学界提供一个最大树工具箱，该工具箱实现了最先进的算法，一个大型的连接过滤器集合[8]，并处理了许多*通讯作者。电子邮件地址：roberto.medeiros. gmail.com（R. Souza）。http://dx.doi.org/10.1016/j.softx.2017.03.001可视化工具来显示树节点及其表示的连接组件。该工具箱用于开发应用程序和教学目的。有几个公共的最大树库。MATLAB和Python的SDC形态工具箱[9]具有有限数量的最大树处理函数，并且源代码不可用。PINK图像处理库具有最大树算法和Python绑定。C++中的Milena实现[10]也有Python绑定。它不关注最大树，但它实现了许多最大树构造算法此外，它缺乏我们的工具箱提供的最大树可视化功能，这对于理解和设计方法非常有用例如，建立在我们的工具箱Tavares et al.[11]开发了一个交互式可视化演示，不仅显示图像，还显示其最大树。这个演示对于理解最大树非常有用Westenberg等人[2]提供一个最大树演示，用于交互式体可视化和属性过滤。据我们所知，没有最大树代码它收集了我们的iamxt工具箱的许多功能，并且是用高级编程语言编写的，例如Python，2352-7110/©2017作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。当前代码版本此代码版本使用的代码/存储库的永久链接使用的代码版本控制系统使用的软件代码语言、工具和服务编译要求、操作环境依赖性（如有）开发人员文档/手册问题支持电子邮件v0.1https://github.com/ElsevierSoftwareX/SOFTX-D-15-00049BSD双条款许可证gitpython，C++，OpenMPNumPy，OpenCV，gvgen，dothttp://adessowiki.fee.unicamp.br/adesso/wiki/iamxt/view/iamxt@googlegroups.com，roberto.medeiros. gmail.com可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx−82河Souza等人/SoftwareX 6（2017）81图1.一、 （ a）脑图像。（b）（a）的最大树图解箭头指向与最大树节点相对应的一些连通分量使用数组编程风格。该工具箱有很好的文档记录，并有许多使用示例，即使对数学形态学知识不多的人也可以轻松使用。我们的iamxt工具箱可用于许多应用，并可用于回答许多研究问题，如健康受试者脑磁共振图像中常见拓扑结构的存在。本文的组织如下：第2节描述了软件实现及其特点。第3节说明了工具箱特性的一些示例。第4节描述了我们预期iamxt将在科学界产生的影响。第五节是本文的结论。2. 软件描述在本节中，我们将介绍用于实现iamxt工具箱的语言和库。我们还描述了工具箱的结构和实现的算法。2.1. iamxt实现iamxt工具箱是使用NumPy [12]库在Python中实现的，它允许快速数组处理。我们的实现使用数组编程风格，尽可能避免使用显式循环，但我们无法避免的代码部分是在C++中实现的，并使用SWIG包装[13]。并行循环使用OpenMP进行优化 [14]。工具箱还依赖于其他库来呈现图形。有关如何安装工具箱的依赖项和说明的完整列表，请访问：https://github.com/rmsouza01/iamxt。2.2. iamxt结构该工具箱是使用面向对象编程范式构造的iamxt分为两个类：称 为 MorphTreeAlpha 的 基 类 和 派 生 类 MaxTreeAlpha 。MorphTreeAlpha类具有在树上遍历的方法，例如检索节点的祖先、后代和子节点。它有绘制树和树的一部分的方法，它也有除了 最 大 树 之 外 的 形 态 树 所 固 有 的 方 法 ， 例 如 形 状 树 [15] 。MaxTreeAlpha类实现了特定于max-tree的方法。该工具箱共有30种方法：4种用于在树上行走，2种过滤算法，7种最大树过滤器，4种用于绘制树及其部分，9种用于从最大树节点，2种辅助方法和2种重建方法：一种用于恢复最大树对应的图像，另一种用于恢复节点对应的连通分量2.3. iamxt算法在工具箱中实现的最大树构造算法是基于具有级别压缩算法的联合查找的算法，该算法在[16]中描述。过滤算法实现是在[17]中提出的，其使用不同的基于数组的父指针最大树表示，称为面向节点的最大树，其比通常的最大树表示结构更节省内存我们的工具箱使用这个结构来表示最大树。工具箱还实现了许多方法来从最大树节点中提取属性并过滤最大树，例如消光值[18]，hmax过滤器[1]，区域开放[19]，vmax [18]，消光过滤器[20]，最大最大树简化（MMS）[21]，以及工具箱文档中详细介绍的其他方法。3. 说明性实例3.1. 包围盒滤波在这个例子中，我们展示了如何使用最大树的车牌定位使用边界框过滤器。在这种情况下，我们过滤所有边界框高度不介于13至25像素，宽度不在7至17像素之间，矩形比大于0.45。车牌图像和滤波过程的结果在图2中描绘。执行此操作的代码显示在代码片段1中，注释描述了该代码。这个例子展示了max-tree的一些功能。一个简单的过滤过程大大简化了图像，实际上只留下车牌字符。代码片段1：边界框过滤器。1导入iamxt进口 numpyasNP3#结构化元件，连接8BC= np。one（（3，3），dtype =bool）5mxt = iamxt。MaxTreeAlpha（img，Bc）#最大树构造7#尺寸和形状阈值Wmin，Wmax = 7.179 Hmin，Hmax = 13.25rr = 0。45−−−××R. Souza等人/ SoftwareX 6（2017）81-8483图二.（a）原始图像，（b）边界框滤波器之后。图三.（a）原始图像，（b）EF后（c）MMS后。(d)生成的最大树。11这种方法可用于图像分割和对象#计算边界框l从13#at t r i bu t es存储在NAdx = mxt。node_array [7，：] mxt.node_array [6，：]15dy = mxt .node_array [ 10，：] mxt.node_array [9，：]area = mxt .node_array [ 3，：]17 RR = 1.0μ m面积/（dxμ m dy）19#Sel lecti n g节点的f i t克里泰里亚nodes = （dx>Hmin）（dx Hmax）（dy > Wmin）&21（dy Wmax）（RR > rr）23#过滤器mxt。 contractDR（节点）25img_filtered=mxt。 getImage（）3.2. 最大最大树简化方法在这个例子中，我们说明了最大最大树简化（MMS）方法[21]。该方法包括使用消光滤波器（EF）和MMS滤波器设置树叶数量。它保证在过程结束时，最大树节点的数量是有界的叶数加上1和2倍的叶数承认[21]。 这种方法应用于2D脑MR图像集，以保留7个叶片，如图11所示。3.第三章。3.3. 处理时间这里给出了工具箱处理时间的简要概念，[17]中给出了更详细的分析实验在Intel Xeon X5675服务器上运行的4核虚拟机上进行，时钟频率为3.06 GHz。我们选择了三个256 256像素的样本图像，如图4所示。我们测量了使用8邻域构建最大树，使用区域开放过滤器组过滤最大树以去除面积小于500的节点以及重建图像的平均时间。图像被插值到1024 × 1024像素，因此我们可以了解处理时间如何根据图像大小而变化。表1总结了平均处理时间。4. 影响虽然非常强大，但数学形态学工具（如最大树）在外部并不十分知名/使用。84河Souza等人/SoftwareX 6（2017）81表1见图4。示例图像。引用[1] 放大图片作者：J. 反扩张连通算子平均最大树构建、过滤和图像恢复处理时间（毫秒）。512× 5121024×1024 216.7 4.3 1.3 222.3形态群落，其中一个原因可能是数学形态学算法的理解和实现可能非常复杂。iamxt是一个教育工具箱，不是最大树和数学形态学专家的用户可以学习和开发应用程序，数学形态学研究人员可以从我们的工具箱中受益。提供一个简单易用，高效，易于扩展的开源代码的影响是，max-tree用户的数量将增长，他们将扩展我们的工具箱，并使用它来开发他们的应用程序。我们的工具箱已用于我们的研究[21，20，17，11]。此外，我们有国际合作者使用我们的遥感应用工具箱[22]。此外，iamxt还用于在坎皮纳斯大学教授研究生课程。5. 结论我们提供了一个使用基于数组的编程风格在Python和NumPy中实现的最大树工具箱，其中不适合使用这种风格实现的显式循环使用C++和OpenMP进行了优化在工具箱中实现了文献中可用的最新算法。这与我们提供的最大树可视化例程相结合，并且它是用简单的开源编程语言（如Python/NumPy）实现的，这使得我们的在我们下一个版本的工具箱中，我们将结合从[3]中提出的另一种基于树的图像表示构建最大树的方法致谢作 者 要 感 谢 FAPESP 赠 款 2013/23514-0 和 2013/07559-3 以 及CNPq赠款311228/2014-3。图像和序列处理。IEEE TransImage Process 1998;7（4）：555[2] 放大图片作者：J.使用最大树表示的体积属性过滤和交互式可视化。IEEE TransImageProcess 2007;16（12）：2943-52.[3] Xu Y，Géraud T，Najman L.形状空间中的形态滤波：使用基于树的图像表示的应用。2012年第21届模式识别国际会议（ICPR）。IEEE; 2012年。p. 485-8[4] 杨文，杨文，杨文.鲁棒的宽基线立体声从最大稳定极值区域。在：英国机器视觉会议。2002年。p. 384-93.[5] Ouzounis G，Gueguen L.交互式收集训练样本最大树结构，在：第18届IEEE图像处理国际会议; 2011年，pp. 1449-1452年。[6] 琼 斯 河 使 用 组 件 树 的 连 接 过 滤 和 分 割 ComputVis Image Underst 1999;75（3）：215-28.[7] NaegelB，Passat N. 基于构件树的交互式分割 图像处理在线2014;89-97。[8] Salembier P ， Serra J. 平 坦 区 域 滤 波 ， 连 接 算 子 和 重 构 滤 波 器 。 IEEETransImage Process1995;4（8）：1153-60.[9] 洛图福·多尔蒂埃动手形态学图像处理。SPIE光学工程教程，第TT59卷。SPIEPublications;2003.[10] Levillain R，Géraud T，Najman L. Milena：编写一次通用形态学算法，在多种图像上运行。 数学形态学及其在信号与图像处理中的应用。5720 2009年p.295-306.[11] Tavares L，Souza R，Rittner L，Machado R，Lotufo R.交互最大树图像处理和分析的可视化工具，2015年图像处理理论，工具和应用国际会议;2015年。 p. 119比24[12] 范德沃特S，科尔伯特S，Varoquaux G. numpy数组：一种用于高效数值计算的结构。Comput Sci Eng2011;13（2）：22-30.[13] 比兹利湾SWIG：一个易于使用的工具，用于将脚本语言与C和C++。收录于：第四届USENIX Tcl/Tk研讨会会议记录，1996年-第4卷，USENIX协会; 1996年。p. 十五岁[14] Dagum L，Menon R. OpenMP：用于共享内存编程的行业标准API。IEEEComput Sci Eng1998;5（1）：46[15] Monasse P，Guichard F.对比度不变图像表示的快速计算。IEEE TransImageProcess1998;9：860-72.[16] 放大图片作者：Carlinet E，Geraud T.构件树计算算法的比较研究。IEEETrans Image Process2014;23（9）：3885[17] Souza R，Rittner L，Lotufo R，Machado R.基于数组的面向节点的最大树表示 。 2015 年 IEEE International Conference on ImageProcessing （ ICIP ） 。IEEE; 2015. p. 3620-4[18] 瓦希尔角灭绝值：一种新的持久性度量 IEEE非线性信号与图像处理研讨会，第一卷。1995.第254- 257页。[19] 文森特湖灰度图像的形态区域打开和关闭。In：Toet A Y-LO，Foster D，Heijmans H，Meer P，editors.画中的形状，第126卷。Berlin，Heidelberg：Springer; 1994. p. 197-208.[20] Souza R，Rittner L，Machado R，Lotufo R.消光滤镜和属性滤镜的比较。数学形态学及其在信号和图像处理中的应用。2015. p. 63比74[21] Souza R，Rittner L，Machado R，Lotufo R.最大树简化于：2014年第22届模式识别国际会议;2014年，p.3132-37.[22] [10]李晓，李晓.消光剖面用于遥感数据分类。 IEEE TransGeosci Remote Sens2016;54（10）：5631-45.尺寸建设过滤归还总256× 25617.772.71.72.60.080.319.575.6