立体视觉系统的DCF算法及应用

软件影响14（2022）100442原始软件出版物DCF：立体视觉系统加布里埃尔·S 放大图片创作者：AndreaA. Limaa，N aianeM. Sousab，FabrizzioSoaresbaFederal Institute Goiano，Computer Vision Lab，Caltaí，75790-000，GO，Brazilb戈亚斯联邦大学，信息学研究所，戈亚尼亚，74690-900，GO，巴西A R T I C L E I N F O关键词：视差法软件设计立体视觉机器视觉立体视觉机器人导航A B标准视差图是立体视觉系统的重要组成部分，因为它们对两个或多个图像的位移进行编码。然而，以前的作品只提供了一些实现细节，建议处理步骤，并没有很好的定义，软件设计也很少被讨论。相反，DCF应用立体视觉系统的主要组件并将它们集成以促进视差图的构建。因此，DCF算法可以参数化或使用先前定义的配置执行。因此，DCF输出 可以针对不同的应用，如基准测试建议，计算机和机器人应用，三角测量和3D重建。代码元数据当前代码版本v2.0用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2022-236Reproducible Capsule的永久链接https://codeocean.com/capsule/4854862/tree/v1GNU GPL-2.0许可证使用git的代码版本控制系统使用MATLAB的软件代码语言、工具和服务编译要求，操作环境依赖性Linux，Microsoft Windows，MATLAB R2014a如果可用，链接到开发人员文档/手册https://github.com/gabrieldgf4/disparity-computation-framework问题支持电子邮件gabriel. ifgoiano.edu.br1. 软件说明视差计算是使用相机的机器视觉过程中的步骤之一。在立体透视中，相机通常同时从不同的视角记录图像[1，2]。虽然摄像机记录相同的场景，但它们位于先前配置的位移裕度或无约束配置中的不同位置[3]。所得到的图像具有一些相同的场景元素，这些元素用于测量与相机有关的图像的偏移[4]。这种方法使得可以从2D图像和使用二维图像的三维场景构建来估计深度[5视差计算旨在测量相机之间的像素位移[8]。移动较少的像素具有较小的视差值。另一方面，当可以在非相邻位置处观察到像素移动时，出现较大的视差值。根据一个或多个目标图像与参考图像的坐标来计算该测量。参考图像，顾名思义，是观察像素位移的起始点视差信息指示场景中的元素到参考相机的接近度或距离。视差也被视为逆深度，因为视差值成反比深度[9，10]当像素在图像之间具有较小的位移时，视差值指示场景中的对象是本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。∗通讯作者。电子邮件地址：gabriel. ifgoiano.edu.br（G.S.Vieira），junio. ifgoiano.edu.br（J.C.Lima），naianesousa@egresso.ufg.br（N.M.Sousa），fabrizzio@ufg.br（F.Soares）。https://doi.org/10.1016/j.simpa.2022.100442接收日期：2022年10月25日;接受日期：2022年11月4日2665-9638/©2022作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsG.S. Vieira，J.C.新墨西哥州利马Sousa等人软件影响14（2022）1004422图1.一、具有 不同聚 合窗口 大小 的固定窗口方法（FW）。图二、基于分段的方法（SB），具有不同的 成本函数和9 × 9的固定窗口聚合大小。更远，即，它们具有更大的深度值。相反，更显著的视差指示场景中的对象更靠近参考相机，即，它们具有较低的深度值。视差计算过程产生称为视差图的新图像。立体算法在获得视差图时通常执行四个步骤[9]。首先是匹配成本计算，检查像素之间的相似性。第二种方法是在像素相似度计算中加入邻域窗口的代价（支持度）聚合。第三是视差计算/优化步骤，其计算参考图像与目标图像之间的像素的位移。最后，第四步是视差细化步骤，其对视差图应用调整以校正计算误差。像素间相似性的评估是计算机视觉系统的一项具有挑战性的任务。光度失真、镜面反射、透视失真、模糊区域、重复图案、遮挡和噪声会严重影响像素匹配[11 由于孤立像素易受误差影响，因此使用支持或聚合窗口，使得中心像素的邻居减少像素之间的模糊和失配。这种策略（或基于区域的方法）相对于逐像素（或基于像素的方法）评估呈现出更有说服力的结果[14]。然而，聚合窗口的理想大小是需要找到的参数，并且它是可能干扰立体视觉算法的执行时间的参数。存在许多差异计算算法，特别是用于成本聚合步骤的方法[14 一些作品讨论了聚合窗口大小的不变方法，例如积分图像[17]和盒滤波[18，19]。其他人提出了可变大小的窗口[20]，颜色强度水平的感知分组[21]，窗口位移[9]，多分辨率图像[22]或用于视差计算的图像分割[23]。虽然每种方法都有其特殊性，但一些共同的元素可以有助于编码，重用和比较不同的深度估计建议。这项工作提出了视差计算框架，或DCF，旨在使不同的视差计算建议的共存。DCF划定了立体视觉范围，显示了一个坚实的基础，参加不同的应用程序的需求与软件设计，允许附加新的立体视觉方法，算法和指标评估。此外，DCF是一个允许共存的平台， 用于构建视差图的不同建议，其体系结构集成了文献中讨论的主要视差计算组件。在准备软件设计时，我们关注的是设计具有内聚范围的模块化软件。在这个意义上，我们提出了不同立体视觉方法之间的共性，并创建了结构化的软件层，包括预处理、视差计算、后处理和性能评估模块。此外，在DCF设计中，所有架构组件都是可用的，因此可以重用它们的组件，可以附加新算法，并可以准备其他结构，包括处理其他计算机视觉任务的组件。DCF可以提出与比较不同视差计算方法、估计和预测视差之间的误差分析、每种算法的执行时间、过滤输入图像、构建视差图和细化视差计算相关的研究问题。使用DCF，研究人员可以进行比较分析，可视化和数值检查结果，检查实现的代码，并添加新的算法。此外，它们可以使用执行流水线执行具有不同测试配置的差异计算方法。不同的执行流水线可以用DCF配置。例如，可以使用不同的聚合窗口大小测试算法（图1）。其他成本函数可以很容易地取代相似性评估函数（图2）。我们可以添加预处理和后处理步骤 到算法最初没有设计与这些步骤（图。3）。 我们可以应用图像滤波并检查获得的结果（图1）。4），或将不同的细化技术添加到视差图（图1）。5）。此外，我们可以通过查看每个错误来比较不同的方法（图1）。6）。在当前版本的DCF中，存在十种视差计算方法、十一种成本函数、三种评估度量和三种视差图细化方法。此外，还有特征检测器、图像滤波算法和图像校正算法。表1给出了已经在DCF中实现的视差计算方法、成本函数和视差图细化方法最后，DCF中的算法可以参数化或使用先前定义的配置执行。DCF调用是通过脚本进行的，脚本中的命令从参数的定义到函数调用都是按顺序呈现的。 从这个意义上说，DCF中存在的所有特性都可以在多个配置中访问、参数化和执行。访问DCF功能的接口是公共的，因此单个脚本可以直接访问算法。G.S. Vieira，J.C.新墨西哥州利马Sousa等人软件影响14（2022）1004423图三. 具有预处理和后处理步骤的双边立体方法（BL）。 从左到右，分别为不含预处理和后处理步骤的结果、含预处理的结果（引导滤波器）、含后处理的结果（SCC）以及含两个处理步骤的结果。图四、 具有不同预处理滤波器的引导立体方法（GF）。图五. 具有不同后处理方法的可移动窗口方法（SW）。从左到右，不进行后处理的结果，使用从左到右一致性检查（LR_check）的结果，使用局部一致性方法（LC）的结果，以及使用分段一致性检查（SCC）的结果2. 影响概述图六、 比较了 几 种 视 差 计 算 方 法 的均方根误差���。表1在DCF中实现的功能。先前发表的与视差图的构建相关的作品提供了很少的实现细节，没有提供源代码，建议的处理步骤不是很好地定义，并且用于处理计算机视觉任务的软件设计很少被讨论或充分强调。 即使在软件可用时，识别和解耦构建视差图的步骤也是具有挑战性的。因此，我们开发了DCF来标准化视差计算的主要组成部分，并便于不同立体视觉方法之间的比较。DCF输出可以用于不同的应用，例如基准测试建议、计算机和机器人应用、三角测量和3D重建。DCF已用于评估哪种成本函数更适合每种立体视觉方法[4]，基于分割过程和自适应支持窗口[10，28-成本函数差异计算差异细化[24]第24话最后一个女人[12]第二十四话：一个人[10]第九届中国国际纺织品展览会[25]第二十五话NCC LO [26][27]第二十七话[22]第二十二话[23]第二十三话STAD SW [9][20]第二十话ZSSD提供各种非受控条件[31]。在[32]中，我们提出了对DCF架构的第一个见解，以通过标准结构来适应不同的立体声方法。在此基础上，我们提出了DCF体系结构的建模，以集成主要的G.S. Vieira，J.C.新墨西哥州利马Sousa等人软件影响14（2022）1004424在[33]中的视差计算组件。与以前版本的DCF不同，该代码已被修订，并在此版本中添加了不同的使用示例。此外，我们还记录了DCF源代码，以文本方式描述函数的目标、预期的输入参数和输出。2.1. 正在进行的使用该软件的立体视觉系统的一个关键组成部分是视差图。 如果仔细构建视差图，它可以用于工业自动化，自主导航和3D重建。从这个意义上说，自动驾驶汽车可以利用场景的深度在没有碰撞的情况下四处移动;视障人士可以使用为帮助他移动而开发的计算机应用程序;可以在3D中跟踪物体，增强现实可以带来更好的视觉效果。我们目前正在使用DCF来研究立体视觉算法，并在视觉和数值上进行比较。此外，我们使用DCF 以测试像滤波和视差图细化这样的处理步骤2.2. 该软件支持的所有学术出版物的列表1. G. da Silva Vieira ， J.C. 新 墨 西 哥 州 德 利 马 de Sousa ， F.Soares，立体视觉系统中支持视差图构建的三层体系结构，Intell。系统Appl. 12（2021）200054.2. G. da Silva Vieira，F.A.苏亚雷斯，J.C.德利马Laureano，S.A.Santos，R. M.科斯塔河，巴西-地Salvini，不受控制环境中的主 干 检 测 和 树 差 异 计 算 ， 在 ： 2019 IEEE Symposium onComputers and Communications，ISCC，IEEE，2019，pp.1-6.3. 全球动力局维埃拉，F.A.A.苏亚雷斯，J.C. De Lima，H.A.多纳西曼托，G.T. Laureano ， R.M.Da Costa ， J.C.Ferreira ， W.G.Rodrigues，视差计算框架，在：2019年IEEE第43届年度计算机软件和应用会议，第2卷，COMPSAC，IEEE，2019年，pp.634-6394. G. da Silva Vieira，F.A.A.苏亚雷斯，G. T.劳雷亚诺河帕雷拉，J.C. Ferreira，R.M. Costa，C.B. Ferreira，通过分组区域和支持加权窗口进行差异细化，在：2018年IEEE加拿大电气计算机工程会议，CCECE，IEEE，2018年，第100页。一比四5. G. da Silva Vieira，F.A.A.苏亚雷斯，G. T.劳雷亚诺河帕雷拉，J.C. 费 雷 拉 河 Salvini ， Disparity map adjustment ： a post-processingtechnique ， in ： 2018IEEESymposiumonComputers and Communications ， ISCC ， IEEE ， 2018 ，pp.005806. G. Vieira，F.A.A.M.N.苏亚雷斯，G. T.劳雷亚诺河Parreira，J.C. Ferreira ， A segmented consistency check approach todisparitymap refinement ， Can 。 J.Electr. Comput. Eng.41（4）（2018）218-223.7. 全 球 动 力 局 维 埃 拉 ， F.A.A. 苏 亚 雷 斯 ， G. T. 劳 雷 亚 诺 河Parreira，J.C. Ferreira，R.M.科斯塔角，澳-地Gonçalves，Stereo matching enhancement by statistical analysis andweighted functions，in：2018 IEEE Canadian Conference onElectrical Computer Engineer，CCECE，IEEE，2018，pp.一比四8. G. 维埃拉角苏亚雷斯N。Sousa ，J. 吉尔河帕雷拉湾劳雷亚诺，R. Costa，J.Ferreira，立体视觉方法：从视差图的开发到评估，在：第十三届视觉计算研讨会论文集，2017年，第132 -137页竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作G.S. Vieira，J.C.新墨西哥州利马Sousa等人软件影响14（2022）1004425致谢我 们 感 谢 巴 西 机 构 Coordenação de Pessoal de Nível Superior（CAPES）-金融代码001-对这项工作的部分支持。我们还感谢戈亚斯联邦大学（巴西）和戈亚诺联邦学院（巴西）的部分支持。引用[1]Y.古川角Hernández，多视图立体：教程，发现。趋势计算。Graph.目视9（1-2）（2015）1-148.[2]T. Schöps ， J.L. Schönberger ， S. Galliani ， T. Sattler ， K. Schindler ， M.Pollefeys，A. Geiger，具有高分辨率图像和多摄像机视频的多视图立体基准，在：计算机视觉和模式识别会议，卷。2017，CVPR，2017，pp. 2538-2547[3]G.维埃拉角苏亚雷斯河帕雷拉湾劳雷亚诺河Costa，深度图制作：方法，挑战和应用，在：第十二届Visão Computacional研讨会论文集，2016年，pp. 323-328[4]G.维埃拉角苏亚雷斯N。Sousa，J. Gil，R.帕雷拉湾劳雷亚诺河科斯塔，J。Ferreira，立体视觉方法：从开发到视差图的评估，在：第十三届VisãoComputacional研讨会论文集，2017年，pp. 132比137[5]A. 韦尔塔斯湖 Matthies，A. Rankin，基于立体树的自主越野导航可穿越性分析，计算机视觉应用，2005年。WACV/MOTIONS'05第1卷。第七届IEEE研讨会，第1卷，IEEE，2005年，pp. 210-217[6]R. Roberts ， S.N. 辛 哈 河 Szeliski ， D. Steedly ， Structure from motion forsceneswith large duplicate structures ， in ： Computer Vision and PatternRecognition（ CVPR） ， 2011 IEEE Conference on， IEEE， 2011， pp. 3137-3144。[7]H. Dong ， S. Yin ， G. 江 湖 ， 澳 - 地 Liu ， S. Wei ， An automatic depth mapgenerationmethodbyimageclassification ， in ： ConsumerElectronics（ICCE），2015 IEEEInternational Conference on，IEEE， 2015， pp. 168比169。[8]H. Hirschmuller，D. Scharstein，立体匹配的成本函数评估，计算机视觉与模式识别，2007年。CVPR'07。IEEE Conference 上，IEEE，2007，pp. 1-8号。[9]D. 沙 尔 施 泰 因 河 Szeliski ， 密 集 两 帧 立 体 对 应 算 法 的 分 类 和 评 估 ，Int.J.Comput。目视47（1[10] G. Vieira，F.A.A.M.N.苏亚雷斯，G. T.劳雷亚诺河Parreira，J.C. Ferreira，Asegmented consistency check approach to disparity map refinement，Can。J. 电动Comput. Eng. 41（4）（2018）218[11] S.马托恰湾Giardino，A. Gambini，基于近似联合双边滤波的立体对应的准确和有效的成本聚合策略，在：亚洲计算机视觉会议，Springer，2009年，pp. 第371-380页。[12] S. Mattoccia，立体对应的局部全局方法，在：计算机视觉研讨会（ICCV研讨会），2009年IEEE第12届国际会议，IEEE，2009年，pp。1763-1770年。[13] S. Mattoccia，FPGA的立体视觉算法，在：IEEE计算机视觉和模式识别研讨会会议论文集，2013年，第103页。636 -641[14] R.A. Hamzah，H. Ibrahim，立体视觉视差图算法的文献调查，J. Sensors（2016）。[15] N.拉扎罗斯Sirakoulis，A. Gasteratos，立体视觉算法综述：从软件到硬件，国际。 J. Optomechatronics 2（4）（2008）435-462.[16] D.库马里湾Kaur，关于图像处理中3D视觉的立体匹配技术的调查，Int.J. Eng.Manuf. 4（2016）40-49。[17] G.法乔洛河Limare，E. Meinhardt-Llopis，用于块匹配的积分图像，图像处理在线，卷。4，2014，pp.344-369[18] S.W. Smith等人，数字信号处理科学家和工程师指南，加利福尼亚技术出版社。圣地亚哥，1997年。[19] M. McDonnell，Box滤波技术，Comput. Graph.图像处理。17（1）（1981）65-70。[20] O. Veksler，快速可变窗口立体对应使用积分图像，在：计算机视觉和模式识别，2003年。诉讼2003年IEEE计算机协会会议，第1卷，IEEE，2003年，第100页。I.[21] K.- J. Yoon，I.- S. Kweon，用于视觉对应搜索的局部自适应支持权重方法，在：2005 IEEE计算机协会计算机视觉和模式识别会议，第2卷，CVPR'05，2005，pp. 924//dx.doi.org/10.1109/CVPR.2005.218网站。[22] G.T. Laureano，M.S.V. de Paiva，采用多分辨率分析和感知分组的视差图生成，在 ： 2008 年 第 一 次 图 像 处 理 理 论 ， 工 具 和 应 用 研 讨 会 ， 2008 年 ， pp. 1http://dx.doi.org/10。1109/IPTA.2008.4743769。[23] M. Gerrits，P. Bekaert，基于分割的离群值拒绝的局部立体匹配，计算机和机器人视觉，2006年。 第三届加拿大会议，IEEE，2006年，p. 66岁[24] A. Hosni，M. Bleyer，M. Gelautz，自适应支撑重量技术的秘密用于局部立体匹配，计算。目视图像理解117（6）（2013）620G.S. Vieira，J.C.新墨西哥州利马Sousa等人软件影响14（2022）1004426[25] A.胡斯尼角Rhemann，M.布莱耶角 罗瑟，M。 陈文辉，等，快速成本-体积过滤的视觉对应和超越，IEEE trans. Pattern Anal。马赫内特尔35（2）（2013）504http://dx.doi.org/10.1109/TPAMI.2012.156[26] A.F. Bobick ， S. S. Intille ， 大 遮 挡 立 体 声 ， Int.J. Comput. 目 视 33 （ 3 ）（1999）181-200。[27] I.J. Cox，S.L. Hingorani，S.B. Rao，B.M.陈文，一种最大似然立体声算法，计算机。目视图像理解63（3）（1996）542[28] G. da Silva Vieira，F.A.A.苏亚雷斯，G. T.劳雷亚诺河Parreira，J.C.费雷拉，R. Salvini，视差图调整：一种后处理技术，在：2018年IEEE计算机和通信研讨会，ISCC，IEEE，2018年，pp。00580 -00585。[29] 全球动力局维埃拉，F.A.A.苏亚雷斯，G. T. 劳雷亚诺河 Parreira，J.C. Ferreira，R.M. 科 斯 塔 角 ， 澳-地 Gonçalves， Stereo matching enhancement by statisticalanalysis andweighted functions ， in ： 2018 IEEE Canadian Conference onElectrical& ComputerEngineering，CCECE，IEEE，2018，pp. 一比四[30] G. da Silva Vieira，F.A.A.苏亚雷斯，G. T.劳雷亚诺河Parreira，J.C. Ferreira，R.M.Costa，C.B. Ferreira，通过分组区域和支持加权窗口进行差异细化，在：2018年IEEE加拿大电气&计算机工程会议，CCECE，IEEE，2018年，第100页。一比四[31] G. da Silva Vieira，F.A.苏亚雷斯，J.C.德利马 Laureano，S.A. Santos，R. M. 科斯塔河，巴西-地Salvini，不受控制环境中的树干检测和树差异计算，在：2019IEEE计算机和通信研讨会，ISCC，IEEE，2019年，pp. 1比6[32] 全球动力局维埃拉，F.A.A.苏亚雷斯，J.C. De Lima，H.A. Do Nascimento，G.T.Laure-ano，R.M. Da Costa，J.C. Ferreira，W.G.罗德里格斯，视差计算框架，在：2019年IEEE第43届年度计算机软件和应用会议，卷。2，COMPSAC，IEEE，2019，pp.634-639[33] G. da Silva Vieira，J.C.新墨西哥州德利马de Sousa，F. Soares，立体视觉系统中支持视差图构建的三层体系结构，Intell。系统申请12（2021）200054.