没有合适的资源?快使用搜索试试~ 我知道了~
沙特国王大学学报楼梯识别中消失点问题的解析证明Muhammad Khaliluzzaman部吉大港国际伊斯兰大学计算机科学与工程系,吉大港4318,孟加拉国阿提奇莱因福奥文章历史记录:2018年10月21日收到2019年1月8日修订2019年1月10日接受在线提供2019年1月14日保留字:计算机视觉消失点问题识别系统数学模型SVM均匀LBPA B S T R A C T从楼梯候选图像中检测和识别楼梯区域是计算机视觉领域的一项具有挑战性的研究工作在过去的几十年里,研究人员使用了许多识别系统来识别和验证楼梯区域从其他类似的对象。然而,所有的验证系统,如消失点(VP),并没有达到预期的结果,由于各种原因。在这方面,本文提出了一种方法来调查消失点的问题出现在楼梯区域验证的情况下,基于三个基本标准,即相机的焦距,相机的高度从地面,相机的距离从楼梯图像。为此,主要是通过利用楼梯的几何特征来提取楼梯区域。通过垂直VP的y坐标值来验证检测到的楼梯候选区域,即y0.但是,VP的y坐标值不会验证所有场景中的楼梯区域。本文利用实验分析对这一问题进行了研究和论证,并引入了一个数学模型来估计阶梯区域VP的位置。最后,用支持向量机(SVM)分类器代替VP对阶梯状区域进行识别,并与VP进行了性能为此,旋转不变的均匀局部二值模式(LBP)用于特征提取。在不同的方向和照明条件下捕获的楼梯图像已被用来测试所提出的方法,以评估所得的精度。©2019作者制作和主办:Elsevier B.V.代表沙特国王大学这是一CC BY-NC-ND许可下的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。1. 介绍从红-绿-蓝(RGB)图像中检测和识别合适的目标是自主导航系统和计算机视觉的一个重要方面和具有挑战性的任务。检测楼梯图像中的楼梯位置是类似的任务。在鲁棒环境中检测楼梯区域是智能自主导航系统(IANS)以及视力受损者的基本过程。对于实时系统,检测楼梯区域对于各种楼梯形状、不同视点和非均匀照明条件是困难的。 为了克服这些困难,满足IANSs的需要,楼梯区域的检测和识别过程应该沙特国王大学负责同行审查制作和主办:Elsevier电子邮件地址:khalilcse021@gmail.com并能有效地从楼梯图像中检测出各个目标物体。在检测出阶梯候选区域之后,必须通过验证方法来验证检测到的区域。然而,所有的验证方法,如消失点(VP),并不完美的工作在所有的场景和环境条件。一些验证方法在特定场景和条件下执行得更好。然而,由于各种原因,例如不同的阶梯结构和视点,一些方法没有更好地执行。必须调查不同验证方法中出现问题的原因并证明其合理性。在这方面,在这项工作中,提出了一种方法来调查和证明的消失点的情况下发生的楼梯区域识别的问题为此,利用楼梯的几何特征提取其中之一是每个楼梯台阶3CP。3CP特征如图1(a)所示。此功能用于验证楼梯踏步另一个特征是楼梯台阶的潜在并发HE以从楼梯的底部到顶部的排序顺序出现,如图2所示。 1(b).https://doi.org/10.1016/j.jksuci.2019.01.0041319-1578/©2019作者。制作和主办:Elsevier B.V.代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页:www.sciencedirect.com≥162海里 Khaliluzzaman/沙特国王大学学报-计算机与信息科学33(2021)161- 182Fig. 1. 楼梯的几何特征:a)三个连接点(3CP),以及b)并发HE按排序顺序为了满足这些几何特征,首先,输入图像进行滤波,通过使用一个建议的多分辨率奇异值分解(MSVD)滤波过程和解决阶梯的然后,利用意外边缘消除和边缘连接过程从滤波图像中提取并发HE并发HE段由上述特征(即3CP)验证。通过楼梯区域的垂直VP的y坐标值(其为负,即,y 0.该过程如图2(a)所示。该验证将楼梯区域与诸如铁路线以及人行横道的各种类似对象区分开,其中,类似对象的VP是正的,即y0。类似物体的处理示例如图2(c)和(d)所示。楼梯区域或类似物体消失点变化的原因隐藏在它们自身的结构中。主要的结构差异是铁路线和人行横道相对于地面没有坡度,而楼梯区域的结构必须相对于地面有坡度。但是,由于各种原因(例如不同的楼梯结构和视点),VP的此y坐标值无法识别不同场景的楼梯候选区域。实际上,VP是否位于图像平面内或外取决于楼梯区域的坡度和高度。其中,图像平面中楼梯区域的坡度和高度取决于三个基本标准,即1)相机的焦距,2)相机与楼梯区域之间的距离,以及3)相机距地面的高度。基本准则的效果如图2(e)所示。这些基本标准将在3.3节中详细解释。 其中一个例子如图所示。 2(b) 图像,其是在相同环境中的图2(a)的相同图像。然而,相机的焦距和离地面的高度是不同的。这里,图2(b)是以比图2(a)更大的焦距和更高的高度捕获的。为了增大聚焦角,图像平面中的阶梯区域的斜率和高度减小。同样,为了增加相机离地面的高度,楼梯区域的斜率和高度也被减小。图2(f)和(g)分别示出了图2(a)和图2(b)上的相机的焦距和高度的影响。由上述分析可知,摄像机的焦距由于这些原因,位于图1中的阶梯区域的VP。 2(b)位于图像平面内,其y坐标值为正,即y≥0。在这种情况下,楼梯坎迪-使用VP的y坐标值无法识别日期区域本文基于这三个基本准则,通过实验分析对这一问题进行了研究和论证然后,建立了一个用于估计阶梯区域VP位置的数学模型该模型基于从图像平面顶部开始的楼梯区域高度与楼梯区域地面高度的比率这是所提出的方法的另一个重要贡献。最后,提取的楼梯候选区域是通过一个有效的分类器,即分类。SVM。此外,SVM分类器的有效性进行了比较相对于VP。为此,利用旋转不变的均匀局部二值模式(LBP)提取阶梯候选区域的特征本文的其余部分如下所示。第二节回顾了相关工作。所提出的方法是逐步解释与处理的例子,在下一节。处理示例、结果和讨论见第4节。最后,第五部分对本文进行了总结。2. 相关工作在过去的几十年里,研究人员提出了许多楼梯检测和识别的方法,以克服研究的空白。本节总结了一些楼梯检测和识别方法,已经实现和测试以前。以往的工作都是针对楼梯的一个特点,即每一个楼梯的边缘图像都有连续的平行水平线。由于研究人员和科学家一直关注于楼梯区域的检测和识别,他们开发了许多改进的楼梯检测和验证方法,以提高准确性。例如,在Schwarze和Zhong(2015)、Harms等人(2015)、Harms等人(2015)中介绍了一些基于视觉的方法。(2014)、Wang等 人 ( 2014 ) 、 Du Buf 等 人 ( 2011 ) 、 Cong 等 人 ( 2014 ) 、(2008)以及Basca和Brad(2007)来检测和识别楼梯候选区域。这些方法利用立体视觉、移动机器人、智能手机和无人驾驶地面车辆(UGV)来导航楼梯。其中,Wang等人(2014)介绍了一种基于深度图像的楼梯检测和识别方法。 该方法利用楼梯的深度特征检测楼梯,并利用SVM分类器进行识别。一些楼梯检测方法(Khaliluzzaman和Deb,2018; Harms等人,2015; Deb等人,2013; Shahrabadi等人,2013; José等人,2012)基于楼梯的几何特性提出。这些方法都是从楼梯边缘图像中提取楼梯的几何特征。这些方法的一个独特之处是M. Khaliluzzaman/沙特国王大学学报-计算机与信息科学33(2021)161-182163图二、a)在摄像机聚焦到具有低焦距角的楼梯区域并且摄像机不远的情况下,从楼梯估计VP,在该情况下,VP的y坐标值为负,即,b<)在相机的焦距大并且相机的高度高于图1所示的相机的情况下,从阶梯区域估计VP。 2(a)中,此处,阶梯区域的VP的y坐标值为正,即y≥0,c)和d)从行人过街道和铁路线估计VP,其中两个对象的VP的y坐标值都是正的,即, y ≥ 0,e)示出了基于图像平面(H1和H2)的相机的焦距(U1和U2)和高度对楼梯区域的斜率和高度的影响,f)和g)图1的图像平面中的楼梯区域的斜率和高度。 2(a)和图。 2(b)分别。每个阶梯边缘图像包含连续的平行水平边缘。此外,Harms等人(2015)介绍了一种通过匹配过滤器提取楼梯相关边缘的然后,从相关边缘中确定楼梯边缘段ðÞ≥164海里 Khaliluzzaman/沙特国王大学学报-计算机与信息科学33(2021)161- 182图三. 提出了楼梯检测和消失点问题的校正方法。早些时候,在Shahrabadi等人(2013)中介绍了室外和室内楼梯估计过程。此过程访问一些标准,即检测楼梯的白色手杖。在该算法中,摄像机被放置在距楼梯固定距离处,即5 m处。在此之前,Lee等人(2012)介绍了一种用于实时楼梯检测的高精度和低误报率框架。在这个框架中使用的AdaBoost学习算法。该框架通过提取不同条件下的三到四个台阶的特征,提高了楼梯检测的准确性。该框架还通过降低误报率提高了准确性。一 些 约 束 , 如 消 失 点 ( Schaffalitzky 和 Zisserman , 2000 年 ;McLean和Kotturi,1995年; Barnard,1983年)以及方向滤波器(Basca和Brad,2007年; Mäenpää和Pietikäinen,2005年)用于定位和验证楼梯区域。例如,Hernandez和Jo(2010)提出了一种方法,其中楼梯候选区域最初由垂直消失点识别。然后利用方向性Gabor滤波器对候选区域进行识别,提取并行水平边缘,检测阶梯区域。后来,室内定位方法在Hernández et al.(2011)中介绍。该方法采用方向滤波和平面运动跟踪相结合的方法检测和定位楼梯候选区域。此外,在Khaliluzzaman和Deb(2018)和Deb等人中引入了基于楼梯和消失点的自然属性的楼梯检测和验证框架。(2013年)。自然属性在Deb et al. (2013)是楼梯台阶按其长度从楼梯的顶部到底部按排序顺序出现,其中,Khaliluzzaman和Deb(2018)使用楼梯的三个连接点属性。Deb等人使用了最长递增子序列算法。(2013年)出现并发的水平par-boundaries边缘,排序秩序这问题是解决在另一方面,在logn时间,Khaliluzzaman和Deb(2018)引入了一种方法,其中通过利用HE段端点的x坐标值对HE进行排序最后,从该排序的边缘段估计垂直VP,以验证该排序的边缘段是否这是因为铁路线和人行横道具有类似楼梯的特征后来,本文的早期版本(Khaliluzzaman和Deb,2016)介绍了一种在阶梯区域验证过程中识别VP问题的方法然而,这种方法不能有效地证明VP问题.在这里,作者利用Gabor滤波器来消除输入RGB图像中的噪声,这是计算昂贵的。然后通过楼梯的几何特征检测出楼梯感兴趣区域在此基础上,用简单的y坐标值对VP问题进行了分析楼梯样品。复杂的和不同方向的楼梯样品不考虑在这项工作中。最后,通过简单的Gabor特征,利用支持向量机对阶梯感兴趣区域进行验证在 以 前 的 研 究 工 作 中 , 研 究 人 员 利 用 垂 直 消 失 点 进 行 定 位( Hernández 等 人 , 2011; Hernandez 和 Jo , 2010 ) 并 识 别(Khaliluzzaman和Deb,2018; Deb等人,2013年)的楼梯候选区域。然而,在不同的场景中,消失点不能有效地定位和识别楼梯候选区域。以前的最新技术水平,如Khaliluzzaman和Deb(2018),Deb等人(2013),Hernández等人(2011)以及Hernandez和Jo(2010)并没有关注这个问题。例如,Hernandez和Jo(2010)提出框架,其中通过使用垂直VP(y0)的y坐标值从室外环境初始定位楼梯候选区域。Khaliluzzaman和Deb(2018)以及Deb等人(2013)中提到的其他方法通过使用y坐标值验证了检测到的楼梯候选区域的VP(y0)的值,分别从室内和室外环境中捕获。通过VP的y坐标值,这些方法将楼梯结构区域与其他类似的结构对象(即,轨道线和人行横道)区分开。该示例在图2中描绘。VP在不同客体区域发生变异的原因隐藏在其自身的结构中。主要的结构差异在于,对于铁路线和人行横道,相对于地面没有坡度,其中,楼梯区域的构造方式使得其相对于地面必须在 Khaliluzzaman 和 Deb ( 2018 ) 中 , Deb 等 人 。 04 The FamousWomen(2013)等人(2011),以及Hernandez和Jo(2010)的作者通过满足某些条件从不同的环境中捕获楼梯图像。条件是摄像头放置在高度不超过两米的楼梯前,cam- era不放置得那么远。如果从具有较大焦距的远距离捕获楼梯图像并且相机的高度离地面较高,则楼梯区域在图像平面中的斜率和高度将较小在这些情况下,楼梯区域的坡度将减小,楼梯区域将移动到地面。结果,增加了将楼梯区域的VP驻留在图像平面中的可能性。在这种情况下,VP的yy 0,如图所示。第2段(b)分段。由于该原因,不能通过利用VP的y坐标值来定位和验证阶梯区域在这些方法中,没有考虑这个问题,其中,VP的y坐标值用于定位和验证阶梯区域。在本文中,我们重点讨论了这个问题,并证明了范-通过考虑三个基本点,×h<$fgr;fgc×fgk4XX¼USVusvii×我X2¼M. Khaliluzzaman/沙特国王大学学报-计算机与信息科学33(2021)161-182165标准,即相机的焦距、相机距地面的高度以及相机距楼梯图像的距离。最后,建立了一个数学模型来预测阶梯区域VP的位置。下降奇异矩阵,也称为特征值,XXT.为了将图像X转换成四个子带,图像X必须整形为4× m/2 × n/2图像,定义为X1。对整形后的X1图像进行奇异值分解,得到特征向量U.所以,3. 拟议方法列向量U将是4× 4矩阵i。例如,fEkg4根据空间Rn。k¼1该框架主要分为四个部分:(1)MSVD滤波和提取边缘信息,(2)阶梯候选区域的检测和垂直VP验证,(3)阶梯区域定位和验证中VP问题的合理化,(4)特征提取和分类。阶梯ROI检测和验证过程具有以下一些基本步骤:(1)从边缘图像中去除不期望的边缘,(2)使用边缘链接来估计潜在HE,(3)识别潜在HE段中的几何特征并检测阶梯ROI,以及(4)通过VP来验证和检测阶梯候选区域。该框架如图所示。3 .第三章。在此外,当图像X 是重新成形为X1,这是4 m/2 * n/2,它不保持比例因子。因此,原始图像信息将被破坏。为此,将修改的整形方法应用于输入图像X以整形为X1。该方法在下面给出的程序中进行了说明。程序1:修改后的图像整形程序X:输入图像,大小为m× nX1:将图像整形为4× m/2 * n/2大小B:从图像X拍摄的4× 4大小的块图像,以进行整形C:将X1的列重新整形,B将在其中放置For i = 1 to m/2对于j = 1到n/2C= j+(i-1)*m3.1. 应用MSVD滤波器和检测边缘信息BXj-1r¼j-1ω2 1Xi-1ci-1ω 2 1任何计算机视觉和图像处理框架的基本步骤都是从图像采集阶段捕获的输入图像中消除噪声信息。此外,楼梯区域位于噪声和阴影影响的环境中,添加在楼梯候选区域中。减少图像噪声的主要问题是从图像X中取出块B,重塑为4 1尺寸,并放入X1结束结束从图像中分离噪声和原始值。为此,在这项工作中,多分辨率奇异值分解每个E4k¼1 表示X2的特定子带本征向量。到MSVD(多尺度奇异值分解)滤波过程用于图像去噪,其类似于小波变换(WT)(Naidu,2011; Hou,2003;Mallat,1989)。在小波变换中,输入图像被分解成四个子带,这四个子带是通过子带滤波实现的,即,有限脉冲响应(FIR)滤波器。WT中的第一子带包含低频和高幅度细节,即近似子带(LL)。其他三个子带包含低幅度和高频细节。在MSVD中,FIR滤波器被奇异值分解(SVD)所取代。m × n图像的奇异值分解定义在等式中。(一).N从所述四个特定子带(LL、LH、HL、HH)中提取所述四个特定子带(LL、LH、HL、HH),使用特征向量U对图像X1进行整形,其为4×m/2 * n/2,即,fEkgk1,执行运算X2¼U-1X1。所得矩阵也将是4× m/2 * n/2矩阵。在该矩阵中,每行表示特定的子带。第一行,即X2(1,:)包含低频率和高幅度信息,它们是对应于最大本征值(即LL)的最近似信息。其余行表示对应于最小本征值i的高频信息。e. LH、HL和HH。第一行信息X2(1,:),即,LL被视为滤波图像,并以m n大小进行整形。滤波器对阶梯图像的影响如图所示。 4(b),其中,输入RGB图像是TT我1/1ð1Þ示于图第4(a)段。为了满足楼梯的几何特征,即3CP和潜在HE是按排序的,楼梯台阶潜在HE,在这里,U 和V 是nxn和mxm正交奇异矩阵分别U是T <$XX T的本征列向量,其使得对角矩阵U T TU <$S2,其中,S 是m× n对角线并且需要HE结束区域处的垂直边缘。为此,利用Canny算子(Cortes和Vapnik,1995; Huertas和Medioni,1986)来提取楼梯边缘,图四、滤波过程:a)输入RGB阶梯图像,b)MSVD滤波图像。166海里 Khaliluzzaman/沙特国王大学学报-计算机与信息科学33(2021)161- 182图五. 边缘提取过程:a)通过Canny算子提取图像边缘,b)消除垂直边缘提取水平边缘。阶跃特性这是因为Canny算子等拉普拉斯算子具有平滑的优点,可以有效地去除高斯噪声,并且具有阈值化的方法,可以有效地检测阶梯边缘。Canny算子的关键特征是它的普通属性。属性是阈值(Huertas和Medioni,1986)和标准差。由于目标的图像亮度与图像背景不同,目标的边界通常由阶跃边缘产生。因此,在楼梯的台阶中,强度值快速变化,并且在楼梯台阶高度中的强度其宽度不同。因此,可以提取在Canny边缘图像中,在不同的方向上存在许多意想不到的边缘为此,首先,通过去除VE从Canny边缘图像中提取HE提取的水平边缘如图所示。 5(b). 图从图5(b)可以看出,HE图像包含许多小的非候选边缘。通过滤波方法从Canny水平边缘图像中消除非候选HE根据该滤波方法,那些小于统计阈值的边缘将从HE图像中被rPNedgei-edgemean2N通过阶跃特性。具有阶跃特性的Canny操作器的结果如图所示。 5(a).3.2. 检测和验证楼梯ROI在本节中解释楼梯候选区域的检测过程。该过程需要一些基本步骤,即,(1)从边缘图像中去除不期望的边缘,(2)通过边缘连接提取潜在HE,(3)识别潜在HE段中的几何特征并检测阶梯ROI,以及(4)通过VP验证和检测阶梯候选区域。3.2.1. 删除意外边缘为了检测楼梯候选区域,所提出的方法需要提取潜在的水平和垂直边缘。但在即边缘值的第一个标准偏差存在于图中。 5(b).这里,N表示HE的总数。图6(a)显示了小边缘去除手术结果。在图6(a)中,仍然存在与潜在并发HE不平行的各种HE。这些非平行HE从边缘图像中移除,因为图中呈现了未预期的边缘。 6(b).3.2.2. 边缘连接和提取潜在HEHE图像主要包含较长的水平阶跃边缘。这些HE可能在各个区域中具有断裂或间隙。这些中断或间隙需要被填充以提取传达楼梯区域的信息的最长水平边缘。在这项工作中,提出了一种方法来弥补中断或间隙。该方法实现了三个像素点的断裂或间隙的自动拼接. 另一方面,链接过程将是见图6。 意外边缘消除过程:a)消除小HE b)过滤意外边缘。统计阈值定义为1/1、Lð Þð Þ1/1N.结果如图8(b)所示。在哪里,M. Khaliluzzaman/沙特国王大学学报-计算机与信息科学33(2021)161-182167见图7。 边连接的过程。图8.第八条。边缘链接和潜在边缘提取过程:a)边缘链接结果,以及b)过滤并发边缘段内的不必要边缘应用的,如图所示。7.第一次会议。 根据图7中描述的过程,边缘的右点(i),即,其中,x ri,ey ri)被链接到边(j)的左点,即,(exl(j),eyl)如果这些点满足以下条件也就是说,exlj>ex ri作为以及他们<的身高很高。边的右点(j),即, (ex rj,eyrj)链接到边(i)的左点,即,(exl(i),eyi)if these通过统计模型从边缘图像中消除那些不必要的水平边缘,即,将连续边缘值差小于统计阈值的边缘从边缘图像中消除。通过使用平均绝对偏差(MAD)估计阈值,PNjedgei-edgemeanj点满足以下条件即, exrjexli aswell和他们的身高一样高。其中,exr;exl是x坐标,EyR和EyL分别是水平边缘i和水平边缘j的左右端点的y坐标。在该过程中,考虑统计阈值(T)阈值是最长潜在HE的平均高度的三分之一边缘连接结果如图所示。第8(a)段。尽管如此,链接的边缘图像包含许多不必要的小边缘。这些不必要的边位于并发边段内仅存在最长的潜在水平边缘。假设潜在HE的总数为N。3.2.3. 识别几何特征并检测阶梯ROI为了从水平边缘图像识别预期的楼梯区域,使用楼梯的基本几何特征。在这项工作中使用的主要几何特征是三个连接点(3CP),即,每个楼梯台阶另一个几何特征(a)(b)(c)第(1)款图9.第九条。几何特征估计的过程:a)垂直和水平边缘的不同变化,b)估计3CP的过程,和c)边缘图像中的3CP是¼þ¼ þ ¼þ168海里 Khaliluzzaman/沙特国王大学学报-计算机与信息科学33(2021)161- 182图10个。HE提取和估计VP:a)呈现HE是按排序的,以及b)估计垂直VP的过程图十一岁楼梯类似对象的处理示例:a)输入RGB图像,b)提取Canny边缘,c)由3CP验证的HE, d)估计消失点,以及e)HE按排序。在这项工作中使用的是楼梯步骤的并发HE以排序顺序出现。这些特征如图所示。1.一、通过这些几何特征,先前提取的潜在HE被验证和证明。为此,搜索潜在HE的结束点以找到垂直宽度边缘。执行该操作以估计3CP,通过该3CP确认潜在HE。然而,对于图9(a)中所示的不同噪声和照明条件,VE和HE并不总是完全垂直或水平的。估计3CP的恢复过程如图所示。 9(b). 其中,两条垂直边缘线表示为y1/4m2xmb2和y1/4 m3xmb3,zz边缘线表示为ym1xb1. 这里,m1,m2,和m3是水平和垂直边缘线的斜率。从水平边缘线y1/4m1x 1/4b1和垂直边缘线y1/4m2x1/4b2估计第一交点x1;y1/4。第二次inter-部分点x=2;y=2是估计从的水平线y m1x b1和垂直边缘线y m3x b3。从这两个交点估计三个连接点。的应用该过程来估计楼梯边缘图像上的3CP的结果在图1中呈现。 9(c)。根据图9(b)中呈现的过程,需要恒定时间来估计在HE的每个结束点处的一个3CP。让,时间是C。因此,为了在每个HE的终点找到两个3CP为了从N个HE估计3CP,需要2NC时间。所以最终的时间复杂度时间复杂度为O(N)。在从先前提取的N个水平边缘估计3CP之后,系统验证所提取的N个水平边缘是否来自楼梯。如果估计的3CP与连续提取的N个水平边缘相比大于75%,则确认该验证。图10(a)中示出了经验证的边缘段。此外,VP检查3CP验证的潜在HE,以确认提取的边缘来自楼梯或来自其他视觉上相似的对象,即铁路线和人行横道。这是因为,铁路线和人行横道有类似M. Khaliluzzaman/沙特国王大学学报-计算机与信息科学33(2021)161-182169图12个。检测楼梯候选区域:a)估计VP,b)计算输入楼梯RGB图像中的ROI,以及c)检测楼梯候选ROI。图13岁通过几何特征检测楼梯区域并通过垂直VP验证的处理示例:a)输入楼梯RGB图像,b)通过3CP验证的HE, c)估计消失点,d)HE按排序,以及e)提取楼梯候选ROI。像楼梯一样。VP点是两条直线相交的虚点在这项工作中,VP由在HE的末端侧穿过3CP估计VP的过程如图所示。 10(b).从图10(b)可以观察到,如果从通过3CP验证的潜在HE段确定消失点,则边缘段以从楼梯的底部到顶部的排序顺序出现,这是另一个几何形状楼梯的特点。该特征证明从楼梯区域提取检测到的潜在HE段是合理的,该楼梯区域是楼梯候选ROI。3.2.4. 利用垂直消失点对阶梯候选区域进行验证通过垂直消失点验证检测到的楼梯ROI。为此,使用VP的y坐标值。的原因-≤-.¼≥≥-≤≥170米 Khaliluzzaman/沙特国王大学学报-计算机与信息科学33(2021)161- 182在此之后,从楼梯估计的VP的y坐标值将为负(y0)。<该值将保持在2个IH YCVP<0.其中,IH和YCVP表示图像高度和VP的y坐标值。提取ROI是否来自楼梯的确认由等式中提到的条件定义。( 二)、从楼梯ROI检测到的VP如图所示。 12(a),其中,VP的y坐标值为91.41。在楼梯RGB楼梯图像中检测到的楼梯区域如图所示。 12(b).哪里,菲格。图12(c)示出了检测到的楼梯候选区域。本节解释了一些处理示例,以证明通过VP进行楼梯区域验证的合理性,其中,通过使用楼梯的几何特征来检测楼梯候选区域。为了满足使用VP进行验证的要求,采集楼梯的ROI;如果公司<简介从另一个类似的物体;如果YCVP≥ 0ð2Þ从不同的场景和一些特定的条件。条件是,图像是在距地面不超过两米的高度下捕获的,并且图像与地面的距离不超过两米。如果ROI的VP不满足上述条件,由方程式(2)则平行HE不确定为楼梯台阶边缘段。这些并发的平行HE段估计从其他楼梯类似的对象,如铁路线或人行横道。这背后的原因是,铁路线和人行横道都具有类似楼梯的视觉特征主要区别在于,从铁路线和人行横道确定的VP的y坐标值将为正值,即,y0.铁路线和人行横道的处理实验结果如图11所示。通过实验可以看出,轨道线和人行横道都满足楼梯的相似特性。然而,从人行横道和铁路线确定的VP是不同的,即,(246.05,85.03)和(274.29,73.22)表示在图11中。 11(d).这里,人行横道和铁路线的VP的y坐标值为85.03和73.22,它们是正的,即y0. 这些VP的y坐标值将楼梯区域与类似对象(如人行横道和铁路线)区分开来。消失点在楼梯区域或其他类似物体中发生变化的原因隐藏在它们自身的结构中。主要的结构差异在于,铁路线和人行横道的结构相对于地面不具有任何坡度,其中,楼梯区域被构造成使得其相对于水平轴线(即,地面)具有坡度。 所以,为什么楼梯区域的VP形成在图像之外即负的(y0)。<离摄像机不远。相机的焦点应位于楼梯区域的肚脐处 一些实验如图所示。 13岁图13所示的样本取自不同的场景和环境条件,以证明所提出的系统的有效性。例如,楼梯样本3取自白天的室外场景。其中,样品4和样品5分别在室内和室外的不均匀光照条件下拍摄。图13所示的所有样本均验证了楼梯的几何特征,即:3CP和HE出现按顺序排列这些图像还通过VP的y坐标值(即y0)进行验证。<这些实验值包括处理执行时间,见表1。3.3. 消失点问题的在本节中研究了用于阶梯区域验证的消失点的问题。在以相机未紧密聚焦到楼梯区域的方式拍摄楼梯图像并且楼梯候选区域的斜率和高度在图像平面中较低的情况下,会出现该问题。在这些情况下,楼梯区域的VP将位于图像平面内。这意味着VP的y坐标值将为正,即,(年0个)并且其不位于2 IH 的范围内YCVP <0,其中,IH是图像高度,YCVP是VP的y坐标。作为VP不满足等式中给出的条件(2)因此,表1通过3CP验证阶梯HE,估计VP值和样本图像的处理时间4 15 12 80.00(216.22,-78.06)0.0565 18 16 88.89(251.91,-30.22)0.062图十四岁用于识别VP问题的处理示例:a)输入楼梯RGB图像,b)由3CP验证的HE, c)估计消失点,其中,y≥ 0,以及c)HE按排序。楼梯样品高等教育共计共计3CP3CP(%)垂直VP运行时间3151280.00(226.16,-235.0)0.056≥M. Khaliluzzaman/沙特国王大学学报-计算机与信息科学33(2021)161-182171楼梯候选区域被误分类为铁路线或人行横道。消失点问题与实验结果如图14所示。图14中呈现的图像是与图4(a)相同的图像,然而,图14的图像是以大的聚焦角和距地面的较高高度捕获的。从图 14,揭示了阶梯区域满足几何特征的条件。然而,该样品的VP的y坐标值为正(y≥0),即23.853.3.1. 分析依据实际上,VP位于图像平面内还是图像平面外取决于图像平面中楼梯区域的坡度和高度。基本上,图像平面中的楼梯区域的斜率和高度取决于三个基本标准,即1)摄像机的焦距,2)摄像机与楼梯区域之间的距离,以及3)摄像机距地面的高度。基于这三个基本标准的VP问题的合理性在图3和图4中展示。 15比17在图15中,解释了焦距的基本标准,这里,以两个不同的焦距(U1和U2)捕获相同的图像,并且这些图像被放置在高度为H1和H2的两个2D图像平面中。由于U1的角度大于U2,因此U1(黑色)的图像平面H1大于U2(黄色)的图像平面H2从这些分析中可以看出,如果以大的焦距捕获图像,则图像平面中的阶梯区域的斜率和高度将较小,这是反比例的。如果焦点角度增加得更多,则楼梯区域的斜率将减小得更多,并且楼梯台阶将更加平行于地面。因此,为什么对于大的聚焦角,阶梯区域的VP将驻留在图像平面中,这在图15(b)中示出。因此,对于较低的焦距(U2),像平面中的阶梯区域的斜率(s2)和高度(h2这里,阶梯区域(h2)和图像平面(H2)的高度比大-大于h1和H1的比值。因此,该楼梯区域的VP将位于图像平面之外,如图15(c)所示。用于评估楼梯区域的VP的相机距离标准的效果这里,从具有不同焦距U1和U2的不同距离点A和B捕获相同的楼梯图像。这些捕获的图像被放置在两个2D图像平面,其高度为H1和H2。 从图16中可以观察到,图像平面H1,即,从点A捕获的图像大于图像平面H2即,从点B. 还观察到,如果从大距离捕获图像,则图像平面中的阶梯区域的斜率(s1)和高度(h1)较小,反之亦然。这意味着楼梯区域的斜率和高度之间的关系与相机距楼梯区域的距离成反比图16(d)中示出了基于相机距离的楼梯区域的斜率和高度之间的关系,其中,分别从长距离和短距离捕获的楼梯区域出现黑色和黄色水平边缘。在这里,坡度和高度与楼梯台阶的水平边缘解释,以便更好地理解。从图16(d)中可以看出,如果相机与楼梯区域的距离增加,则楼梯台阶的边缘斜率减小。如果相机与楼梯区域之间的距离增加得更多,则水平楼梯台阶边缘将更平行于地面,这增加了楼梯区域的VP驻留在图像平面内的可能性。摄像机远距离对图像平面中楼梯区域的坡度和高度的影响如图所示。 16(b). 短距离效应如图所示。 16(c). 形成图如图16(b)所示,可以看出,对于长距离,楼梯台阶的坡度(s 1)和高度(h 1)减小,并且楼梯台阶的水平平行边缘移动到地面。结果,该平行边缘段的VP位于图像平面内,并且VP的y坐标值将为正,即y0,这在图16(b)中示出。另一方面,对于较短的距离,图15.基于焦距准则的VP问题的解释:a)不同焦距的像平面,b)具有U1焦距的像平面中的阶梯像,以及c)具有U2焦距的像平面中的阶梯像≥172海里 Khaliluzzaman/沙特国王大学学报-计算机与信息科学33(2021)161- 182图十六岁基于相机与楼梯区域之间的距离的标准来解释VP问题:a)不同距离中的图像平面,b)以U1焦距从长距离捕获的图像平面中的楼梯图像,以及c)以U2焦距从短距离捕获的图像平面中的楼梯图像,以及d)从不同距离捕获的楼梯台阶坡度和高度的比较(从长距离捕获的黑色和从短距离捕获的黄色(关于此图例中颜色的参考解释,请读者参考本文的网络版本楼梯区域不会像长距离那样减少,如图所示。 16(d). 在短距离内,楼梯台阶的坡度(s2)和高度(h2)大于长距离的坡度(s1)和高度(h1) 从图 16(c)中,还观察到阶梯高度(h 2)和像平面高度(H 2)的比率相对于h 1和H 1的比率相当大。因此,该楼梯台阶边缘段的VP位于图像平面之外,如图11所示。 16(c).摄像机高度标准对评估楼梯区域VP的影响如图所示。 十七岁为了描述该标准,从具有不同高度AC和BC的相同距离捕获相同图像。这些图像被放置在高度为H1和H2的两个2D图像平面中。由于图像是从相同的距离拍摄的,因此图像平面H1和H2几乎相同。然而,阶梯区域在图像平面中的投影是不相同的。由于摄像机离地面的高度不同,楼梯区域在图像平面中的投影也不同。长距离(黑色)和短距离(黄色)的楼梯台阶边缘段从图17(d)可以看出,为了增加相机距地面的高度,图像平面中的楼梯区域的斜率和高度将减小。这意味着楼梯区域的坡度和高度之间的关系与相机距地面的高度成反比,反之亦然。如果相机的高度增加得更多,则楼梯台阶的水平平行边缘的投影将更平行于地面,并且增加了楼梯区域的VP驻留在图像平面内的可能性凸轮高度的影响用于估计VP的阶梯区域上的era如图所示。 17(b)和图。 17(c).从图如图17(b)所示,可以看出,对于相机的较高高度(BC),楼梯台阶平行水平边缘被移动到地面并减小楼梯台阶斜率(s 1)和高度(h 1)。结果,该边缘段的VP位于图像平面内,VP的y坐标值为正,即y0。其中,在图17(c)中,对于相机的较低高度(AC),楼梯台阶水平边缘在图像平面中示出较高的斜率(s2)和高度(h2因此,该楼梯台阶边缘段的VP位于图像平面之外,如图2所示。 17(c).3.3.2. VP定位的数学模型通过对这三个基本准则的分析,可以看出,阶梯区域的VP是位于图像平面内还是位于图像平面外取决于阶梯区域的坡度和高度。然而,在基本标准部分中没有解释VP将驻留在图像平面内或图像平面外的确切条件。在这方面,在本节中引入数学模型来估计楼梯区域的消失点的位置根据这三个基本标准,图像平面中楼梯区域的VP的位置取决于楼梯区域的高度以及楼梯区域在图像平面中的放置。因此,在本节中建立了预测阶梯区域VP位置的数学模型。该模型是基于楼梯区域的高度和楼梯区域的地面高度从图像平面的顶部的比率。VP的位置估计过程如图所示。 十八岁Hy2y434M. Khaliluzzaman/沙特国王大学学报-计算机与信息科学33(2021)161-182173图十七岁基于相机距地面的高度的标准来解释VP问题:a)距地面不同高度的图像平面,b)从高度AC以U1焦距捕获的图像平面中的楼梯图像,以及c)从高度BC以U2焦距捕获的图像平面中的楼梯图像,以及d)从不同高度捕获的楼梯台阶坡度和高度的比较(从高度AC捕获的黑色和从高度BC捕获的黄色(关于此图例中颜色的参考解释,请读者参考本文的网络版本根据图18所示的过程,消失点P(xp;yp)由两条直线AP和CP的交点形成。直线AP和CP分别通过点A(x1;y1)、B(x2;y2)和C(x3;y3)、D(x4;y4)。在此过程中,楼梯区域的高度由h表示,其值为y1-y2 或y3-y4。 楼梯区域的地面高度图像平面的顶部由H表示,其值为y1-yp或y3-yp。在这个过程中,消失点P形成在图像平面的顶部,所以它因此,H的值将是y1或y3。假设h和H的比值为R,即R^h。所以R的值是1-y1或1-y3,这与x和y坐标消失点的值。消失点P由通过A、B和C、D点的直线形成。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 新型智能电加热器:触摸感应与自动温控技术
- 社区物流信息管理系统的毕业设计实现
- VB门诊管理系统设计与实现(附论文与源代码)
- 剪叉式高空作业平台稳定性研究与创新设计
- DAMA CDGA考试必备:真题模拟及章节重点解析
- TaskExplorer:全新升级的系统监控与任务管理工具
- 新型碎纸机进纸间隙调整技术解析
- 有腿移动机器人动作教学与技术存储介质的研究
- 基于遗传算法优化的RBF神经网络分析工具
- Visual Basic入门教程完整版PDF下载
- 海洋岸滩保洁与垃圾清运服务招标文件公示
- 触摸屏测量仪器与粘度测定方法
- PSO多目标优化问题求解代码详解
- 有机硅组合物及差异剥离纸或膜技术分析
- Win10快速关机技巧:去除关机阻止功能
- 创新打印机设计:速释打印头与压纸辊安装拆卸便捷性
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功