没有合适的资源?快使用搜索试试~ 我知道了~
无人机图像的基于视觉的铁路轨道提取与监控
⃝⃝可在www.sciencedirect.com上在线ScienceDirectICT Express 5(2019)250www.elsevier.com/locate/icte通过无人机图像进行基于视觉的铁路轨道提取和监控Arun Kumar Singha,Anushka Swarupa,Ankush Agarwalb,Dharmendra Singha,a印度理工学院电子与通信工程系,Roorkee,Uttarakand,247667,印度 b印度理工学院计算机科学与工程系,Roorkee,Uttarakand,247667,印度接收日期:2017年9月16日;接受日期:2017年11月15日2017年12月12日在线发布摘要轨道检测和轨距测量被认为是铁路检测系统的关键方面。传统上,由人类检查员进行监测。如今,基于计算机视觉的系统由于其灵活性和易用性而被使用。近年来,已经提出了各种将无人机用于这样的监测系统提供了用于监测轨道的具有成本效益且准确的手段。本文探讨了通过无人机图像进行基于计算机视觉的监控的可能性。实验结果表明,该方法具有较高的可靠性和准确性。c2019韩国通信与信息科学研究所(KICS)。Elsevier B. V.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。关键词:Canny边缘;计算机视觉;无人机图像;厚度测量1. 介绍铁路被认为是公众的生命线,数百万人每天使用铁路进行旅行和运输。为了维护公共和货物的安全,必须经常检查轨道。根据铁路事故统计,重大脱轨事故的发生是由于人为故障或监测系统不频繁和不当。传统的铁路轨道检测是使用人工检测员或通过自动化车辆进行的,这是一个不频繁且复杂的过程。由于技术的进步以及对有效和更好的轨道监控的需求,基于计算机视觉的监控系统在铁路中的使用越来越多[1]。各种研究人员已经提出了基于视觉的检测系统的原型,该系统使用安装在推车和火车上的摄像机来捕获数据以进行分析。这种自动化有助于实现具有更高性能水平的成本效益解决方案,这通常是通过人工检查无法实现的。*通讯作者。电子邮件地址:dharmfec@iitr.ac.in(D. Singh)。同行评审由韩国通信和信息科学研究所(KICS)负责https://doi.org/10.1016/j.icte.2017.11.010轨道几何形状基于定义轨道路径的数学模型。轨道的检查包括调查各种类型的轨道部件及其特性[2]。它包含一些视觉上明显的缺陷,如缺少紧固件,夹子和开关缺陷,以及一些不太明显的缺陷,如与量规的偏差。这些缺陷的主要原因是由于承受重负荷、老化以及各种天气条件引起的收缩和膨胀而产生的应力[3]。现有系统使用各种方法,例如电磁检测、涡流检测、超声波技术和光学方法,例如安装在移动推车上的激光和摄像机,以对轨道执行各种检测操作[4]。近年来,研究人员将计算机视觉用于铁路部件分析,以提高检测系统的效率,客观性和准确性。Maneesha Singh等人[5]使用自动视频分析来查找丢失的剪辑和最近被损坏剪辑替换的蓝色剪辑。Mehmet Karakose等人[4]将摄像机放置在火车的车顶上进行图像采集,并对这些图像进行进一步的特征提取以确定铁轨。实现全自动铁路部件分析仍然是一项具有挑战性的任务。进行了全面的工作,2405-9595/c2019韩国通信和信息科学研究所(KICS)。Elsevier B. V.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。A.K. 辛格A.Swarup,A.Agarwal等人/ICT Express 5(2019)250251×Xavier Gibert等人[6]其中通过在学习框架内组合多个检测器来提高性能Esther Resendiz等人[7]进行的另一项轨道自动检测工作使用信号处理和频谱估计,可对周期性出现的轨道分量进行稳健检测。Ralph Ross [8]使用单焦摄像机进行了基于视觉的道岔检测,以使用递归估计方法改善更好的定位。对于频繁的轨道状况分析,上面讨论的各种方法本质上是复杂的因此,研究了通过无人机进行铁路轨道分析。无人机提供了在各种高度和无法应用常规检查方法的不利地形下因此,来自无人机的航拍图像为分析提供了有用的信息[9]。无人机数据包含各种挑战,例如校正,参考和地面采样,需要各种预处理任务[10]。尽管如此,通过无人机进行监控具有几个优点,例如它不需要单独的轨道进行数据采集,从而不会妨碍列车的时间表。此外,它很容易在地面现实中实现,并且是准确和成本有效的。因此,它可以经常用于监控任何情况。无人机有一些局限性,如有限的飞行能力,由于电池的限制,训练有素的人来操作它。拼接和纠正是必要的,以检查大面积下考虑,铁路轨道的横向侧缺陷是很难发现的帮助下,无人机。本文提出了一种新的计算规范使用无人机图像进行测量。通过对无人机数据应用计算机视觉技术来确定轨道的健康状况。2. 方法2.1. 数据采集数据获取方法是计算机视觉应用中的一个关键问题.采集轨道图像和视频是轨道检测系统的重要组成部分DJIPhantom 3专业版拥有4k相机,配备索尼传感器,能够生成4000 3000像素的图像,并可以以UHD,FHD和HD录制视频,具有各种帧率,向下视觉系统用于拍摄数据,如图1(a)所示。无人机拍摄的航拍图像样本如图所示。 1(b).图1(a)和(b)中的图像于2017年4月25日上午11:51(IST)在印度Roorkee附近的纬度29.76768000和经度78.01000000处拍摄。图1(b)在海拔312.388米(ASL)处拍摄。无人机已经飞过预定义的路径,并以连续的间隔自动捕获图像2.2. 数据预处理无人机数据具有各种预处理挑战,例如校正,地面样本距离的计算,从视频中提取帧等。一旦获得静止图像,Fig. 1. (a)无人机在轨道上方(b)无人机拍摄的航拍图像。图三. HSV色轮。在MATLAB中的脚本的帮助下调整大小和裁剪。根据需要进行进一步加工,以达到目的。应用高斯平滑以去除噪声。在不同天气条件下捕获的图像具有不同的照明,如图2(a)所示,其在阴天捕获,并且观察到比在晴天捕获的图2在捕获数据时,这些照明条件可能在很大程度上改变因此,使用适当的技术来处理这样的条件,HSV颜色提取可以适合于处理这些天气条件。252A.K. 辛格A.Swarup,A.Agarwal等人/ICT Express 5(2019)250图二. 航空影像上的各种照明条件。图五. 提取的铁路轨道灰度图像。见图4。(a)晴天的掩蔽图像(b)使用晴天的HSV颜色提取来提取铁路轨道。2.3. HSV颜色提取色相、饱和度和明度(HSV)是一种在柱面坐标中表示RGB的颜色HSV颜色空间根据其色调(真实颜色),饱和度(灰度)和值(亮度)来描述颜色。在不同的天气条件下或在一天中的不同时间为了克服这个问题,并在所有天气条件下更好地检测铁路轨道,图像被转换到HSV空间。铁轨是由优质合金钢制成的。结果发现,铁轨具有紫色/粉红色色调,无论图像的对比度如何,该色调都保持不变。考虑从图3中所示的上述HSV色轮中将对象从范围330-270周围分离色调的上限和下限是在应用阈值,但是观察到,在这些限制的情况下,难以最佳地提取铁路轨道因此,通过应用多个阈值掩模来提取青色和品红色范围之间的所有因此,丢失铁路轨道的任何部分的风险降低。该方法在包含1024幅图像的数据集上进行测试,该数据集是通过定期进行09次现场检查而准备的饱和度是灰度的量,值是图像的亮度。这些组件的最大限值范围为0到1。在饱和度上限0.7和值下限0.2的微小变化下,产生最佳结果。然后将图像转换回RGB空间进行进一步处理。图4(b)示出了对应于图4的RGB彩色图像的HSV图像。 2(b).图图4(a)和(b)示出了HSV颜色提取机制能够有效地将轨迹与包括植被和其他结构(如桥梁、道路等)的环境分离。为了进一步处理,提取的RGB图像被转换成灰度图像。 图 5示出了图1所示的增强图像的灰度图像。 4(b).2.4. 边缘检测为了将铁轨从背景中分离出来,使用了边缘检测技术在所应用的技术中,发现Canny边缘检测器给出了最准确的结果。采用Canny边缘检测器检测图像的边缘A.K. 辛格A.Swarup,A.Agarwal等人/ICT Express 5(2019)250253×==×见图6。 感兴趣区域的精细边缘。2.6. 监控水位GSD根据相机的高度和方向将相机传感器的像素中心之间的距离映射到地面上的实际距离。在这种情况下,无人机在固定高度捕获图像,并且相机方向保持向下,因此图像捕获给出轨道的正交视图由于相机安装在万向节上,因此无人机的速度影响可以忽略不计。对于GSD计算,无人机的传感器尺寸(CCD)以像素(4000 3000)为单位所有其他信息,如焦距,无人机飞行高度,方向是从图像元数据提取。GSD的计算方法如下:CCD像素尺寸传感器宽度(cm)图像宽度(像素)(一)见图7。 canny边缘图像的形态学运算。见图8。 图像与检测到的铁路轨道。轨道的边缘以找到梯度值[11]。识别并裁剪感兴趣区域以找到边缘检测机制。在包含1024幅图像的数据集上以各种阈值进行实验,范围从0.2到0.9,用于Canny边缘检测[12],发现0.6给出了具有清晰铁路轨道边缘的最佳结果,并且存在最少量的噪声,如图所示。 六、2.5. 轨道检测在从边缘检测铁路轨道之前,去除[图11]中的小连接像素。图6]中所示的方法是通过在MATLAB中应用“bwareaopen”命令来执行的,该命令具有去除低于图7中所示的阈值的连接像素的能力。图7中的结果示出了轨道的清晰边缘。将该二进制图像逐列扫描并创建2D阵列。值为1的像素的行数存储在与其列号对应的阵列中。然后将阵列中的坐标绘制在原始RGB图像上。为了克服被检测到的轨迹以外的分量的可能性这个过程给出了一组代表铁路轨道的四条线。如图所示,从集合中选择第二条和第三条线(最里面的线)进行量规测量。8.第八条。CCD像素尺寸(2)Ck其中,Hg=离地飞行高度Ck=无人机相机根据第2.5节中提取的线2和3,在线3上为线2的每个像素绘制一个垂线,以找到选择用于测量量规的感兴趣区域中的像素数。量规测量值计算为:量规=GSD×像素数(3)其中,GSD是地面采样距离,像素计数是第2行和第3行之间的像素数。3. 拟议工作流程图中的流程图 9显示了建议的工作流程。4. 结果和讨论4.1. 量规测量轨距测量是任何轨道监测系统的关键方面。为此,生成了一个条形图,显示了计算的标距。图10示出了铁路轨道的所有连续点之间的距离的曲线图。该条形图给出了通过所提出的算法测量的量规的图形描述x轴表示沿着感兴趣区域中的轨迹的像素,而y轴给出与轨迹的红线是轨道的标准轨距即167厘米。该图显示每个像素具有不同的规格但在允许的极限+5cm以下。因此,在感兴趣的区域中没有发现轨道上的缺陷。4.2. 不同雷电条件下轨距测量分析为了测试该应用程序的可靠性和准确性,我们对在不同天气条件下拍摄的数千个航空图像样本进行了测试。表1中的前两行显示的是在季风季节拍摄的图像,对比度较暗后两排254A.K. 辛格A.Swarup,A.Agarwal等人/ICT Express 5(2019)250表1一个月以上的轨道监测调查数据。图像日期海拔(m)实际厚度(cm)测量厚度(cm)误差(cm)粤ICP备05018888号-1375167166.660.34粤ICP备17044777号-1382167165.951.05粤ICP备16039660号-1373167167.890.89粤ICP备09036888号-1380167168.031.03见图9。拟议方法流程图。见图10。感兴趣区域的测量量规的条形图。表1中的图1示出了在明亮的日光期间捕获的图像。此外,在所有图像中存在高度变化。它从测量的仪表可以明显看出,该系统能够在不同的天气条件下工作,并且不受高度变化的影响。5. 结论铁路检测系统的自动计算机视觉机制提供了快速,准确和成本效益的方式来检测铁路轨道中存在的各种异常。尽管存在一些限制,但近年来无人机数据在研究人员中非常受欢迎。这些数据提供了高质量的图像,其中包含大量用于监测和分析的信息。无人机检查不需要专门的轨道进行检查,因此不会影响列车的平稳运行另外,摄像机向下的航拍图像因此,量规的计算给出了高精度的结果。利用计算机视觉和图像分析的航空图像检测在各个领域提供了高可靠性和准确的评估。在未来,无人机监测可以应用于检测铁路轨道的各种组件。确认作者要感谢印度RailTel公司,印度德里,以赞助这项工作。利益冲突作者声明本文不存在利益冲突引用[1] S. Zheng,X.柴,X.安湖,澳-地李,基于计算机视觉的铁路轨距检测方法,在:机电一体化与自动化,ICMA,2012年国际会议,2012年,第100页。公元1292-1296年。[2] Z. Wang等人,基于几何约束的可视化铁路轨道提取,见:智能控制与自动化,WCICA,2016年第12届世界大会,2016年,第12页。993-998[3] H. Trinh,N. Haas,Y. Li,C.奥托,S。Pankanti,用于铁路轨道检测的增强型铁路部件检测和整合,在:计算机视觉的应用,WACV,2012 IEEE研讨会,2012年,第101页。289-295。[4] M. 卡拉科斯岛Yaman,M.贝金湾Murat,E.Akin,基于计算机视觉的铁路轨道检测和故障诊断新方法,2017年。[5] M.辛格,S。Singh,J. Jaiswal,J. Hempshall,使用基于视觉的系统进行自动铁路轨道检测,载于:国土安全和个人安全的计算智能,2006年IEEE国际会议论文集,2006年,第100页。56比59[6] X. Gibert,V.M.帕特尔河,巴西-地Chellappa,铁路轨道检测的深度多任务学习,IEEE Trans. 内特尔运输单系统18(1)(2017)153A.K. 辛格A.Swarup,A.Agarwal等人/ICT Express 5(2019)250255[7] E. Resendiz,J. Hart,N.陈文,铁路轨道的自动视觉检测,北京交通大学出版社。运输单14(2)(2013)751-760。[8] R. Ross,使用递归估计的基于视觉的轨道估计和道岔检测,在:智能交通系统,ITSC,2010年第13届国际IEEE会议,2010年,第13页。1330-1335.[9] F.弗拉米尼角Pragliola,G. Smarra,无人机铁路基础设施监测,载于:飞机、铁路、船舶推进和公路车辆电气系统国际运输电气化会议,ESARS-ITEC,国际会议,2016年,第100页。1比6[10] O.I. Chumachenko,A.V. Gilevoy,无人机中的图像处理,载于:《无人机发展的实际问题》,APUAVD,2013年IEEE第二届国际会议,2013年,第113页。七十五比七十六。[11] R. Muthukrishnan,M. Radha,图像分割的边缘检测技术,Int. J.Comput. Sci. INF. Technol. 3(6)(2011)259[12] S. 班 萨 尔 河 Maini , 迭 代 和 Ostu 阈 值 技 术 的 比 较 分 析 ,Int.J.Comput。66(12)(2013)中所述。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功