没有合适的资源?快使用搜索试试~ 我知道了~
© 2013年。出版社:Elsevier B.V.由美国应用科学研究所负责选择和/或同行评审可在www.sciencedirect.com在线获取ScienceDirectAASRI Procedia 4(2013)72 - 772013年AASRI智能系统与控制航空视频监控Ahlem Walhaa,Ali Walia和Adel M. Alimia *aREGIM实验室。智能机器研究实验室,斯法克斯大学,斯法克斯国家工程学院(ENIS),BP1173 Sfax 3038,突尼斯摘要航空视频稳定系统的目的是消除航空视频中不希望有的运动。该运动是移动传感器的不期望运动的结果。本文提出了一种新的无人机视频稳定系统。我们的系统基于关键点跟踪。我们使用尺度不变特征变换(SIFT)的关键点检测,和匹配估计仿射变换模型的参数。然后,卡尔曼滤波器与中值滤波器应用于去除视频噪声。大量的实际航拍视频监控结果表明,该方法能够取得较好的效果。© 2013作者。由Elsevier B. V.在CC BY-NC-ND许可下开放获取。由美国应用科学研究所负责选择和/或同行评审关键词:航空视频稳定;卡尔曼滤波;运动估计;尺度不变特征变换;1. 介绍移动监控系统中的输出视频的质量受到不同的不希望的抖动,如轨道,不希望的振动运动,吊杆或摇摄。视频稳定用于创建新的视频序列,其中帧之间的不期望的运动已经被移除。因此,它已成为许多移动设备中必不可少的* 通讯作者。联系电话:+216-21749702;传真:+216-74677545。电子邮件地址:walha.ahlem,ali.wali,adel. ieee.org2212-6716 © 2013作者由Elsevier B. V.在CC BY-NC-ND许可下开放获取。美国应用科学研究所负责的选择和/或同行评审doi:10.1016/j.aasri.2013.10.012Ahlem Walha等人/ AASRI Procedia 4(2013)7273监视系统,例如无人机(UAV)系统。它也是许多航空应用的第一步,如背景估计和目标跟踪[1]。视频稳像技术可分为四类:光学稳像技术、机械稳像技术、电子稳像技术和数字稳像技术。在本文中,我们重点介绍了数字方法。该技术是一种图像预处理技术。所有的数字稳定系统处理三个基本方面。第一个是全局运动估计,第二个是运动平滑,最后一个是运动补偿。在这些组成部分中,全局运动估计的步骤是最重要的,但也是最困难的一个[9]。在固定摄像机的情况下,强风或来自繁忙交通的小振动可以引起全局运动。在这种情况下,背景在长期内几乎是固定的[15]。因此,可以通过局部点跟踪[1]或通过搜索包含很少运动的区域[7]来计算运动。在移动平台的情况下,进行了研究,全局运动包括两个元素:有意和不必要的运动。在移动相机的情况下,已经做出了几项努力。块匹配技术通过使用不同的自适应滤波器来改进运动估计[9]。如果视频不包含移动对象,则这些方法呈现出良好的结果[8]。本文提出了一种新的系统,以稳定空中视频监控提取和匹配SIFT点连续帧。在下文中,Sec.2引用了一些关于视频稳定的相关工作; 3描述了我们提出的系统。我们的系统所取得的成果在第4节中介绍。最后,第5节总结了结论。2. 相关工作基于特征的算法的目标是通过从视频图像中提取特征来估计帧间运动[15]。一些将特征提取与其他鲁棒滤波器相结合的技术[6]具有良好的性能。运动滤波也是视频稳定过程中的一个重要步骤。在该步骤中,通过估计运动的评估来识别不期望的运动。已经引入了不同的方法来校正平移和旋转抖动。卡尔曼滤波[10]和扩展卡尔曼滤波、帧位置平滑[13]、高斯滤波[17]和运动矢量集成[14]都属于这些技术。 在[14]中介绍了使用SIFT [12]的视频稳定算法。Junlan等人[14]使用迭代最小二乘法来减少估计误差,然后使用自适应运动矢量集成来过滤有意的相机运动。另一个系统[19]采用SIFT点来计算帧间运动。该算法通过卡尔曼滤波识别有意运动,并通过粒子滤波减小误差方差.但是,在本系统中,原有SIFT算法的参数并不适用于视频稳定系统。而每帧计算的卡尔曼滤波和粒子滤波都意味着密集的计算。3. 方法我们的输入是从无人机捕获的真实视频。首先,提取SIFT点并对连续两帧进行匹配。其次,利用仿射变换模型估计帧间运动。最后,在帧补偿步骤中,采用卡尔曼滤波和中值滤波相结合的方法。详细情况说明如下。3.1. SIFT点提取与匹配SIFT由David Lowe提出作为局部特征描述[12]。SIFT点对图像的平移、旋转和缩放是不变的[2]。因此,它可以识别和跟踪多帧视频中的关键点。74Ahlem Walha等人/ AASRI Procedia 4(2013)72它也可以提供强大的匹配,在我们的情况下,空中视频的挑战被认为是如噪声,视点变化和不恒定的照明。在我们的方法中,我们估计全局运动矢量提取SIFT点从两个连续的帧。接下来,我们通过匹配两组不变特征来计算局部运动矢量。换句话说,帧n-1和帧n之间的局部运动矢量可以通过从这两个帧中提取第一和第二关键点K点1(x点1,y点1,1)和K点2(x点2,y点2,1)来估计。在这一步中,我们可以展示关键点是如何从两个连续的帧中移动的。然后,我们使用RANSAC(随机抽样一致性)选择最佳匹配。但是,通过这种方法,我们获得了整数个局部运动矢量。这些向量集不包含对相机的真实移动的有用指示,因为它们包括与帧中的移动对象相关的匹配。在处理这个问题时,我们假设场景中的运动物体相对于其他运动物体的速度是非常大的。为此,我们使用一个固定的阈值,以消除移动对象。因此,我们可以生成转换矩阵。3.2. 运动估计运动可以通过2-D模型或3-D模型来描述[2]。在2D平面中发生的各种变换是平移、欧几里得或旋转、相似性和仿射。因此,在我们的方法中,我们采用一个四参数的2-D仿射估计模型来描述两个连续帧之间的几何变换。给定在帧n中定位为Pn(xn,yn,1)并且在帧n+1中定位为Pn+1(xn+1,yn+ 1,1)的点,从Pn到Pn+1的变换模型可以描述为:xn1YN11XnA. yn1(一)A是由场景中的相机的旋转、Sc缩放以及Trx和Try平移精确描述的仿射矩阵,SccosA.Scsin0史辛Sccos0TrxTry1(二)与完全仿射变换矩阵相比,该矩阵只有四个自由参数,原来有六个:一个比例,一个角度,两个平移。为了解决这个问题,我们使用线性最小二乘法的一组迭代。事实上,它可以提供鲁棒的参数估计。3.3. 运动补偿在最后一步中,我们需要校正当前帧以获得稳定的图像。但方程(1)中计算的参数包含两种类型的运动:传感器的运动和无人机的正常运动。为了补偿当前帧,我们应该分离这两种类型的运动。Ahlem Walha等人/ AASRI Procedia 4(2013)7275图1 VIRAT航空视频数据集卡尔曼滤波是根据估计的运动来放置新帧的基本过程。因此,我们使用该滤波器来估计传感器的运动然后,我们使用中值滤波,以改善所获得的结果。4. 实验和结果我们在VIRAT空中视频数据集[16]的各种场景上测试了我们的系统,这些场景包含以30 fps捕获的720 x 480像素的低分辨率序列。这个航空数据集的特点是缩放,不同的观点和规模。所提出的系统的结果如图所示。2图二.原始和稳定的视频。第一行:原始序列的第1、40、80和211帧显示在这里。第二行:稳定序列。峰值信噪比(PSNR)是用来评估我们的稳定视频的质量。在两个召唤帧之间计算的PSNR被定义为:峰值信噪比n10log10IMAX(三)PSNR给出了所需输出和所获得的视频之间的关系。在这个等式中,MSE n度量连续帧之间的均方误差,IMAX是图像的最大像素值。帧尺寸由N和M表示。原始视频的每帧的PSNR值和我们的稳定视频如图3所示。两个稳定帧之间的较高PNSR表示稳定视频的良好质量。MSE n76Ahlem Walha等人/ AASRI Procedia 4(2013)721MNMNy1x 140302010视频2视频1原始视频2稳定视频1稳定00 10 20 30 41 51 62 73 83 93MSE nINx,yIn1x,y2(四)图三.两个原始视频和两个稳定视频的PSNR。帧间变换保真度(ITF)的测量由下式确定:ITF1N帧N帧1峰值信噪比k1K1(五)TIF是两个召唤帧之间的PSNR的平均值。通常,该平均值用于每个值,以获得稳定视频的质量的近似估计。与PSNR类似,ITF上限值表示超高质量视频稳定。测试的三个视频序列的ITF值如表1所示。这一评估表明,我们稳定的视频的ITF优于原始视频的ITF。我们的稳定视频的ITF增强,这是可以接受的。表. 1 ITF的原始和稳定的视频视频ITF稳定的ITFVideo123,7423,98视频218,0421,87视频325,6527,545. 结论和今后的工作介绍了一种新型的航空视频稳定系统。该系统的主要思想是通过检测和匹配SIFT点来滤除不期望的运动,从而预测帧间运动。为了评估我们的系统,我们使用了安装在无人机上的摄像头拍摄的真实视频。实验结果证明了我们的稳定系统的效率和准确性。我们未来的工作将集中于在局部运动检测过程中结合光流进行运动估计。Ahlem Walha等人/ AASRI Procedia 4(2013)7277引用[1] Hong S,Hong T和Wu Y,多分辨率无人机视频稳定,航空航天和电子会议(NAECON),第126-131页,2010年。[2] Manish O和Prabik。K. B,Improving video stabilization in the presence of motion blur,Computer Vision,Pattern Recognition,Image Processing and Graphics,第78-81页,2011年。[3] Rawat P和Singhai J,手持移动视频的运动估计和视频稳定技术综述,信号图像处理:国际期刊(SIPIJ)第2卷,第2期,2011年6月。[4] 王志文,“快速电子稳像技术”,北京大学计算机科学研究所,2000年。[5] Walha A,Wali A和Alimi AM,用于检测视频流中的事件的支持向量机方法,[6] 陆伟,赵红英,王世义,王思杰,小型无人机图像稳定的自适应补偿算法,地球科学与遥感研讨会(IGARSS),第4391-4394页,2012。[7] Batur AU和Flinchbaugh B,具有优化运动估计分辨率的视频稳定图像处理国际会议,第465 -468页,2006年[8] 张志刚,张光友,基于2.5维运动估计和惯性运动滤波的数字视频序列稳定,实时成像,第7卷,第4期,第357[9] 陈志华,“动态影像处理之动态影像滤波”,国立成功大学影像处理研究所硕士论文,2005年。[10] 埃尔图克湾基于帧位置卡尔曼滤波的图像序列稳定。Electronics Letters,37(20),200.[12] 洛湾从尺度不变的关键点中提取独特的图像特征。国际计算机视觉杂志,第60卷(2),第91-110页[13] Erturk S,图像序列稳定:运动矢量积分(MVI)与帧位置平滑(FPS),图像和信号处理与分析,第266-271页,2001年。[14] Junlan Y,Schonfeld D和Mohamed M,基于投影摄像机运动的粒子滤波跟踪的鲁棒视频稳定,视频技术电路和系统,IEEE学报,第19卷,第7期,第945-954页,2009年。[15] Wali A和Alimi AM,从大型视频数据集进行事件检测的增量学习方法,高级视频和基于信号的监控(AVSS),第555 - 560页[16] 张文辉,张文辉. A,Hyungtae L,Larry D,Eran S,Xioyang W,Qiang J,Kishore R,MubarakS,Carl V,Hamed P,Deva R,Jenny Y,Antonio T,Bi S,Anesco F,Amit RC and Mita D.监控视频事件识别的大规模基准数据集。计算机视觉和模式识别(CVPR),第527 - 528页[17] Hong S和Atkins E,通过全局配准和SIFT消除自我运动增强的运动传感器视频图像处理,人工智能工具,ICTAI '08,poges 37 -40,2008。
下载后可阅读完整内容,剩余1页未读,立即下载
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 基于嵌入式ARMLinux的播放器的设计与实现 word格式.doc
- 经典:大学答辩通过_基于ARM微处理器的嵌入式指纹识别系统设计.pdf
- 嵌入式系统课程设计.doc
- 基于飞思卡尔控制器的智能寻迹车设计ARM基础课程课程设计.doc
- 下载基于ARM7的压电陶瓷换能器导纳圆测量仪的研制PDF格式可编辑.pdf
- 课程设计基于ARM的嵌入式家居监控系统的研究与设计.doc
- 论文基于嵌入式ARM的图像采集处理系统设计.doc
- 嵌入式基于ARM9的中断驱动程序设计—课程设计.doc
- 在Linux系统下基于ARM嵌入式的俄罗斯方块.doc
- STK-MirrorStore Product Release Notes(96130)-44
- STK-MirrorStore Storage Connectivity Guide for StorageTek Disk A
- 龙虾养殖远程监控系统的设计与实现数据采集上位-机软件模块-本科毕业设计.doc
- 龙虾养殖远程监控系统的设计与实现数据采集上位-机软件模块-.doc
- 龙虾养殖远程监控系统的设计与实现数据采集上位-机软件模块-本科生毕业论文.doc
- 麻阳风貌展示网站的设计与实现毕业论文.pdf
- 高速走丝气中电火花线切割精加工编程设计.doc
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)