没有合适的资源?快使用搜索试试~ 我知道了~
可在www.sciencedirect.com在线获取ScienceDirectCAAITransactions on Intelligence Technology 1(2016)72e78http://www.journals.elsevier.com/caai-transactions-on-intelligence-technology/原创文章基于像素级运动矢量场和网格孔洞填充的川心汤a,王荣刚a,朱丽b,*,王文敏a,高文aa北京大学深圳研究生院电子与计算机工程学院,深圳518055b密苏里大学计算机工程学院2016年6月4日在线发布摘要大多数传统的方法是基于块运动补偿,往往涉及严重的块效应的内插帧。本文提出了一种新的基于像素级运动矢量场的帧内插方法。我们的方法包括以下四个步骤:(i)应用光流算法估计的像素级运动矢量(MV)来消除块效应(ii)运动后处理和超采样反走样来解决像素级MV引起的问题(iii)鲁棒的变形方法来解决由遮挡引起的碰撞和孔洞(iv)新的使用三角网格的孔洞填充方法(HFTM)以减少由孔引起的伪像。实验结果表明,该方法能有效地消除插值帧中的空洞和块效应,在客观和主观性能上均优于现有方法,特别是对于复杂运动序列。Copyright © 2016 , 重 庆 理 工 大 学 . Elsevier B. V. 制 作 和 托 管 这 是 CC BY-NC-ND 许 可 证 下 的 开 放 获 取 文 章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。关键词:帧内插;运动估计;运动矢量场;帧率上转换;三角网格1. 介绍帧速率上转换(FRUC)增加视频或电影序列中每秒显示的图像数量。它通常用于低比特率视频传输。源视频在时间上被下采样到低帧速率,并以低比特率传输。在接收端,使用FRUC恢复原始帧速率。FRUC还用于产生平滑的运动或在不同的帧速率之间转换视频和电影。一种简单的FRUC方法是帧重复或帧平均,它会在移动对象周围产生模糊和运动急动。为了解决这些问题,可以使用运动补偿帧速率对帧进行插值*通讯作者。电子邮件地址:tangchuanxin1@163.com(C. Tang),rgwang@pkusz.edu.cn(R. Wang),lizhu@umkc.edu(Z.Li),wangwm@sz.pku.edu.cn(W.Wang),wgao@sz.pku.edu.cn(W. Gao)。同行评议由重庆理工大学负责。上转换(MC-FRUC)方法。通常,MC-FRUC由两个步骤组成:运动估计(ME)和运动补偿帧内插(MCFI)。它通过首先估计相邻帧之间的运动轨迹,然后沿着运动轨迹插入新帧来创建新帧。创建的帧的质量取决于运动轨迹的准确性和MCFI算法的性能。在传 统的 MC-FRUC 算法 中,通 常应用块匹 配算法(BMA)[1]来估计运动矢量,并且沿着运动轨迹内插新帧。然而,这些方法至少存在两个问题。第一个问题是由遮挡和运动估计误差引起的空洞和碰撞。第二种是由块级运动矢量引起的插值帧中的块效应。为了解决上述问题,已经提出了一些出租方案。例如,双向ME[2]和重叠块ME(OBME)[3]被提出来http://dx.doi.org/10.1016/j.trit.2016.03.0072468-2322/Copyright © 2016,重庆理工大学由爱思唯尔公司制作和主持这是一篇基于CC BY-NC- ND许可证的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。C. Tang等人/CAAI Transactions on Intelligence Technology 1(2016)72e 7873þ不þþ提高估计MV的准确性。为了提高估计MV的准确性,提出了几种后处理方法,包括矢量中值滤波[4]、自适应矢量中值滤波[5]、基于可靠性的MV处理[6]、多级MV处理[7]和基于相关性的MV处理[8]。为了处理碰撞,确定对象的深度顺序并在[9]和[10]中使用。为了填充孔洞,在[9]中采用中值滤波器,在[10,11]中使用空间插值,在[12e14]中使用图像修复,在[15,16]中提出了块方向孔洞插值。这些算法不能很好地处理孔洞,特别是当孔洞面积很大时。为了减少块效应,提出了重叠块运动补偿(OBMC)[1,2]但是,如果块位于对象的边界上,则仍可能出现块效应。另一种减轻块效应的方法是使用像素级MV选择(MVS)[15,16]。此外,Dikbas和Altunbasak[17]提出了基于单向MV的基于像素的双边MVF,以提高运动精度。尽管上述方法在一定程度上减轻了块效应,但是每个像素的运动矢量候选仍然是从块运动估计(BME)获得的。由于同一块中的像素可能属于不同的对象,因此从BME获得的MV不够鲁棒。我们的帧内插方案旨在克服前面提出的问题。光流算法被用来估计双向像素级运动矢量。提出了一种基于图像分割的运动后处理方法以提高MVF的鲁棒性闭塞的再-图1.一、拟议系统的总体框图2.1. 双向运动估计我们使用[18]中提出的光流算法来估计向前和向后运动场Vf和Vbtt1通过运动轨迹跟踪来检测目标,通过参考前一帧或下在每两个相邻帧Ft和Ft1之间。在森林里-向运动场Vf,每个运动矢量与前一帧中的像素相关联并指向下一帧;帧,并通过参考生成非遮挡区域对两个帧进行加密。最后,提出了一种新的孔洞填充方法,而在后向运动场Vb中t1 ,每个运动提出了三角形网格来处理孔洞。实验结果表明,与传统的基于块的方法相比,该方法是有效的。本文的其余部分组织如下。第2节介绍了所提出的方法。实验结果在第3节中讨论。最后,在第四节中对本文进行了总结。2. 该方法所提出的方法使用两个相邻帧Ft和Ft1来内插帧Ft1/2。图1示出了所提出的方法的总体框图。在[18]中使用光流算法估计双向像素级MV。然后,我们在水平和垂直方向上对参考帧进行2倍的上采样,并将浮动MV加倍。为了提高运动的空间一致性,提出了基于图像分割的运动后处理方法。基于后处理的MVF对中间帧进行插值。最后,处理中间帧中的剩余孔,并将中间帧下采样到原始尺寸。向量与下一帧中的像素相关联,并指向前一帧。2.2. 上采样从光流获得的运动矢量值是浮点数。如果它是四舍五入到整数,将有锯齿状边缘插值帧。图2(a)是由整数MV生成的中间帧的示例。为了缓解这个问题,我们在水平和垂直方向上都对参考帧进行了2倍的上采样,并在舍入之前将浮点MV加倍。因此,插值帧也在两个方向上放大2倍,我们在输出之前将其下采样到原始大小。图2(b)示出了使用所提出的方法的内插帧,从中我们可以看到锯齿边缘的伪影被减轻。2.3. 运动后处理另一方面,由于每个像素的MV通过光流独立地估计。即使在同一物体内,运动矢量也往往是不均匀的。为了保持74C. Tang等人/CAAI Transactions on Intelligence Technology 1(2016)72e 78'KKNJJ<81:如果像素j属于同一区域?t;xt;xj2WMVc ¼1X。MV$a1其中W是当前像素周围的邻域像素集,N是W内与中心像素属于同一区域的像素的数量,j是窗口内像素的索引,a定义为aj¼具有中心像素:0:否则ð2Þ我们使用[19]中的简单图像分割算法将图像分割成多个区域。2.4. 遮挡检测和MV细化遮挡是指仅存在于其中一个参考系中的覆盖和未覆盖区域。中间帧中的被遮挡区域应该从前一帧或下一帧生成。因此,遮挡区域的检测就显得尤为重要。MV的可靠性对于遮挡检测是重要的。该方法利用SAD和MV距离(MVD)来确定MV是否可靠。SAD是对应像素之间的绝对差,MVD确定如下:MVD t =0.00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000“”;for xxxf1/4 ×103毫米图二. (a)没有上采样和下采样(b)有上采样和下采样。像素级运动的空间一致性,利用基于图像分割的MV后处理。对于每个MV,我们选择像素周围的窗口,并使用窗口内的MV来平滑中心像素的MV。窗口尺寸设置为11× 11。更新的MV计算如下:其中·是欧几里得距离。如果像素的SAD小于Th_SAD的阈值,则等式(1)中描述的MVD小于Th_SAD的阈值。(3)小于阈值Th_MVD,则像素的MV是可靠的。通过跟踪运动轨迹来检测遮挡区域,如图3所示。在图3中,存在三个连续帧,并且帧t中的像素P1被图3. 基于运动轨迹的遮挡检测Bt1; xC. Tang等人/CAAI Transactions on Intelligence Technology 1(2016)72e 7875ð Þþ不不V<>不F不不F不.þ>帧t 1中的矩形。因此,我们可以获得帧t-1和t之 间 的 P1的 正 确 的 MV _ ( ? )校正MV V t在帧t和t1之间。 正确性由上述SAD和MVD确定MV。然后,我们将P1的Vf标记为遮挡,并将Vas -Vb。我们使用Vb的反方向来更新 Vf 是 的 我们 假设 像素连续移动在连续的帧之间。2.5. 插值内插阶段包括两个步骤:首先,使用前向和后向MVF两者来生成前向内插帧Ff和后向内插帧Fb;其次,合并Ff和Fb以生成最终内插帧F f和F b。帧Ft=1/2。步骤1:生成Ff和Fb是计算Fb.对于要扭曲的每个像素,如果其MV不可靠并且未被标记为遮挡,则丢弃该像素并处理下一个像素。如果其MV是可靠的或标记为遮挡,则确定是否发生冲突如果像素P和前一个pixelP0被移动到相同的位置,则它被定义为“碰撞”。如果发生冲突并且像素P的当前MV比先前像素P0的MV更不可靠,则丢弃该像素并处理下一个像素。否则我们将像素扭曲到Ff。正向翘曲方程定义如下,图四、生成前向内插帧(Ff)的框图FFf xt2¼FtðxÞ ð4Þ其中x是帧t中像素的坐标计算F b的方法与图1中描述的F f相同。 四、后向翘曲方程定义如下,Fb.X轴五号bt1ðxÞΣ1/4Ft100x100mm2其中,x是帧t1中的像素的坐标1) 步骤2:合并Ff和Fb通过以下过程获得Ft=1/2的内插帧8>Ffx;yFb x; y'的洞2;如果F<$x;y<$Ft1=2 如果Ffx;y是孔且Fb x ; y 1/4孔,则Ffx;y>Ffx; y1/4孔Fbx;y;如果Ffx;y1 /4孔和Fbx;ys孔>:孔;其他ð6Þ其中x和y表示像素位置。如果前向内插帧Ff和后向内插帧Fb具有不同的值,则内插像素的值被设置为两个像素值的平均。 如果只有一个值,图五、HFTM的框图76C. Tang等人/CAAI Transactions on Intelligence Technology 1(2016)72e 78×××图第六章检测较大孔洞区域的图示然后,内插帧被递归地分割成大小为N/2 N/2的正方形子 块 。如 果 每 个 子 块中 的 空 穴 像 素的 数 量 大 于 阈值Th_Hole/4,则子块中的空穴像素被标记为较大空穴区域。2) 步骤2:三角网格插值内插帧被分割成大小为N的块。对于每个块,选择具有最小MVD的像素作为三角网格控制点。一个三角形是由相邻块的三角形网格控制点形成的,如图所示。第 七章假设三角形内的运动是仿射的。因此,帧t中的三角形内的像素通过以下关系被映射到帧t0中的像素xel,2x'32 a1 一个2 a032x 34y'5¼4a4a5a354y5710 011由于在Ff或Fb中存在孔,因此将待内插像素的值设置为该可用值。否则,像素是一个洞。2.6. 使用三角形网格如图5所示,所提出的HFTM由三个步骤组成:第一,检测较大的孔区域;第二,三角形网格插值;第三,线性插值的其余孔。1) 步骤1:检测较大的空穴区域如图6所示,内插帧被分割成大小为N × N的正方形子块 。如 果 每 个子 块 中属 于 孔 的像 素 的数 量 大 于阈 值Th_Hole,则将子块中的孔像素标记为较大的孔区域。上述过程仅应用于属于较大孔区域的像素。3)步骤3:对其余孔进行线性插值在合并Ff和Fb以生成Ft<$1/2之后,存在很少的孔。对于其余的孔,采用来自四个最近邻的线性内插。3. 实验结果与讨论通过几个实验评估了所提出的帧上采样算法的性能。使用了Football、Foreman、Bus、Ice、Highway和Soccer的CIF序列。偶数帧被跳过,并且帧插值方法被应用于对跳过的帧进行插值。所有测试序列具有每秒30帧的帧速率,并且它们中的每一个由101帧组成。图第七章三角形网格插值插图C. Tang等人/CAAI Transactions on Intelligence Technology 1(2016)72e 7877××将所提出的方法与[17]中的最新技术方法和其他两种基于块的MCFI方法进行比较:双ME[20],相关[21]方法和我们在[22]中的最新工作。在所提出的方法中,Th_MVD设 置 为 3 , Th_SAD 设 置 为 20 , Th_Hole 设 置 为 NN15/16,N设为16。3.1. 目标性能客观评价是基于PSNR。表1给出了用各种方法插值的50帧的平均PSNR。从表中,我们可以看到,与其他MCFI方法相比,我们在[17]我们在[22]中的最后一个工作对于除一个序列之外的所有测试序列都优于其他方法,并且获得了比[17]中的算法更好的结果。PSNR平均提高1.02dB,与文献[22]中的算法相比,PSNR平均损失0.04 dB。很明显,与[17,20,21]中的其他小组的工作相比,所提出的方法具有相当多的PSNR质量增益。3.2. 主观素质MCFI方法插值后的图像主观质量较差,主要原因是块效应和遮挡. [17,22]中的算法和所提出的方法不受块效应的影响。因此,所提出的方法仅与[17]和[22]中的算法进行主观质量比较。图图8和图9示出了Foreman和Bus的原始图像以及所考虑的三种方法的插值结果。如图8所示,与[17]中的算法相比,所提出的方法和[22]中的方法获得了更好的主观视觉质量。由于内插帧中没有较大的空洞区域,因此所提出的方法和[22]中的方法在视觉质量上具有相同的性能。然而,在具有更具挑战性的运动的序列上,例如Foreman,内插帧之间的差异变得更加明显,如图9所示。图9(b)中的内插帧在颈部产生明显的伪影图中的插值帧。 9(c)仍然在颈部产生模糊。通过图1中所提出的方法产生的帧。 9(d)总体质量最高。如前所述,在所提出的FRUC中,大多数块效应被缓解;然而,在少数情况下仍然存在一些伪影。表1各种方法的50个内插帧的平均Psnrs视频双相关性[17个]没有提出序列[第20话][21日][22]第二十二话足球22.3822.6322.5823.3423.23工头33.2433.4634.3134.9634.93总线25.5325.2426.8628.5528.65冰29.3031.7432.2434.3634.18公路ee33.2333.5133.49足球ee29.3330.8530.81图八、结果图像总线帧12.(a)原始图像。(b)[17]的产出。平均ee29.7630.9330.89(c)输出[22]。(d)拟议方法的产出78C. Tang等人/CAAI Transactions on Intelligence Technology 1(2016)72e 78见图9。58.第58章. (a)原始图像。(b)[17]的输出。(c)[22]的产出。(d)拟议方法的产出具有各种运动活动的序列与Foreman序列的原始帧然而,该方法可以得到更好的质量比其他方法,因为它的处理方式的空洞区域。孔洞区域的处理与建议的孔洞填充方法。4. 结论本文提出了一种新的像素级MVF帧内插方法.该方法利用光流算法获得的双向像素级MVF来减轻块效应。提出了运动后处理的方法来保持空间一致性。在插值阶段,提出了一种新的考虑遮挡的变形方法,以优雅地获得插值帧。最后提出了一种新的基于三角网格的孔洞填充方法。与传统方法相比,该方法获得了良好的性能增益,特别是对于快速运动的序列。引用[1] K. Hilman,H.帕克湾,澳-地Kim,IEEE传输电路系统视频技术。10(6)(2000)869e877。[2] B.D. Choi等人,IEEE Trans.电路系统视频技术 17(4)(2007)407e 416。[3] T.哈,S。Lee,J.Kim,IEEE Trans.Consumer Electron.50(2)(2004)752e 759.[4] J. 阿斯托拉山口Haavisto,Y.Neuvo,Proc.IEEE 78(4)第678和689页。[5] L. Alparone,M. Barni,F. Bartolini,V. Cappellini,用于运动场平滑的自适应加权矢量中值滤波器,在:Proc. Int. Conf. 声音。语音信号处理,卷。1996年5月,第4页。 2267和2270。[6] Y.T. 杨永山<英>香港实业家。,1937--人董俊良Wu,IEEE Trans.电路系统视频技术17(12)(2007年12月)1700e 1713。[7] A.M. Huang,T.Q. Nguyen,IEEE Trans.图像处理。17(5)(2008年5月)694e 708。[8] A.M. Huang,T.Q. Nguyen,IEEE Trans.图像处理。18(4)(Apr.2009)740e752。[9] J. Benois-Pineau,H.尼古拉斯,J. Vis。Commun.图像表示。13(2002)363e 385。[10] P. Blanchfield,D. Wang,中国山核桃A. Vincent,F.斯佩兰萨河Renaud,SMPTE运动成像杂志(2006年4月)153和159。[11] A. Kaup , T. Aach , Efficient prediction of unexpected backgroundininterframe coding using spatial extraprediction,in:Proc.ICASSP,Apr. 1994,pp. 501和504。[12] M. Bertalmio,G. Sapiro,V. Caselles,C. Ballester,“绘画中的图像”,计算机图形学(SIGGRAPG 2000 ),7月。2000年,第2000页。 417和424。[13] S.D. Rane,G. Sapiro,M. Bertalmio,IEEE Trans.图像处理。12(3)(Mar. 2003)296e 303.[14] A. Criminisi,P. Perez,K. Toyama,IEEE Trans.图像处理。13(9)(Sep. 2004)1200e 1212.[15] D. Wang等人,IEEE Trans.广播. 56(2)(2010)142e 149。[16] T.H. Tran , C.T. LeDinh , IEEE J. Sel. Top. 信 号 处 理 。 5 ( 2 )(2011)252e 261。[17] S. Dikbas,Y. Altunbasak,IEEE Trans.图像处理。22(8)(2013)2931e 2945。[18] L. Xu,J. Jia,Y. Matsushita,Motion detail preserving optical flowesti mation,in:IEEE Transactions on Pattern Analysis and MachineIntelligence,2012,pp. 1744年和1757年。[19] R.亚当斯湖Bischof,IEEE Trans. Pattern Analysis Mach.内特尔16(6)(1994)641e 647。[20] S.J. Kang,S. Yoo,Y.H. Kim,IEEE传输电路系统视频技术。20(12)(2010)1909e1914.[21] A.M. Huang,T. Nguyen,IEEE Trans.图像处理。18(4)(2009)740e 752。[22] 唐传新,王荣刚,王文敏,等,一种具有像素级运动矢量场的新帧内插方法,见:VisualCommunications and Image Processing,2014IEEE InternationalConference on,IEEE,2014,pp. 350和353。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 谷歌文件系统下的实用网络编码技术在分布式存储中的应用
- 跨国媒体对南亚农村社会的影响:以斯里兰卡案例的社会学分析
- RFM2g接口驱动操作手册:API与命令行指南
- 基于裸手的大数据自然人机交互关键算法研究
- ABAQUS下无人机机翼有限元分析与局部设计研究
- TCL基础教程:语法、变量与操作详解
- FPGA与数字前端面试题集锦:流程、设计与Verilog应用
- 2022全球互联网技术人才前瞻:元宇宙驱动下的创新与挑战
- 碳排放权交易实战手册(第二版):设计与实施指南
- 2022新经济新职业洞察:科技驱动下的百景变革
- 红外与可见光人脸融合识别技术探究
- NXP88W8977:2.4/5 GHz 双频 Wi-Fi4 + Bluetooth 5.2 合体芯片
- NXP88W8987:集成2.4/5GHz Wi-Fi 5与蓝牙5.2的单芯片解决方案
- TPA3116D2DADR: 单声道数字放大器驱动高达50W功率
- TPA3255-Q1:315W车载A/D类音频放大器,高保真、宽频设计
- 42V 输入 5A 降压稳压器 TPS54540B-Q1 的特点和应用
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功