一种用于快速HEVC编码的条件跳过子像素运动估计方法

⃝⃝可在www.sciencedirect.com在线ScienceDirectICT Express 5（2019）136www.elsevier.com/locate/icte一种用于快速HEVC编码的朴尚孝Barun ICT研究中心，延世大学，首尔，03722，韩国接收日期：2018年7月2日;接受日期：2018年在线发售2018年摘要虽然运动估计（ME）通过减少帧之间的时间冗余来有效地压缩视频数据，但是其以计算复杂度为代价。特别地，子像素ME（SME）的复杂性极大地限制了快速视频编码，因为SME需要复杂性密集的插值过程，以生成虚像素。因此，本文提出了一种方法，有条件地跳过SME，包括其插值过程，通过利用先前编码的运动信息。实验结果表明，与现有的高效视频编码（HEVC）参考模型相比，该方法有效地减少了总的编码时间和内存访问c2018 韩 国 通 信 与 信 息 科 学 研 究 所 （ KICS ） 。 Elsevier B. V. 的 出 版 服 务 。 这 是 CC BY-NC-ND 许 可 证 下 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：视频压缩;快速运动估计; HEVC;插值滤波器;编码复杂度1. 介绍随着高分辨率视频变得流行，在诸如移动设备、监视和视频流应用的领域中，对高效率视频压缩的需求正在增加。高效视频编码（HEVC）标准[1]就是为了满足这些工业需求而创建的。与其前身AVC/H.264相比，它在压缩效率方面表现出色[2]。然而，为了实现这样的效率，HEVC编码器必须开启复杂度密集型工具，诸如基于四叉树的灵活编码单元结构和8抽头内插滤波（IF）。在用于HEVC编码的工具中，在块匹配算法中预测像素的运动估计（ME）被认为是耗时的过程[3，4]。具体地，需要IF来生成虚像素的子像素ME（SME）可以实质上增加总编码复杂度。因此，最近提出了关于降低SME复杂性的研究[5大多数的研究都是建立一个误差曲面来确定最佳的亚像素运动矢量通信地址：Room 720，50 Yonsei-ro，Seodaemun-gu，Seoul，03722，South Korea.电子邮件地址：spark@barunict.kr。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2018.08.003以及较少的候选，但是导致压缩性能的降低。在本文中，我提出了一种有效跳过SME过程以降低HEVC编码器中ME复杂度的方法。所提出的方法利用相关的预测单元（PU）信息来区分当前块是否是静态的。此外，所提出的方法可以进一步跳过四分之一像素ME（SME的一部分）和多个参考帧之间的相关联的IF通过实验结果，我证明了所提出的方法在编码复杂度方面的改进，与HEVC测试模型（HM）上的代表性现有方法相比，编码效率几乎没有下降。2. 亚像素运动估计SME关于时间复杂度的最关键部分HEVC还需要比AVC/H.264更多的存储器空间，因为IF的滤波器抽头大小增加。具体地，8抽头被应用于亮度样本上的半像素内插，7抽头被应用于亮度样本上的四分之一像素内插，以及4抽头被应用于色度样本。表1展示在亮度期间针对SME内插过程存取存储器的次数的公式2405-9595/c2018韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。S.- H.公园/ ICT Express 5（2019）136137·×|××××|×∼∼∼×∼|∼∼|∼∼|∼表1SME中IF过程的存储器访问公式。工艺配方IF用于HMEw10h+ 810h+8h+ 64对于QME，wh+7 w+7h+49注意：w表示每个PU的宽度，h表示每个PU的高度。sample. HME表示半像素ME，QME表示四分之一像素ME。在大O表示法中，用于SME的IF的存储器复杂度可以写为O（w h），其中w是PU的宽度，h是PU的高度。时间复杂度为O（h2）。 w和h呈线性关系。因此，当编码8个4或4个存储器复杂度对于视频编码器应用编码超高清晰度视频或更高清晰度视频（例如，360-度16K视频）。3. 该方法在本节中，我概述了一种方法，该方法在SME的整个过程可能无法获得进一步的编码效率时跳过该过程。在SME中存在冗余的假设下，研究两项先前经编码PU信息以区分当前块的特性，且将所述块标记为静态、复杂或运动密集型。如果所使用的块用于静态区域，则子像素MV可能不是有益的。使用给定的信息，所提出的方法可在适当时跳过整个SME过程或其一部分，如以下小节中所描述。3.1. 先前编码的运动信息为了确定SME是否冗余，我假设子像素MV旨在更准确地捕获运动，而不是 对于静态或简单的纹理。在本文中，非常简单运动（VSM）表示零MV、整数像素MV或SKIP模式。设n（VSM2N×2N）为2N2N PU选择VSM-作为最佳结果的情况的数量因此，我可以计算条件概率p（VSMbest VSM2N×2N），这是在给定2N 2N PU选择VSM作为最佳结果的先验概率的情况下，在整个PU的编码期间选择VSM作为最佳结果的概率表2显示了在低延迟（LD）配置下，通过完全使用量化参数（QP）32编码的HM16.14，从CTC [10结果表明，p（VSMbest VSM2N×2N）平均为99%，没有序列小于98%。因此，当2N 2N PU由VSM编码时，SME过程在大多数剩余PU块中是冗余的。这一事实将利用所提出的方法在下一小节此外，一些SME可能是冗余的，特别是在选择多个参考帧的过程由于可以在相同参考帧列表中的参考帧之间类似地发现运动，因此第一参考帧的运动准确度结果可以与第二参考帧的运动准确度结果相关。Fig. 1. HEVC的ME中用于CU编码中的剩余PU的所提出方法的流程图。其他参考框架。利用SME的目标是准确地捕捉运动的假设，我在本文中的参考帧之间的运动精度的相关性。 令n（QMV_ridx（0））是最佳情况的数目，参考帧索引0的MV（以下称为ridx（0））不是四分之一像素MV，并且令n（QMVridx（0））是以下情况的数目： dices（下文称为ridx（100））不是四分之一像素MV。通过对n（QMV_ridx（0））和n（QMV_ridx（0））进行计数，可以计算出条件概率p（QMV_ridx（0）），它可以揭示在给定的运动信息中，QME在大多数参考帧中的有效性。2、概率P（ QMV参考idx其他 QMV refidx0）在表3中示出，直到在LD配置下完全用QP32 编 码 的 HM 16.14 。 在 所 有 序 列 中 ， p （ QMVridx （ 0 ）QMVridx（0））大于50%，平均而言，条件概率达到76%，这可以解释为意味着存在当在ME期间运动精度为ridx（0）时，QMV与参考系搜索的相关性。该发现用于下一小节中描述的所提出的方法。3.2. 一种亚像素运动估计跳过方法使用前面两个小节中提出的特殊情况，提出了一种跳过QME和/或HME过程的快速SME决策方法一种方法是检查2N是否一个是VSM，另一个是QMV通过参考帧搜索的ridx（0）。当对PU进行编码时，在HM编码器之上运行的所提出的方法的流程图在图1中示出。所提出的方法在参考ridx（0）中检查IME和HME两者的最佳MV结果如果没有选择QMV，则跳过其他参考帧的QME，使得IF的复杂度降低。138S.- H.公园/ ICT Express 5（2019）136×××× ×××=tota l表2当PU是VSM时，冗余SME情况的概率。序列n（VSM2N×2N）p（VSM最佳|VSM 2N×2N）1920× 1080832× 4801280× 720和服篮球驱动器篮球钻BQMall四人约翰尼8,883,73319,419,4393,554,0104,390,05111,145,55711,306,115九十九点四五九十九点二九百分之九十九点一五百分之九十八点八一百分之九十九点六五百分之九十九点八一平均9,783,151百分之九十九点三六表3在给定QMV信息的情况下，冗余SME情况的概率。序列n（1000000）（0））p（1000000）（100）|中国（0）1920× 1080832× 4801280× 720和服篮球驱动器篮球钻BQMall四人约翰尼121,150,402397,770,28369,063,88663,287,555260,612,442250,306,52951.91%83.51%76.53%61.67%百分之九十三点四七90.40%平均193,698,51676.25%将有效地减少产生四分之一像素样本的过程。除了2N 2NPU编码之外，PU分区可以利用2N 2N PU的运动数据。因此，在本发明中，所提出的方法可以利用该信息来跳过SME处理，无论2N 2N是否是用于其它PU分区的VSM。如图1所示，所提出的方法具有额外的分支，其使得其能够根据2N× 2N PU编码的结果跳过HME和QME过程。4. 实验结果为了在测试环境中衡量所提出的方法的效率，计算复杂度从两个内存访问。为了评估时间复杂度，采用了以下开发环境：4.00 GHz的四核CPU，固态驱动器和64位Windows OS。此外，压缩性能以Bjøntegaard-Delta比特率（BD率）测量方法[11]表示，使用[10]中推荐的四个QP值编码的比特流结果根据[10]的建议选择所有测试序列和相关参数，并使用4类序列来证明各种视频分辨率下的性能：25601600年，1920年一○八○、八三二480、416240.述编码配置在研究中使用的是随机接入（RA）和LD配置，如文献中常见的那样。作为锚钉，使用了最新的HM 16.14。此外，为了评估所提出的方法的比较性能，我还测试了基于误差表面的快速SME（ES-FSME）算法[7]，该算法被认为是通过误差表面建模进行跳跃SME这现有的方法和提出的方法都建立在锚定和评估。请注意，根据[7]中报告的三个子策略，ES-FSME的性能可能会有所不同。其中，我选择了最快的策略与所提出的方法进行总编码时间比Ttotal如下获得：由方程式（1）如下：Tgeoman（Tm）.（一）几何（T形锚）此 外 ， SME 的 时 间 比TSME可 以 类 似 于 等 式中 获 得 。（一）.对于压缩性能测量，使用Y、U和V对该算法的压缩性能（Y分量的BD率）和时间复杂度（Ttotal和TSME）进行了评价，并与锚算法进行了比较。表4显示了RA配置下所提出的方法和现有方法的评估结果。所提出的方法基本上保持了锚点的编码效率，平均显示出0.4%的BD率损失。然而，所提出的方法显著地降低了TSME，其达到了锚的原始复杂度的大约一半。由于成功地减少了编码器中最耗时的模块，总编码时间大大减少。现有的方法，ES-FSME，也大大减少了整体编码时间和SME时间。然而，ES-FSME方法面临明显的编码损失（即，平均BD率损失3.5%）。这可能意味着在ES-FSME方法中使用的误差表面模型可能不足够准确以预测最佳子像素MV，尽管编码时间显著减少。S.- H.公园/ ICT Express 5（2019）136139表4与RA情况下的锚钉相比，拟定方法和ES-FSME方法的结果。序列拟定ES-FSMEYTSM ET总计YTSM ET总计交通百分之零点三百分之四十一百分之七十四2.3%百分之五十八百分之八十四街上的人百分之零点四百分之五十九百分之九十百分之三点五百分之六十一百分之九十三和服百分之零点一百分之四十八百分之八十五百分之一点四百分之六十百分之八十九ParkScene百分之零点三百分之四十五百分之七十九百分之二点六百分之六十百分之八十六仙人掌百分之零点三百分之四十百分之八十二2.3%百分之五十四百分之八十七篮球驱动器百分之零点二百分之四十九百分之八十八百分之二点六百分之六十百分之九十一BQ露台百分之零点六百分之四十三百分之七十六2.3%百分之五十八百分之八十四篮球训练百分之零点三百分之四十七百分之八十五二点二百分之五十六百分之八十八QQ咨询百分之零点四百分之四十七百分之八十二4.1%百分之五十八百分之八十七派对场景百分之零点六百分之五十四百分之八十四4.6%百分之五十九百分之八十七赛马C百分之零点四百分之六十五百分之九十二4.7%百分之六十一百分之九十二篮球通百分之零点三百分之五十七百分之八十八百分之三点八百分之五十九百分之八十九BQSquare百分之一点一百分之四十七百分之七十七5.4%百分之五十九百分之八十五吹泡泡百分之零点五百分之五十百分之八十5.1%百分之五十七百分之八十五赛马百分之零点五百分之六十七百分之九十一百分之六点零百分之六十一百分之九十平均百分之零点四百分之五十百分之八十三百分之三点五百分之五十九百分之八十八注：时间结果平均值采用几何平均值，其他采用算术平均值。表5将拟定方法和ES-FSME方法的结果与LD情况下的锚钉进行比较。序列拟定ES-FSMEYTSM ET总计YTSM ET总计和服百分之零点一百分之五十三百分之八十百分之一点一百分之六十八百分之八十七ParkScene百分之零点六百分之五十一百分之七十七二点四厘百分之六十八百分之八十六仙人掌百分之零点三百分之五十五百分之八十一百分之一点八百分之六十八百分之八十八篮球驱动器百分之零点五百分之四十四百分之七十四二点一厘百分之六十四百分之八十五BQ露台百分之零点九百分之四十八百分之七十五百分之一点二百分之六十六百分之八十六篮球训练百分百分之百分2.0%百分之百分之零点四五十之七十八六十六之八十六QQ咨询百分之零点六百分之五十一百分之七十八2.7%百分之六十七百分之八十六派对场景1.0%百分之六十三百分之八十四百分之三点一百分之六十八百分之八十八赛马C百分之零点四百分之六十八百分之八十八4.0%百分之六十九百分之八十九篮球通百分之零点三百分之六十百分之八十四百分之三点一百分之六十七百分之八十八BQSquare二点一厘百分之五十九百分之八十一4.1%百分之六十七百分之八十七吹泡泡百分之一点一百分之五十八百分之八十一百分之三点八百分之六十七百分之八十七赛马百分之零点五百分之七十百分之八十九5.6%百分之六十九百分之八十九FourPeople百分之零点五百分之三十一百分之六十二二点二百分之六十一百分之八十约翰尼百分之零点九百分之三十百分之六十百分之三点一百分之六十二百分之八十克里斯汀和萨拉百分之零点六百分之三十四百分之六十四百分之二点六百分之六十三百分之八十一平均百分之零点七百分之五十二百分之七十七二点八厘百分之六十六百分之八十六注：时间结果平均值采用几何平均值，其他采用算术平均值。表5示出了在LD配置下所提出的方法和ES-FSME方法的结果。与RA情况类似，该方法在LD情况下表现出比ES-FSME方法更好的压缩性能此外，该方法比ES-FSME方法具有更快的编码时间.当比较所提出的方法和现有方法的性能结果时，很明显，所提出的方法在编码时间和编码效率方面优于现有方法。具体而言，与ES-FSME方法相比，所提出的方法显示RA和LD病例的Y BD率平均增加2.1%所提出的方法显示了9%的编码时间140S.- H.公园/ ICT Express 5（2019）136在RA的情况下，和14%的下降，在LD的情况下，这是一个更大的减少在TSME方面比所示的ES-FSME方法。5. 结论在这封信中，SME的复杂性问题进行了研究，并提出了一种方法，避免了复杂的过程中，顶部最近的HM。实验结果表明，提出的SME跳过方法大大减少了编码时间，并优于现有的方法。此外，所提出的方法克服了过度的压缩效率损失在最坏的情况下，从6.0%的损失在现有的方法中的1.1%的损失，在建议。由于其简单性，所提出的方法可以简单地移植到基于HEVC的编码器，需要加快编码速度。由于下一代视频编码标准[12]，通用视频编码（VVC），与HEVC编码器具有一些相似性，因此仅进行微小修改，所提出的方法也可以应用于减轻VVC编码器的复杂性。所提出的方法的可能应用包括用于实时广播、监视和电池受限的移动设备的任何低复杂度视频编码器。致谢作者感谢导师Euee S.张教授及委员会成员。朴俊一教授感谢王荣刚利益冲突作者声明本文不存在利益冲突引用[1] Rec. ITU-T H.265，建议H.265（04/13），H系列：视听和多媒体系统，视听服务的基础设施[2] J. Ohm ， G.J. Sullivan ， H. Schwarz ， T.K. 谭 ， T. Wiegand ，Comparisonof the coding efficiency of video coding standards-includinghigh efficiencyvideo coding （HEVC ）， IEEE Trans. Circuits Syst.Video Technol. 22（12）（2012）1669-1684。[3] J. Vanne，M.T.D.维塔宁Hämäläinen，A.Hallapuro，Comparative rate-distortion-complexity analysis of HEVC and AVC video codecs ，IEEETrans. Circuits Syst. Video Technol.22 （ 12 ） （ 2012 ） 1885-1898.[4] F.博森湾布罗斯，K。Sühring，D. Flynn，HEVC复杂性和实现分析，IEEE Trans. 电路系统视频技术 22（12）（2012）1685-1696。[5] S.G. 布 拉 西 岛 Zupancic ， E. Izquierdo ， Adaptive precision motionestimation for HEVC coding ， in ： Proc.31th Picture CodingSymposium，PCS，Cairns，Australia，2015，pp. 144比148[6] K. Choi，E.S. Jang，用于高效率视频编码的基于数据重用的快速子像素运动估计，光学工程53（6）（2014）063103。[7] Y. Li，Z.Liu，X.Ji，D.Wang，HEVC Fast FME algorithm using IMERD- costs based error surface fitting scheme，in：Proc.视觉通信与图像处理，VCIP，成都，中国，2016。S.- H.公园/ ICT Express 5（2019）136141[8] R.范，Y。张湾，澳-地Li，G.王，基于多方向抛物线预测的无插值亚像素运动估计，信号处理。图像通信53（2017）123-134。[9] W. Dai ， O.C. Au ， W. Zhu ，W. Hu ， P. Wan ， J. Li ，A robustinterpolation- free approach for sub-pixel accuracy motion estimation，in：Proc.IEEE图像处理国际会议，ICIP，墨尔本，澳大利亚，2013年，pp.1767-1771年。[10] F. Bossen，通用测试条件和软件参考配置，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11 的 视 频 编 码 联 合 合 作 小 组 （ JCT-VC），文档JCTVC-L1100，2013年1月。[11] G. Bjontegaard，计算RD曲线之间的平均PSNR差异，ITU-T SG16/Q6 VCEG，文档VCEG-M33，Apr. 2001.[12] J. Chen，中国山茱萸E.Alshina，Algorithm description for VersatileVideo Coding and Test Model 1（VTM 1），Joint Video ExplorationTeam（JVET）of ITU-T SG16 WP3 and IS0/IEC JTC1/SC29/WG11，Document JVET-J1002，Apr.2018年[13] S. Park，低复杂度HEVC编码的运动估计跳过策略，博士。博士论文，系汉阳大学计算机科学系，2017年，韩国首尔。