H.264 AV/C的GOP帧间预测及其在数字视频编码中的应用

沙特国王大学学报H.264 AV\C的GOP帧间预测放大图片作者：Rusul Nabeela，Mohammed H.Al-Jammasb，a伊拉克摩苏尔摩苏尔大学计算机与信息工程系b电子工程学院，伊拉克摩苏尔尼尼微大学阿提奇莱因福奥文章历史记录：收到2019年2019年5月18日修订2019年6月7日接受在线预订2019年保留字：H.264 AV\C视频编码A B S T R A C T视频编码过程由数字视频场景的编码和解码两部分组成。数字视频是讲述不同故事的许多场景的插图或表示它从数码摄像机中捕捉这类视频的翻译由于需要翻译的数据量巨大，需要高带宽、高速度和巨大的数据量。另一方面，人们需要以高精度接收视频，因此我们需要一种新的方式来实现这些选项。H.264高级视频编码是一种新的技术飞跃，它通过对原始视频进行压缩，并在接收端对转换后的视频进行重新编码，以获得与原始视频相同的视频。本项目的目标是通过使用MATLAB构建H.264 AV/C的编码器和解码器模块来实现所有这些特性。©2019作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍H.264 AV/C是一种新的技术，与以前的标准（MPEG-4，H.263和MPEG-2）相比，以最低的比特率实现最佳的视频质量。现在，我们使用了很多智能手机和高科技相机来拍摄一段漂亮的视频。这些类型的视频需要很宽的带宽和大量的内存，以便随时保存和翻译。最好的方法是使用H.264高级视频编码。H.264 AV/C，基本上被设计为具有灵活性，可以通过网络和系统以尽可能低的复杂性将其应用于任何视频类型。该模型由ITU-T视频编码专家组（VCEG）与ISO/IEC JTC 1运动图像专家组（MPEG）共同开发。这种智能设备可以嵌入到高质量的相机，智能手机等。H.264编解码器由两部分组成（编码器和解码器）。编码器设计在传输端，它对原始视频进行编码，并将其编码为最小尺寸，以便能够传输和存储。另一方面，在接收器侧发现的解码器正在对*通讯作者。电子邮件地址：mohammed. uoninevah.edu.iq（M.H. Al-Jammas）。沙特国王大学负责同行审查制作和主办：Elsevier编码的视频解码，并获得原始视频相同作为原创之一。这项工作的目的是实现主要摄像机制造商的目标，这些制造商正在寻求提高视频的质量和准确性。视频的质量和准确性已经发展到服从用户拍摄最佳视频和图像的愿望。每个人都需要分享自己的视频，同时保持视频的质量和准确性。我们依赖于使用新的方法（IPB），因为它的结果，它是接近H.265 在其结果。264方法（IPPP）和（IBBB）的结果进行比较，发现该方法的结果更准确，但时间更长。时间计算的增加仅以秒为单位，这在设计中不会造成问题（Richardson，2010，2003，Ostermann等人， 2004年）。2. 文献调查H.264的重要目标是减少视频在传输或存储过程中的数据量。视频压缩的目的是使数字存储或传输在这个时候处于最佳状态，因为许多数字视频的巨大信息变得难以传输或存储与有限的带宽或资源的存储。有一些相关的作品：2011年10月，Ben Atitallah et al.Ben Atitallah et al.（2011）;利用FPGA设计了一个H.264编码器。他们试图减少关键路径长度，并使用管道增加吞吐量-https://doi.org/10.1016/j.jksuci.2019.06.0051319-1578/©2019作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.com●1346R. Nabeel，M.H.Al-Jammas/沙特国王大学学报×××线架构该设计采用Altera Stratix III FPGA和VHDL语言实现FPGA架构的吞吐量在130 MHz。2011年8月，YimYIM（2011）在其论文中，致力于支持全高清分辨率的H.264/AVC视频解码器，通过调制基线配置文件解码器，开发并集成CABAC解码器到基线配置文件中。新的配置文件，基线，被重新使用，以提供完整的HD。2010年5月，ShimuShimu（2010）;介绍了如何使用超宽带（UWB）高清视频传输中的H.264视频编解码器UWB由于其短距离、低功率和低成本而被使用。她使用JM 15.1仿真程序来减少一些H.264编码器参数，这些参数对于在通信应用中处理它们很重要。这些参数类似3. 编码过程H.264编码器设计有一个最聪明的路径，以减少数据量，原始视频，与以前的技术相比，niques，用来压缩原始视频。H.264编码器有两个路径（前向和重建）路径。 图 1显示了H.264 AV\C编码器。3.1. 编码器进程编码器在发送端处理原始高清视频。它将视频分割成小块，以便处理。视频由许多帧组成，这些帧共同组成原始视频。在前向路径中，帧被划分为（16 16）微块。 通常，第一帧具有视频的最重要的数据，因此它采取帧内预测、变换、重构和将结果复制到反馈路径的路径来预测下一帧。反馈路径或重建路径是重建编码帧以创建下一个新帧，并将其与前一帧进行比较以放大新帧并将其发送（Richardson，2010，2003，Ostermann等人，2004; Kakarala，2011）。第一个过程开始于将帧分割成大小为（16 × 16）的微块，以从同一帧（帧内预测）或从前一帧和下一帧（帧间预测）产生预测帧。图2示出了两种类型的预测模式。接下来的步骤是变换和量化。来自帧内或帧间预测的残差样本的块使用（44或88）整数变换进行变换，有时称为（DCT）离散余弦变换。转换过程输出是一组系数，因此将其转换。量化过程是根据量化系数的值来减少变换系数的值Fig. 1. H.264 AV\C编码器。图二. 帧内和帧间预测。●●R. Nabeel，M.H.Al-Jammas/沙特国王大学学报1347(QP)量化参数。通常，结果是其中大部分或所有系数为零的块QP值为高值意味着更多的系数被设置为零，从而以较差的解码图像质量为代价实现高压缩，但QP值为低意味着量化后保留更多的非零系数，从而实现更好的解码图像质量，但压缩率较低（Hermans，2012）。 图 3示出了变换和量化过程。运动估计和补偿的基础是找到前一次操作得到的参考帧与下一帧之间的最佳匹配。该方法将帧分解为多个微块，并进行搜索以找到它们之间的最佳匹配。下一步是减去两个耦合的微块，以使结果尽可能小。结果被转换和量化。变换过程在DCT域进行。转换后的数据进行了拟合。量化的原理是因为人类视觉系统对低频信号比高频信号更敏感。量化的目标是对高频信号应用更高的压缩，对低频信号应用更少的压缩（Kakarala，2011）。3.1.1. 帧间预测帧间预测用于运动估计和补偿，因为它在两个连续帧之间发现的时间冗余中工作良好，并且它产生非常有效的编码。如果从先前编码的帧中选择参考帧，则它参考P帧，并且当先前编码的帧和未来帧被选择为参考帧时，则该帧是B画面。3.1.2. 运动估计和补偿在H.264中，寻找帧间像素块最佳匹配结果的过程称为运动估计，两个块之间的位移矢量就是该块的运动矢量。有几种不同的整数搜索算法，用于找到最佳匹配，如（全搜索算法）和快速整数搜索算法，如（2D对数算法，3步算法，钻石搜索等）。在找到最佳匹配之后减去两个匹配块并获得运动矢量的过程称为运动补偿。3.1.3. 二维原木块匹配算法该算法有几个步骤来找到它的最佳匹配：步骤1：包括（选择初始步长，并计算位于搜索区域中心的块以及距中心距离处的（x）和（y）轴上的四个点的误差第二步：如果最佳匹配的位置位于候选块的中心，则保持中心不变，并将步长值减半，否则最佳匹配将成为中心，因此重复步骤1。步骤3：如果步长值变为（1），则将检查收集的中心周围的所有（8）个相邻块以找到最佳匹配。2D-log算法比全搜索算法和TSS算法具有更好的预测性能。3.1.4. 变换和量化视频编码中的变换的目的是将运动补偿的残差数据转换到另一个域。在这个视频编码标准中使用的变换必须在计算上是灵活的，这意味着低存储器需求和低数量的算术运算。离散余弦变换（DCT）是实现H.264的最佳方法之DCT是一种可修正的计算方法，它应用了变换过程的主要条件.量化是用于减小变换系数的范围并将它们映射到特定范围的数学运算。3.2. 反馈路径反馈路径是重建原始帧以产生新帧。对量化后的宏块系数进行解码，以重构用于编码另一宏块的帧。系数被重新缩放和逆变换以产生差异宏块（dn0）。 这与原始差异宏块不同。预测宏块(P) 被 添加到（ dn0 ）以创 建 重构宏块 （ uF0n）（ Richardson ，2010，2003）。4. H.264解码器在接收端，H.264解码器接收编码后的视频帧，然后对其进行解码，以产生与图三. 变换和量化过程。●●●1348R. Nabeel，M.H.Al-Jammas/沙特国王大学学报××原创一它与编码器的步骤相反 图 4显示了H.264解码器使用预测参数和参考图片或像素来应用经编码的视频数据，然后熵解码、逆量化、逆变换以及最后重构过程。逆量化、逆变换和逆变换操作与编码器侧相同5. GOP H.264 AV\C本研究主要是针对H. 264的AV/C帧间编码进行MATLAB编程。设计了一个完善的H.264编解码器，使其在视频编解码中具有更高的精度和最佳的效果。 对视频的处理确保使用三种类型的帧（I，P和B帧）或GOP（图像组）。帧系列为（IBBP）。帧间帧是第一帧，然后是I和P帧之间的两个B帧。GOP基于（M和N）。M表示两个锚帧（I或P）之间的距离，N表示两个完整图像（I帧）之间的距离：它是GOP大小。N= 10 ， 因 为 要 处 理 的 帧 的 数 量 是 10 ， 所 以 模 式是（IBBPBBPBBPI），M = 3（Darshankumar Shah，2007;Juurlinket al.， 2012年）。I帧正在压缩，但P帧使用来自前一帧的数据来重新编码。B帧使用前一帧和前一帧作为数据参考，以获得最高的数据压缩量。图5显示了（GOP系列）。该视频由MATLAB编写的代码读取和显示。原始视频采用H.264编码器编码。编码器的步骤包括将视频划分为帧，然后根据前一帧（P帧）或根据（前一帧和下一帧）帧（B帧）对要进行运动估计和补偿的块进行运动估计和补偿。该操作使用（2D对数块匹配算法）完成。结果然后进入变换和量化阶段。视频被编码并发送到解码器侧，以通过反转步骤来获得原始视频6. 该方法视频源（木琴）使用的大小（664 KB）的（320 240）。图6显示了原始视频。视频被分成（16 16）块大小来估计它。图7示出了运动估计之后的视频。运动估计和合成是H.264的强大功能，因为它们减少了大量的数据，便于保存或发送信息。 图 8示出了运动估计和补偿之后的帧。见图6。 原始帧。见图4。 H.264解码器。图五. H.264（GOP）帧类型系列。●●●R. Nabeel，M.H.Al-Jammas/沙特国王大学学报1349见图7。 帧后运动估计。见图8。 运动估计和补偿后的帧。见图11。 重建后的框架见图9。 DCT和量化后的帧。见图10。 使用IDCT和重新缩放的帧。在运动估计和补偿阶段之后，数据将使用2D-DCT进行变换和量化，并且QP = 50。图9示出了这些阶段之后的帧。在解码器中，这一过程被反转为（逆变换和量化），重构过程与运动估计和补偿过程相反。图(10-12） 分 别 示 出 了 逆 变 换 和 量化 、 重 构 以 及 原 始 视 频 与 解 码 视 频 的 比 较 。结果表明，该算法的结果更准确，但在编码器和解码器的每一个阶段都需要比其他方法更多的时间和更大的存储空间来处理结果。找到原始帧之间最佳匹配的最佳方法而解码视频是（比特错误）。表1.示出了将原始视频帧的帧与解码帧进行比较的结果。计算中考虑了A（45）帧。我们注意到误码率和帧数目之间的关系呈反比关系。这是一个很好的，低比特错误与大量的帧。下面的图13示出了一些原始帧和解码帧。7. 结论H.264 AV\C可以自由选择将使用的帧模式类型（IPPP、IBBB或IBBP）。这种选择取决于显示的视频类型和其中包含的数据量。最佳选择的帧模式是（IBBP），因为预测帧的方法是基于1350R. Nabeel，M.H.Al-Jammas/沙特国王大学学报见图12。 原始和解码帧。表1帧号中的比特差错率车架编号3 9 18 27 36 45误码率0.06 0.03 0.011 0.008 0.0063 0.0051图13a.帧#3（原始和解码帧）。图13b.帧#10（原始和解码帧）。我帧，原来的帧选择B帧、前一帧和未来帧中的两个帧进行预测。● P帧仅使用前一帧进行预测。这种预测方法具有良好的效果：压缩率约为83%，优于（IPPP），后者在（IBBB）中的压缩率为51%和72%● 在视觉上的准确性高于其他方法。建议框架模式的缺点是：计算时间比其他模式长在编码器和解码器处需要更多的存储缓冲区。这些需要缓冲器来存储编码帧（B和P），以产生编码帧，然后到解码器。竞争利益一个也没有。●●●●●R. Nabeel，M.H.Al-Jammas/沙特国王大学学报1351引用Ben Atitallah，A.，Louvet，H.，Masmoudi，Nouri，2011年。H.264/AVC编码器的FPGA设计。Int. J. Comput. 科学，Eng. 和Appl.（IJCSEA）1（5），119-138.Darshankumar Shah，B.E.，2007. H.264运动估计和运动补偿。Veer Narmad SouthGujarat University，India.亚历山大·赫尔曼斯，2012年。H.264/MPEG-4高级视频编码研讨会报告。九月Juurlink，Ben等人，2012.可扩展并行编程在H.264/AVC解码中的应用。纽约州纽约市施普林格。Kakarala，Avinash，2011.视频编码中条件运动估计的硬件实现。北德克萨斯大学。硕士学位论文。Ostermann，Jorn，Bormans，Jan等人，2004年在：视频编码与H.264/AVC：工具、性能 和 复 杂 性 。 IEEECircuitsandSystemsMagazine ， pp.7-28.https://doi.org/10.1109/MCAS.2004.1286980网站。Richardson，Iain E.G.，2003年。 H.264和MPEG-4视频压缩下一代多媒体视频编码。约翰威利&父子有限公司，中庭，南门，奇切斯特，西萨塞克斯PO19 8SQ，英格兰。Richardson ， Iain E. 2010. H.264 高 级 视 频 压 缩 标 准 约 翰 威 利 & 父 子 公 司 ， VcodexLimited，英国。Shimu，Samia Sharmin，2010. H.264编码器在超宽带通信链路上传输高清视频的性能分析。University ofSaskatchewan萨斯喀彻温大学YIM，Ka Yee，2011.视频解码器的H.264/AVC主要配置文件，节能硬件设计电子工程哲学硕士论文。香港中文大学