无线3D-MVC通信中的丢包隐藏及颜色加深度误差恢复技术

沙特国王大学学报无线3D-MVC通信W. El-Shafai，S.El-Rabaie，M.El-Halawany，F.E.阿卜杜勒·萨米电子和电气通信工程系，电子工程学院，Menoufia大学，32952 Menouf，埃及阿提奇莱因福奥文章历史记录：2017年11月1日收到2018年1月14日修订2018年2月18日接受在线发售2018年保留字：丢包隐藏3D多视点视频运动和视差补偿深度图空间-时间-视图间相关性无线信道A B S T R A C T由于无线信道资源的有限性和信道误码的严重性，3D视频（3DV）的无线传输成为研究的热点在3DV系统中，由于传输错误在时间、空间和视图范围中的传播，压缩比特流因此，重要的是在解码器处利用有效的误差隐藏（EC）后处理技术来恢复被破坏的宏块（MB）的视差矢量（DV）和运动矢量（MV）。为了提高接收到的3DV质量，我们建议优化的混合技术来重建错误的MB的颜色加深度帧间编码和帧内编码帧。提出了一种结合循环扫描顺序内插（CSOI）技术和分割运动补偿（PMC）技术的彩色帧内丢失隐藏方法。针对彩色帧间图像的污染问题，提出了一种方向性纹理运动相干（DTMC）和方向性插值误差隐藏（DIEC）相结合的方法。为了估计用于恢复错误深度帧的更多附加深度辅助DV和MV，建议了深度辅助错误恢复技术。然后，将这些深度估计的运动和视差矢量与估计的候选纹理DV和MV相加在一起，以重建损坏的颜色加深度帧。最后，通过解码器运动矢量估计（DMVE）和DIEC技术选择最佳颜色加深度MV和DV。各种3D视频帧上的仿真结果阐明了所建议的混合颜色加深度EC技术在高分组丢失率（PLR）下实现了高鲁棒性。©2018作者制作和主办：Elsevier B.V.代表沙特国王大学这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍多视图视频压缩（MVC）的标准（Xiang等人，2015; Ozcinar等人，2016; Purica等人， 2016）实现了高效的3D视频编码。该标准是2D视频压缩标准（H.264/AVC，2016）的补充，预计将在各种实现中快速取代2D H.264在3D-MVC系统中，3DV包括用不同相机为同一对象拾取的不同序列。因此，获得足够的压缩以满足未来的带宽要求，同时保持决定性的3DV接收质量是一个坚持的任务在有限资源上传输3DV*通讯作者。电子邮件地址：eng.waled.elshafai@ gmail.com（W。El-Shafai）。沙特国王大学负责同行审查制作和主办：Elsevier信道，必须利用高度充分的编码过程，同时保持满意的接收质量（De Abreu等人，2015年）。为了有效地进行3DV通信，除了利用3D视频序列内部的视点间相关性外，3D-MVC系统还必须利用同一视频中相邻帧之间的空间和时间匹配来提高压缩效率。然而，高速率的视频压缩更容易受到传输信道损坏的影响。通过无线信道的3DV传输永久地经受突发和随机性质的分组错误（El Shafai，2011; Hewage和Martini，2013; Liu等人，2013年）。图1中介绍的预测性3D MVC预测结构（MVC-PS）（El-Shafai，2015;El-Shafai，2015）用于压缩3DV流。它在编码器侧利用运动补偿预测（MCP）和视差补偿预测（DCP）在图1中呈现的MVC-PS中，垂直轴是指时间，而水平线是指相机的不同视图。那么，V标记指的是捕获的视图索引。偶数视图（V2、V4和V6）根据运动https://doi.org/10.1016/j.jksuci.2018.02.0071319-1578/©2018作者。制作和主办：Elsevier B.V.代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.com470W. El-Shafai等人/Journal of King Saud UniversityFig. 1. 3D视频压缩预测结构。通过使用视差补偿来压缩它们的主要关键帧，而通过使用视差补偿来压缩它们的主要关键帧。仅使用基于MCP的时间匹配来压缩V0视图另一方面，在奇数视图（V1、V3和V5）中，MCP和DCP被联合使用以提高压缩效率。偶数视图称为P视图，V0视图称为I视图，奇数视图称为B视图。图1B中的3DV MVC预测结构。图1呈现了包括两种不同类型的压缩帧的图像组（GoP），这两种不同类型的压缩帧是I帧内帧以及B和P帧。使用I视图帧内帧并且还从P视图帧间帧来确定B视图帧间帧。因此，如果在P或I帧处发生错误，则其传播到参考视图间帧，并且此外传播到同一3DV视图中的相邻时间画面，并且因此其产生贫乏的3DV质量。 为了最小化3DV传输之前的分组丢失的影响，在文献工作中，已经利用了自动重复请求（ARQ）和前向纠错（FEC）方法（Salim等人，2013; Huo等人， 2013年）。不幸的是，它们引入了更多的延迟，因为它们增加了传输比特率。因此，在解码器侧迫切需要后处理隐藏技术（Khattak等人，2016; Zhou等人，2015;Lee等人，2014; El-Shafai，2013）。它们利用3DV序列内部的视图内和视图间相关性的优点来隐藏丢失的MB或帧。他们建议，因为他们减少了传输错误，而不增加延迟或需要复杂的编码器侧修改。建议隐藏1-D或2-D视频的EC技术可以被利用来恢复丢失的3DV MB（Hwang等人，2008; Lie等人，2014; Gadgil等人，2015年）。由于利用视图间匹配的优势，预计它们在恢复3DV MB的损失方面表现得更有效（El-Shafai，2015）。在这项工作中，我们提出了各种状态的隐藏假设的颜色加深度帧内和帧间的P，I和B视图。因此，所提出的混合隐藏技术基于错误的帧视图和类型来有效地选择合适的EC技术以重构损坏的颜色加深度MB。的3D视频加深度(3DV+D）EC研究地区最近受到了很多关注（Khattak等人， 2016; Zhou等人，2015; Lee等人，2014年）。3DV+D是已经广泛扩展的3D视频传输的形式（Purica等人，2016; DeAbreu等人，2015; Khattak等人，2016年）。它具有关于场景每像素几何的数据，因为所有对象像素必须具有相同的深度值。所以我们可以利用深度信息以识别将有助于EC机制的对象边界。此外，相比于2D视频比特在最先进的作品，各种深度辅助隐藏方法已广泛用于2DH.264视频压缩标准。最近，用于3D视频通信的深度辅助EC技术已经引起了研究人员的兴趣（Yan和Zhou，2012;El-Shafai等人，2017 a，b; Chung等人，2011; Lie和 Lin ， 2013; Tai 等 人 ， 2016;Assunçao 等 人 ， 2017; Wang 和Wang，2016; Mueller和Vetro，2014）。值得注意的是，几乎所有的文献深度辅助隐藏技术都允许深度数据被编码并通过传输信道传输到解码器，因此它们在编码器处提取它们。因此，它们增加了3DV通信系统的比特率和计算复杂度，并且因此它们不适合于无线传输系统的有限本文提出了一种改进的深度辅助隐藏方案，用于3DV + Depth无线通信系统中深度帧的恢复在这项工作中提出的深度辅助EC方案估计的深度数据的严重错误的帧在解码器侧，而不是在编码器侧执行推导和这是通过预测所接收的颜色加深度3DV数据的因此，所建议的基于深度的方案可以引入比先前的深度辅助EC方法所获得的主观和客观质量更好的主观和客观质量，同时引入最小的它既不增加传输延迟，也不需要困难的编码器程序。所提出的技术还可以在先前工作中忽略的严重帧损坏的状态下有效地工作（Yan和Zhou，2012;El-Shafai等人，2017 a，b; Chung等人，2011; Lie和Lin，2013; Tai等人，2016;Assunçao等人，2017; Wang和Wang，2016; Mueller和Vetro，2014），并且可以通过无线网络有效地传输3DV数据，损失严重。所提出的混合错误恢复方法被用来估计最佳MV和DV以隐藏损坏的MB并增强重建的3DV质量。该算法根据视图类型和丢失帧的大小自适应地采用EC算法提出了一种CSOI和PMC相结合的彩色帧内差错隐藏方法对于彩色帧间失真，采用了DTMC和DIEC技术相结合的方法对于丢失的深度帧内和深度其余工作的协调如下。第2节解释了相关的基本错误恢复技术。在第3节中，我们介绍了建议的动态错误恢复技术的错误的颜色MB和建议的深度辅助错误恢复方案的损坏的深度MB。第4节讨论了实验结果，并进行了比较分析。第五部分是对全文的总结2. 基本错误恢复技术错误网络上的3D视频通信可能面临巨大的挑战，因为分组丢失或比特错误的传播破坏了接收和解码的3D视频质量。因此，这是一个有益的方法，使用的隐藏机制，有效的3D视频通信。隐藏过程是一种动态的解决方案，用于通过先前恢复和解码的3D流的帧来恢复和交换损坏的3D视频帧，以消除或最小化视频错误。在2D视频系统中用于处理传输损坏的隐藏方法（Hwang等人，2008; Lie等人，2014;Gadgil等人，2015）可以利用一些调整来补偿丢失的3DV帧。这些W. El-Shafai等人/Journal of King Saud University471预测隐藏方法对于隐藏3D视频系统中的传输故障是进一步有益的，因为它们受益于各种3D视频视图之间的视图间匹配。帧时域替换（FTR）技术是一种直接的时域隐藏方法，它用参考匹配帧中的空帧替换丢失的外块边界匹配（OBBM）和DMVE技术是更复杂的时间EC技术（Hwang等人，2008年）。OBBM技术确定被替换的MB像素的外部边界和丢失的MB像素的完全相同的外部边界中的MV。它仅使用相对MB外轮廓来放置最高匹配的相邻MV，如图2a所示。DMVE技术通过在帧的参考3D视频帧中应用完美搜索来估计帧的错误MV。它在指定帧的交换时是有用的，以使损失失真边界最小化，如图2b所示。DMVE技术比OBBM技术具有更好的隐蔽性能，但复杂度几乎相同。加权像素平均插值（WPAI）和DIEC技术被应用于空间和视图间的conceptibility过程（Gadgil等人，2015年）。如图2c所示，WPAI技术通过利用相邻MB中的垂直和水平MB数据来恢复损坏的MB数据。在WPAI技术中，利用MB轮廓上的最近的四个邻接MB像素通过插值来估计每个损坏的MB像素。因此，该技术不适合于纹理特征的恢复，特别是在严重错误的通道的情况下，其中几乎所有相邻数据都已丢失或损坏。的DIEC技术通过在相对宏块内搜索来确定对象边界方向，从而重建损坏的帧像素。选择对象边界方向的最高估计值来恢复丢失的帧，如图1所示。 2 d.3. 建议的混合错误恢复技术在本节中，介绍了所提出的用于在解码器侧重建损坏的3DV颜色和深度帧的错误恢复技术。所提出的具有增强的所提出的混合颜色加深度EC技术的3DV系统的示意性框架呈现在图1中。3.第三章。3.1. 针对错误彩色帧的建议混合隐藏技术在本节中解释用于估计错误颜色帧内和帧间的MV和DV的建议的隐藏技术（CSOI、PMC、DTMC和DIEC）。在图4中介绍了所建议的组合式彩色帧间和帧内EC技术的完整示意图。针对彩色帧内隐藏，提出了一种包括空间和时间EC（CSOI + PMC）技术的混合方法;针对彩色帧间隐藏，提出了一种包括视图间和时间EC（DTMC + DIEC）技术的混合方法。空间WPAI技术不能有效地工作在重损失信道的情况下，特别是当大量周围MB已经丢失时。在本文中，我们提出了一种混合的方法，图二、基本的错误恢复技术。（a）OBBM，（b）DMVE，（c）WPAI，和（d）DIEC。472W. El-Shafai等人/Journal of King Saud University××××××××××××图三. 所提出的3DV色彩加深度传输系统的总体框架。见图4。 提出了用于丢失的3DV彩色帧的混合EC技术的框架。包括有效的时间PMC和空间CSOI技术，用于隐藏丢失的帧内MB，以实现足够的帧内EC性能。空间内插CSOI技术工作在44MB上，以实现可靠的EC性能。在CSOI中，解码器可以精确地确定损坏的MB像素的纹理趋势，并沿着该方向获得最佳插值。对于每个接收到的具有相同预测方向的损坏的16 16 MB，我们将其分成具有不同预测方向的16个4 4 MB。然后，正确接收的MB的预测方向用于确定损坏的MB的最佳方向，并估计沿着预测方向的丢失的MB像素。因此，我们计算的最优估计方向为整个丢失的4 4 MB像素，以提高空间EC性能。空间WPAI技术利用光栅扫描从左侧到右侧，然后从上到下的方向预示4 × 4 × 16 MB。因此，这可能会导致扫描误差的累积（Yan和Zhou，2012）。因此，估计误差将传播到将用于恢复其他错误像素的重构像素值因此，左上4 4 MB具有最小的估计累积误差，而右下4 4 MB具有最高的预测累积误差。为了最小化预测误差的扩散和累积，提出了一种圆形扫描顺序而不是光栅扫描顺序来确定4 4 16 MB，从而有效地利用了所有4 4 MB之间的空间相关性通过CSOI，首先，我们对边缘处的12个4 4 MB进行插值，然后对内部的4个4 4 MB进行插值，如图5所示。MB编号1具有最小的估计误差，MB编号16具有最高的估计误差，因为预测累积图五. 提出了空间CSOI技术。误差在MB 1到MB 16的方向上增加。为了避免这种情况，如图5所示，利用前向和后向圆形内插方向，并且两种内插情况的平均值被用于空间隐藏帧内错误。为了更好地增强隐藏帧内的主观和客观3DV质量，时间PMC技术与空间CSOI技术联合使用。PMC从正确的相邻MB的MV有效地估计丢失MB的MV。由于时间OBBM技术仅为损坏的MB恢复一个MV，这意味着损坏的MB中的所有像素将具有相同的MV强度方向，这将导致降低重构质量，因为仅一个MV不能提供足够的可靠性来隐藏严重的通道误差，因为MB可能包括许多方向细节。因此，在本文中，利用时间PMC技术来增强MV补偿，以有效地隐藏帧内错误。在PMC中，损坏的MB被分成四个8 8块，如图所示。 6，因此需要四个MVW. El-Shafai等人/Journal of King Saud University473×××见图6。提出的时间PMC技术。估计损坏的MB。通过PMC，首先估计丢失MB周围的8个8 × 8 MB（T1、T2、R1、R2、B1、B2、L1、L2）的8个MV，其中T、R、B和L指的是上、右、下和左块。MVL1和MVT1用于估计MVBlock1。 利用MVT2和MVR1来评估MV块2。MVB1和MVL2用于计算MVBlock3。MVR2和MVB2用于恢复MV块4。MVBlock1通过（1）计算，其中MVL1（x，y）和MVT1（x，y）分别是块L1和块T1的估计MV值。顺便说一下，MV块2、MV块3和MV块4分别由（2）对于每个8 8块，有16个像素的边界上的每个块如图所示。 六、边界匹配误差（BME）是利用公式（5）在外部和内部MB边界像素之间估计的，其中内部P（j）是MB边界内部的像素速率，外部P（j）是相邻块的像素速率。因此，每个块范围内的候选MV的最小BME将被选择为丢失的8 × 8块的最佳MV。因此，存在四个候选隐藏MV而不是一个候选MV用于隐藏受损MB。MVBlock1x;y：½Min MVL1x;y; MVT1x;y;Max MVL1x;y;MVT1x;y]ð1ÞMVBlock2x;y：½Min MVT2x;y; MVR1x;y;MaxMVT2x;y; MVR1x;y]ð2ÞMVBlock3x;y：½Min MVL2x;y; MVB1x;y;MaxMVL2x;y; MVB1x;y]ð3ÞMVBlock4x;y：½Min MVB2x;y; MVR2x;y;Max MVB2x;y;MVR2x;y]ð4ÞBR，TL，BL），如图所示。 其中R、B、T、L、BR、TL、TR和BL分别表示右、底、顶、左、右下、左上、右上和左下周围MB。DTMC首先检查损坏的MB及其相邻MB与参考帧中的同位MB的方向。然后，在受损宏块和其参考宏块之间计算出8个方向候选运动矢量，其中参考宏块与故障宏块在参考相关帧中具有相同的位置和运动方向因此，估计的八个不同候选MV组被给出为组T：{MVref，MVT，MV0}，组B：{MVref，MVB，MV0}，组R：{MVref，MVR，MV0}，组L：{MVref，MVL，MV0}，组TR：{MVref，MVTR，MVT，MVR，MV0}，组TL：{MVref，MVTL，MVT，MVL，MV0}，组BR：{MVref，MVBR，MVB，MVR，MV0}，组BL：{MVref，MVBL，MVB，MVL，MV0}，以及组0：{MVref，MVT，MV TR，MVR，MVBR，MVB，MVBL，MVL，MVTL，MV0，MVavg}。MVavg¼MVTMVBMVRMVL= 46其中，（6）中给出的MVavg和MV0分别指平均MV和零MV，并且它们是针对缓慢移动对象中的MB和背景MB定义的当在移动对象的边缘上找到丢失的MB或其参考MB时，使用组O。DTMC根据损坏的MB和参考MB的邻接MB的两个纹理方向从上述八个估计的组中选择合适的组pf因此，例如，如果MV_ref和MV_T两者的方向都被分配在T区域中，则选择组T用于隐藏，等等。为了进一步提高帧间P和B帧中的错误MB的隐藏效率，DIEC被用作视图间EC技术来估计DV。DIEC通过研究相邻帧预测对象边界轮廓来恢复损坏的选择对象边界方向的最高值来恢复丢失的帧，如图2.d所示。其用于使用其参考左视图间帧来计算偶数V2、V4和V6视图中的P帧中的丢失MB的DV。此外，通过从相邻视图中的B帧的右和左相对帧确定损坏的MB的DV来恢复奇数V1、V3和V5视图中的B帧的损坏的MB。3.2. 针对错误深度帧的建议深度辅助技术在本节中，介绍了所提出的用于恢复深度3D视频帧间和帧内的深度辅助错误恢复建议的深度辅助技术首先计算正确和错误接收的比特流的MV和DV深度图。由于DV和MV在编码器侧被估计并被发送到解码器侧，因此我们可以在解码器侧利用它们来估计到达MB的深度数据正确接收的深度数据图BME¼16第1页jPinsidej-Poutsidejj！=165对于3DV帧间隐藏，提出了一种混合方法，包括有效的时间DTMC和视图间DIEC技术来重建丢失的MB的MV和DV。与估计丢失MB的一个MV的OBBM技术不同，DTMC技术将丢失MB的MV空间划分成八个不同的方向纹理区域（R、T、L、B、TR、R、T、L、 B、C、D、E见图7。提出的时间DTMC技术。.X474W. El-Shafai等人/Journal of King Saud UniversityXXXXXX--XXDVXyXy通过（7）和（8）分别找到取决于正确接收的MV和DV的MB中的MB。由（9）和（10）计算。同样，我们收集与正确接收的MB相关的深度其深度数据值由（7）和（8）计算。在这一步，dMVm;nk×qMVm;n2MVm;n2dm;nk×qDVm;n2DVm;n2ð7Þð8Þ除了所计算的深度辅助DV和MV隐藏候选者之外，还有几个估计的颜色辅助DV和MV隐藏候选者。因此，DIEC和DMVE技术是应用于从com中选择最佳隐藏DV和MV其中DV（m，n）和MV（m，n）是（m，n）处的视差和运动矢量，k是缩放因子，并且符号y和x表示MB的垂直和水平分量。然后，我们通过（9）和（10）计算在其相对相邻帧中的损坏MB的视图间和DMVm;nsMVF-1m;n2MVF-1m;n 2VF1m;n2VF1m;n2完整地获得颜色辅助和深度辅助的DV和MV的候选组，用于有效地恢复接收到的3D视频序列的损坏的颜色和深度MB值。4. 实验结果与讨论4.1. 绩效考核为了评估所提出的混合颜色的效率公司简介DDV剂量;ny xy2ð9Þ加上深度EC技术，我们已经对著名的3D视频（剑道，芭蕾舞和芭蕾舞）序列进行了不同的模拟实验（mvc，2016）。三个测试的3D视频流有各种特征。 剑道是一种中间运动的溪流，sDVS-1m;n2DVS-1m;n2VS-1 m; n 2 D V S 1 m; n 2这是一个温和的缓慢流动的流，和芭蕾舞团是公司简介y x y2ð10Þ快速流动的溪流对于每个3D视频，压缩的3D视频获得比特流，然后通过具有各种分组丢失率（PLR）值的无线网络的其中，S 1、S+1、F 1和F+1表示下、上、左和右相对帧到错误帧。在估计在其参考并置相邻帧中具有丢失MB的帧的视差和运动深度数据值之后，将MCP和DCP应用于先前计算的深度数据图，所述深度数据图由（9）和（10）估计以计算运动和视差矢 量 的 深 度 数据 为 了 收 集 候 选 深 度 MV 和 DV ， 利 用 绝 对 差 和（SAD）（El Shafai，2011）作为计算测量，如（11）R-1R- 1SADMVm;nj DFm;n- DF-1mi;njj11i¼-Rj¼-RR-1R- 1SADMVm;njDFm;n-DF1mi;njj12i¼-Rj¼-RR-1R- 1SADDVm;nj DFm;n- DS-1mi;njj13i¼-Rj¼-RR-1R- 1SADDVm;njDFm;n-DS1mi;njj14i¼-Rj¼-R其中，R是搜索区域，Di（m，n）是指帧i的（m，n）处的深度数据的幅度。我们假设帧F内的MB数据在上述公式中丢失因此， DF（m，n）由（9）或（10）估计。DF-1（m，n）和DF+1（m，n）由（7）估计。相似地，DS-1（m，n）和DS+1（m，n）由（8）估计。在估计错误接收的帧的重构的候选深度运动和视差矢量之后，我们利用如前所述的正确和错误接收的帧。因此，为了提高EC效率，我们还在其相关帧中收集用于损坏帧的彩色DV和MV的候选组颜色DV和MV是与当前丢失的MB和它们的相对帧的参考并置MB相关的它们可以用第3.1节中详细介绍的EC程序计算。如上文所解释，从具有与色彩运动及视差向量相同位置的深度数据图估计错误MB的深度运动及视差向量，色彩运动及视差向量的深度数据图接收的3DV比特流在解码器侧使用所建议的EC技术被解码和恢复。在我们的模拟工作中，基于H.264 2D视频参考编解码器（H.264/AVC，2016）使用JMVC参考软件（Karunakar，2014）。本文中使用的模拟条件基于JVT标准条件（mvc，2016）选择。为了评估所建议的EC技术的效率，使用目标峰值信噪比（PSNR）来确定重建和隐藏的3DV帧的质量。为了说明应用所提出的EC技术来通过错误损坏的信道隐藏丢失的颜色加深度3DV帧的效果我们将它们的效率性能与采用传统的最先进的（WPAI和OBBM）彩色EC技术而不应用所提出的深度辅助方案的状态（传统彩色辅助EC + 无深度辅助EC ）（El-Shafai ，2015），利用所提出的（CSOI，PMC，DTMC和DIEC）彩色EC技术但不使用所提出的深度辅助方案的情况（提出的彩色辅助EC +无深度辅助EC），以及无隐藏状态（无彩色辅助隐藏+无深度辅助隐藏）进行了比较。 在所呈现的实验结果中，所提出的颜色辅助隐藏+所提出的深度辅助隐藏给出了最可靠的质量结果。在37、32和27的各种量化参数（QP）下以及在所选择的测试3D视频（芭蕾、剑道和跆拳道）流的所选择的颜色和深度帧内和帧间的30%、40%和50%的不同严重PLR下的颜色和深度模拟结果的比较在图1A和1B中介绍。八比十对于3DV测试序列，在不同视图位置内选择了不同的损坏帧类型和位置（P或B或I帧），以阐明所提出的EC技术在针对不同PLR处的不同3DV特性将损坏帧隐藏在任何帧类型内或任何视图位置内图8介绍了颜色和深度帧主观模拟，在无线信道上的3D视频芭蕾流的量化结果我们使用没有深度辅助EC的最新EC方法，基于丢失视图和帧中的有损索引MB位置来重建模拟测试的第17颜色和深度帧，XXW. El-Shafai等人/Journal of King Saud University475图8.第八条。在 " 芭 蕾 " 序 列 的 I 视 图 （ V 0 ） 中 的 所 选 颜 色 和 深 度 的 第 1 7 I 帧 内 的 模 拟 结 果 ： （ a ） 原 始 的 无 误 差 I 1 7 彩 色 帧 ， （ b ） P L R = 3 0 % ， Q P = 3 7的 损 坏 的 I 1 7 彩 色 帧 ， （ c ） 在 常 规 颜 色 辅 助 E C + 无 深 度 辅 助 E C 的 情 况 下 ， （ E l - S h a f a i ， 2 0 1 5 ） ， （ d ） 在 提 出 的 颜 色 辅 助 E C + 无 深 度 辅 助 E C 的 情 况下 隐 藏 的 1 1 7 色 帧 ， （ e ） 在 所 提 出 的 颜 色 辅 助 E C + 所 提 出 的 深 度 辅 助 E C 的 情 况 下 的 隐 藏 的 I 1 7 颜 色 帧 。 （ f ） 原 始 无 误 差 I 1 7 深 度 帧 。 （ g ） P L R =3 0 % ， Q P = 3 7 的 损 坏 的 I 1 7 深 度 帧 ， （ h ） 在 常 规 深 度 辅 助 E C + 无 颜 色 辅 助 E C 的 情 况 下 ， （ E l - S h a f a i ， 2 0 1 5 年 ） ， （ i ） 隐 藏 式 I 1 7 深 度 框 架 ， 具 有拟 议 的 深 度 辅 助 E C + 无 颜 色 辅 助 E C ， 以 及 （ j ） 在 所 提 出 的 深 度 辅 助 E C + 所 提 出 的 颜 色 辅 助 E C 的 情 况 下 的 隐 藏 I 1 7 深 度 帧 。图8c和h中使用建议的EC技术引入，而不利用图8d中所示的深度辅助EC，以及可以观察到，图8 e和j中给出的建议的颜色辅助EC +建议的深度辅助EC技术的颜色和深度帧的主观结果优于传统的颜色辅助EC +无深度辅助EC技术的主观结果（El-Shafai，2015），并且也优于图8 e和j中所示的建议的颜色辅助EC+无深度辅助EC技术的主观结果。 8 c和h，和图。 8 D和I图9示出了QP = 32和PLR = 40%的无线信道上的3D视频剑道流的颜色和深度帧主观模拟结果我们已经选择了第五帧间压缩帧来测试V1 B视图内的颜色和深度B帧从图1中呈现的恢复的颜色和深度帧结果， 9 e，和j相比，那些在图。在图9c、d、h和i中，我们注意到，与用于在如PLR = 40%的状态中的错误损坏信道的状态中有效地恢复损坏的颜色和深度帧的其它错误控制技术相比，完全提出的混合颜色和深度EC技术实现了良好的结果。图图10呈现了在无线信道上的3D视频信标流的颜色和深度帧主观模拟结果，其中QP = 27并且PLR = 50%，用于P视图V2内的模拟测试的第73压缩颜色和深度P帧。我们注意到从图中获得的结果。 混合建议的颜色辅助隐藏+深度辅助隐藏方案的主观模拟结果优于传统的颜色辅助隐藏+无深度辅助隐藏（El-Shafai，2015）和建议的颜色辅助隐藏+无深度辅助隐藏技术。因此该应用程序联合提出的颜色和深度误差控制技术的一个优点是有效地恢复被破坏的颜色加深度帧，特别是在诸如PLR = 50%的状态之类的被破坏的无线信道的状态在图11、表1和图12中示出了在27、32和37的各种QP和PLR下模拟的3D视频流的PSNR模拟值的比较。我们通过使用文献中最先进的颜色EC方法而不使用所提出的深度辅助EC技术（传统颜色辅助EC+无深度辅助EC）的情况，比较了所提出的颜色和深度误差控制技术（所提出的 颜色 辅 助EC + 深 度辅 助 EC ） 的PSNR 模 拟结 果 （El-Shafai ，2015），所提出的彩色EC技术没有所提出的深度辅助EC技术（提出的颜色辅助EC +无深度辅助EC），以及无差错控制方案的情况（无颜色辅助隐藏+无深度辅助隐藏）。如从所有模拟的3D视频流注意到的，我们感知到所建议的基于颜色的EC +基于深度的EC技术总是实现优异的PSNR值。可以观察到，与采用所提出的颜色辅助隐藏+无深度辅助隐藏技术的状态相比，所提出的自适应技术对于整个测试的3D视频流具有约1.23-2.05 dB以及在各种PLR和QP下2.35-3.85 dB的更好的平均客观PSNR增益。以及利用传统颜色辅助隐藏+无深度辅助隐藏技术的状态（El-Shafai，2015）。我们还可以得出结论，建议使用所提出的颜色辅助EC +深度辅助EC技术，因为与无EC技术的状态相比，它们在各种PLR和QP下提供约11.28此外，我们从所有模拟结果中观察到，所建议的颜色和深度EC技术在以下方面是非常有吸引力的：476W. El-Shafai等人/Journal of King Saud University图9.第九条。在 " 剑 道 " 序 列 的 B 视 图 （ V 1 ） 中 所 选 颜 色 和 深 度 的 第 5 个 B 帧 间 的 模 拟 结 果 ： （ a ） 原 始 的 无 误 差 B 5 彩 色 帧 ， （ b ） P L R = 4 0 % ， Q P = 3 2 的损 坏 的 B 5 彩 色 帧 ， （ c ） 在 常 规 颜 色 辅 助 E C + 无 深 度 辅 助 E C 的 情 况 下 ， （ E l - S h a f a i ， 2 0 1 5 ） ， （ d ） 具 有 所 提 出 的 颜 色 辅 助 E C + 无 深 度 辅 助 E C 的 隐 藏B 5 颜 色 帧 ， （ e ） 具 有 所 提 出 的 颜 色 辅 助 E C + 所 提 出 的 深 度 辅 助 E C 的 隐 藏 的 B 5 颜 色 帧 ， （ f ） 原 始 无 误 差 B 5 深 度 帧 ， （ g ） P L R = 4 0 % ， Q P = 3 2 的 损坏 的 B 5 深 度 帧 ， （ h ） 在 传 统 深 度 辅 助 E C + 无 颜 色 辅 助 E C 的 情 况 下 ， （ E l - S h a f a i ， 2 0 1 5 年 ） ， （ i ） 具 有 拟 议 深 度 辅 助 E C + 无 颜 色 辅 助 E C 的 隐 藏 式 B 5深 度 帧 ， 以 及 （ j ） 具 有 所 提 出 的 深 度 辅 助 E C + 所 提 出 的 颜 色 辅 助 E C 的 隐 藏 B 5 深 度 帧 。无线信道被恶意破坏的状态。与最先进的错误控制技术相比，他们的结果令人赞赏。仿真结果表明，与传统方法相比，该方法能有效地提高PSNR，并且在提高PLR或QP的同时，也能提高PSNR。此外，据观察，所提出的技术引入更有效的模拟结果的3D视频序列与各种功能，他们可以隐藏损坏的MB在任何视图位置具有完美的功效。4.2. 比较研究和讨论为了证明和确认所建议的用于通过严重分组丢失无线信道进行高效3DV通信的隐藏技术的性能效率，已经用JMVC软件实现了不同的将所建议的技术的性能与FTR方案、WPAI和OBBM的混合技术（ElShafai，2011）、混合运动矢量外推（HMVE）（Lie等人， 2014）、视差向量外推（ DVE ）（ Hwang 等人， 2008 ）、 混合DIEC和DMVE（El-Shafai，2015）、应用灵活宏块排序（FMO）方法的DMVE和DIEC方法的联合技术（El-Shafai，2015）以及用于整个错误帧的四种EC方向DV/ MV确定技术（Zhou等人，2015年）。这些传统的隐藏方案没有考虑深度辅助EC，但在所建议的技术中，我们利用了DV和MV的颜色和深度辅助恢复比较结果显示了在不同QP和PLR = 40%下，使用第4.1节中所示的完全相同的实验条件，在Wellons、所有的模拟实验都是利用英特尔®酷睿TMi7- 4500 U CPU@1.80 GHz和2.40 GHz，8 GB RAM，运行Windows 10 64位操作系统。客观的PSNR和平均帧执行时间的结果，以证明所提出的EC技术的效率。 表2呈现了与FTR、HMVE和DVE技术的平均PSNR值和帧执行时间值相比，所建议的技术的平均PSNR值和帧执行时间值（Zhou等人，2015; ElShafai ，2011;El-Shafai，2015;El-Shafai，2015）在不同的QP 27，32和37。我们注意到，建议的技术优于传统的技术，在所有的实验模拟配置。还注意到，利用所建议的重建技术，除了颜色辅助EC技术之外，还可以通过利用深度辅助EC来进一步提高3DV质量。此外，据观察，所建议的技术与传统技术相比具有稍长的处理时间。因此，所建议的技术的处理时间可适合于实时和在线3DV流式传输实施方案。与利用深度辅助隐藏的传统最先进技术的性能相比，我们验证了建议的EC技术的性能（Yan和Zhou，2012; Wang和Wang，2016;Mueller和Vetro，2014）。这些传统的技术除了利用颜色辅助EC外，还利用了深度辅助EC然而，它们在编码器侧压缩和外推深度数据图，并通过无线网络传输它们因此，它们增加了3D视频系统的计算复杂度和通信比特率因此，它们可能不适合无线信道的有限在通信PLR = 20%和QP = 27的情况下，对测试的3D信标和剑道流进行了比较实验。表3给出了所建议的方法的平均客观PSNR和帧执行时间。W. El-Shafai等人/Journal of King Saud University477见图10。 在“子帧”序列的P视图（V2）中的所选颜色和深度第73 P帧间帧的模拟结果PLR = 50%，QP = 27的损坏的P73彩色帧。（c）在常规彩色辅助EC +无深度辅助EC的情况下的损坏的P73彩色帧（El-Shafai，2015），（d）具有所提出的颜色辅助EC +无深度辅助EC的隐藏P73彩色帧，（e）具有所提出的颜色辅助EC +所提出的深度辅助EC的隐藏的P 73颜色帧。（f）原始无误差的P73深度帧。（g）具有PLR = 50%，QP = 27的损坏的P 73深度帧，（h）在常规深度辅助EC +无颜色辅助EC的情况下隐藏的P73深度帧（El-Shafai，2015），（i）在提出的深度辅助EC+无颜色辅助EC的情况下隐藏的P73深度帧，以及（j）隐藏的P 73深度帧，具有所提出的深度辅助EC +所提出的颜色辅助EC的帧。图十一岁测试的目标PSNR（dB）结果：（a）芭蕾舞，（b）剑道，和（c）在QP = 27和各种PLR下的芭蕾舞3D视频序列478W. El-Shafai等人/Journal of King Saud University表1测试的目标PSNR（dB）结果：（a）Ballet，（b）Kendo和（c）QP = 32和各种PLR下的Brons 3D视频序列序列丢包率（PLR）%应用方案百分之二十百分之三十百分之四十百分之五十百分之六十芭蕾没有错误38.7038.7038.7038.7038.70建议的基于颜色的EC +建议的基于深度的EC35.5233.8632.9731.4629.53建议的基于颜色的EC +无基于深度的EC32.5732.0931.1729.6927.87传统颜色EC+无深度EC（El-Shafai，2015）31.6331.2030.3228.8926.11出现错误（无基于颜色的EC +无基于深度的EC）21.5918.8414.569.975.71剑道没有错误43.0343.034