基于双向编码的深度立体图像压缩方法

19669基于双向编码的深度立体图像压缩雷建军1刘祥瑞1彭波1*靳登超1李万庆2顾景晓31天津大学2University of Wollongong3CalmCar车辆视觉系统{jjlei，xr liu，bpeng，jdc3159761141}@ www.example.com，www.example.com，www.example.comwanqing@uow.edu.au @jingxiao.gu calmcar.com tju.edu.cn摘要现有的基于学习的立体声压缩方法通常采用单向的方法来独立地编码一个图像，而另一个图像以第一个图像为条件。提出了一种基于双向编码的端到端立体图像压缩网络（BCSIC-Net）。BCSIC-Net包括一个新的双向上下文变换模块和一个双向条件熵模型，前者根据潜在空间中的视点间上下文进行非线性变换，以减少视点间的冗余，后者以视点间的对应关系作为条件先验，以提高编码效率。在InStereo 2K和KITTI数据集上的实验结果表明，BCSIC-Net能够有效地减少视点间的冗余，性能优于现有的方法。1. 介绍随着立体成像技术的快速发展，立体图像被广泛应用于许多应用中，例如增强现实、自动驾驶和机器人导航[23，11，31，21]。因此，若干已经开发和改进了方法[8，14，15，18，19，24，13]与单帧图像压缩不同，立体图像压缩除了要减少视点内的冗余外，还需要减少视点间的冗余。传统上，立体图像压缩方法采用视图间预测，例如视差补偿预测（DCP）[8，15，18，19]，来处理视图间冗余。例如，当压缩右图像时，DCP估计右图像和重构的左图像之间的视差，然后经由视差补偿来导出右图像的对实际右图像和预测右图像之间的冗余和残差进行编码。然而，手工制作的预测方法很难应付复杂的视图间cor，*通讯作者。图1.通过所提出的方法和最先进的方法HESIC实现的压缩性能的图示[13]。对于复杂场景，这种关系是不可避免的，因此残差和比特通常保持很大。随着深度学习的发展，端到端的单图像压缩[2，3，27，20，22，26，10，12，25，17，16]已经取得了可喜的进展。这些工作为立体图像压缩提供了见解和方法，并且已经初步研究了一些遵循深度学习范式的框架[24，13]具体来说，它们分别采用基于深度学习的单图像压缩网络和视图间预测网络来减少视图内和视图间冗余。现有的方法主要采用单向编码机制来减少视图间冗余，即，，左图像的重建[8，18，19，13]或潜在表示[24]作为上下文被传播到右视图编码分支。因此，它们遵循严格的顺序编码顺序，即首先对左图像进行编码，然后对右图像进行编码，反之亦然。一方面，这种单向框架对于减少视图间冗余并不总是有效的另一方面，难以将框架扩展成预期在减少视图间冗余方面更有效的双向编码框架，从而节省比特率。19670针对这一问题，提出了一种基于双向编码的端到端立体图像压缩网络（BCSIC-Net）。该方法的主要思想是通过设计一种新的视图间上下文依赖关系，即，将单向编码机制扩展为双向编码机制。为此，提出了双向上下文转换模块（Bi-CTM）和双向条件熵模型（Bi-CEM）。如图所示。1，与最先进的单向方法[13]相比，所提出的BCSIC-Net可以以更低的比特消耗实现更高的重建质量。本文的主要贡献总结如下。1) 提出了一种新的基于双向编码的端到端立体图像压缩网络（BCSIC-Net），通过有效利用视点间的相关性来提高立体图像压缩性能2) 提出了一种双向上下文变换模块（Bi-CTM），该模块根据视点间上下文进行非线性变换，有效地减少了立体视点间的冗余。3) 提出了一种双向条件熵模型（Bi-CEM），利用视点间的对应关系作为条件先验，提高熵编码的效率4) 在流行的基准数据集上的实验结果表明，该方法达到了最先进的编码性能。本文的其余部分组织如下。第二节总结了单幅图像压缩和立体图像压缩的相关工作所提出的方法在第三节中描述，然后在第四节中的实验结果和分析第五节是论文的结论。2. 相关作品本节简要回顾了最近的单图像压缩和立体图像压缩方法2.1. 单幅图像压缩传统的图像压缩方法通常包括将图像手工变换为紧凑系数、系数的量化以及量化系数的熵编码[33，30]。此外，混合编码方法采用帧内预测来减少空间冗余[6，32，9]。在深度学习时代，已经研究了各种端到端图像压缩方法[2，3，27，20，22、26、10、12、25、17、16]。这些方法采用神经网络将图像非线性地转换为紧凑的潜在表示。然后使用熵模型来估计用于熵编码的潜在表示的概率分布 在解码器中，重建图像是从潜在的表现中产生。端到端框架的编码性能主要取决于非线性变换和熵模型的学习程度[4]。近年来，人们对非线性变换进行了一些研究，以改进紧致表示. Balle等人 [2]提出了一种端到端的图像压缩方法，该方法利用广义分裂归一化（GDN）和逆GDN（IGDN）[1]来加强变换的非线性。Cheng等人。[12]将注意力机制与非线性变换相结合，以获得潜在表示。 Ma等人。 [25]提出了一种类似小波的可逆变换，避免了非线性变换中的信息损失。还报道了进一步的研究以提高熵模型的功效。例如，Balle 'et al. [3]提出了一种以侧信息为条件的熵模型，即超先验模型，该模型用高斯分布来模拟潜表示的概率分布，其参数由超先验决定。Minnen等人。[27]提出了一个自回归上下文作为补充，以提高[3]中条件熵模型的效率。受[27]启发，Lee et al. [20]提出了一种自适应上下文熵模型。Chen等人 [10]开发了一种基于3D-CNN的自回归上下文模型，以捕获潜在表示中的空间和通道相关性。此外，还提出了一些降低熵模型计算复杂度 Hu等人 [17]通过将自回归模型替换为由粗到细的超先验结构，节省了大量时间。 Heet al. [16]提出了自回归上下文模型的一个平行变体，称为棋盘上下文模型，以加速解码过程。尽管在端到端单个图像压缩方面取得了进展，并且这种压缩可以应用于立体图像的左视图和右视图，但是需要一种机制来减少立体图像中的视图间冗余，以便进一步提高编码效率。2.2. 立体图像压缩在立体图像压缩中，除了视图内冗余之外，还需要减少视图间冗余。通常，立体图像压缩遵循单向编码方法，即，独立地对左图像进行编码，然后以压缩的左图像提供的上下文为条件对右图像进行编码。传统上，执行视图间预测（例如DCP）以减少左图像与右图像之间的冗余。Boulliquis等人 [8]提出了一种基于DCP的立体图像压缩框架。具体地，首先对左图像进行独立编码，然后将重构的左图像指定为左图像的参考图像。19671yLQ yLBLAEADyLBi-CEMyRQ yRBRAEADyRF'LC-fR非局部CSR LF'R L∫非局部CF∫ SLLF'RFC'L-Conv↓2GDNConv↓2GDNConv↓2GDNConv↓2GDNConv↓2GDNConv↓2GDNConv↓2Conv↓2ResBlockResBlockResBlockResBlockConv↑2IGDNConv↑2IGDNConv↑2IGDNConv↑2IGDNConvLeakyReLUConvConv↑2IGDNConv↑2IGDNConvLeakyReLU转换ConvLeakyReLU转换Conv↑2Conv↑2我我FF联系我们------------联系我们L编码器熵编码解码器ˆLLˆRR图2.拟议的BCSIC-Net的体系结构。正确的形象。当对右图像进行编码时，基于参考图像生成右图像使用DCP，并且仅估计的视差和预测fL*残余物被压缩。Kaaniche等人。 [18]将向量提升方案与DCP结合起来，以有效地压缩预测残差。 Kadaikar等人[19]提出了一种变块大小立体图像压缩方法，该方法将变块大小编码策略与DCP相结合。最近，研究人员提出了一些端到端的立体图像压缩方法[24，13]。Liuet*al. [24]提出了深度立体图像压缩（DSIC），fRR其中设计参数跳跃函数以利用视图间相关性来改进编码性能。具体来说，参数跳过函数扭曲左-视图特征和潜在表示到右视图编码分支中以提供视图间信息。此外，采用条件熵模型，其中左潜在表示作为右视图概率分布的先验。Deng等人。 [13]开发了用于高效立体图像压缩（HESIC）的深度单应性，其中引入单应性矩阵以通过扭曲重建的左图像来产生右预测。之后，右视图编码分支仅压缩单应性矩阵和预测残差。然而，这些单向编码方法顺序地编码左视图和右视图，并且难以扩展到双向编码方案。3. 该方法3.1. BCSIC-Net的体系结构如图所示 2.提出的BCSIC-Net由编码器、熵编码器和解码器三部分组成。具体地，将一对左图像IL和右图像IR变换为潜在表示 yL，yR由编码器。在编码器内部，提出的Bi-CTM被插入在每个GDN [1]层之后，以减少左右特征之间的由于在编码器中在多个特征级别采用Bi-CTM图3.双向上下文转换的说明module.BCSIC-Net能够通过在多特征尺度上充分减少视图间冗余来提高编码在熵编码期间，首先对yL，yR应用量化。然后，利用所提出的Bi-CEM来提供量化的潜在表示yL、yR的概率估计。在Bi-CEM内部，有效利用了内部相关性来改善概率估计。最后，执行算术编码（AE）以将y_L、y_R压缩成比特流b_L、b_R，并且使用算术解码（AD）从b_L、b_R恢复y_L、y_R。解码器被用来变换量化的潜在表示yL、yR到左图像IL、右图像IR。它与编码r对称，并且所提出的Bi-CTM也被插入到每个IGDN [1]层之后。3.2. 双向上下文转换模块由于图像内容的高度相似性，左右特征之间存在显著的视点间冗余。因此，提出了Bi-CTM，以有效地减少视图间的冗余，通过执行一个非线性变换的条件下，视图间的上下文在一个潜在的空间。Bi-CTMBi-CTMBi-CTMBi-CTMBi-CTMConvLeakyReLUConvBi-CTM我我19672--R--·--LLLRLL分别从右视图和左视图观察。Com-LLRR联系我们→--·{f图4.双向条件熵模型的图解。如图所示。3、提出的Bi-CTM以左右特征{fL，fR}为输入，输出紧凑特征 fL，fR。在亲的开始在假定的Bi-CTM中，两个残差块被分别应用于fL、fR以生成代表性特征f'、f'。在所提出的Bi-CTM内部，有两条并行路径。在左视图路径中，对两阶段映射函数进行解压缩以生成fL的上下文。具体地，在第一阶段中，通过将右特征f'映射到左视图来获取初步上下文f R L，机制，提出的Bi-CTM提供了一种新的条件依赖性，即。用于有效减少视图间冗余的双向上下文。3.3. 双向条件熵模型在条件熵模型中，适当的条件依赖性对于概率的估计至关重要因此，开发Bi-CEM以利用视图间对应性作为左潜在表示和右潜在表示的附加先验，即视图间先验。''如图所示4、Bi-CEM估计概率-fR→L=FL（fR，fL），（1）其中FL（）表示由简化的非局部块实现的映射函数[29]。在随后的阶段中，通过筛选fR→L获得精炼上下文f'对于 量化的潜在表示y<$L，y <$R，可分布性p y<$L（y<$L ），py<$R（y<$R）。利用先验知识为输入潜在表示提供条件依赖性，并将其集成到自回归熵根据f′，R→L模型[27]，即、Lpyˆ （yL）=Ypy（yi|φL，φ

下载后可阅读完整内容，剩余1页未读，立即下载