神经风格迁移的立体图像风格传递

神经立体图像风格传递龚新宇‡HaozhiHuang†Lin Ma†Fumin Shen‡Wei Liu†Tong Zhang†{neoxygong，huanghz08，forest. linma，fumin. shen}@ gmail.comwl2223@columbia.edutongzhang@tongzhang-ml.org†腾讯AI实验室‡电子科技大学抽象。神经风格迁移是一种新兴的技术，它能够赋予日常生活图像以吸引人的艺术风格。以前的工作已经成功地将卷积神经网络（CNN）应用于单目图像或视频的风格转移。然而，立体图像的风格转换仍然是一个缺失的部分。不同于加工对于单目图像，要求程式化立体对的两个视图一致，以向观察者提供舒适的视觉体验。在本文中，我们提出了一种新的双路径网络的看法一致的风格转移的立体图像。当立体对的每个视图在单独的路径中处理时，提出了一种新的特征聚集策略以有效地在两个路径之间共享信息。除了用于控制每个视图中的风格传递质量的传统感知损失之外，利用多层视图损失来强制网络协调两个路径的学习以生成视图一致的风格化结果。大量的实验表明，与以前的方法相比，我们提出的模型可以产生风格化的立体图像，实现体面的视图一致性。关键词：神经风格迁移·立体图像1介绍随着技术的进步，越来越多的新型设备为人们提供了各种各样的视觉体验。其中，提供沉浸式视觉体验的设备是最受欢迎的设备之一，包括虚拟现实设备[8]、增强现实设备[21]、3D电影系统[11]和3D电视[17]。这些设备共享的共同组件是立体成像技术，其通过用于双目视觉的立体视觉在立体对中创建深度的错觉。为了提供更吸引人的视觉体验，许多研究努力将引人入胜的视觉效果应用于立体图像[1，20，3]。神经风格转移是可用于实现这一目标的新兴技术之一。龚新宇在腾讯人工智能实验室担任研究实习生期间完成的2X. Gong等人Fig. 1.在具有和不具有视图一致性的立体图像上应用的样式转移。第一行示出了两个输入立体图像和一个参考样式图像。该系列产品包括由Johnetal提供的结构化设计结果。sm e t o d [ 12 ]。中间列示出放大结果，其中在J〇hn_al中出现明显的不一致。的方法，而我们的结果显示在第三行中保持高度一致性。风格转换是一个长期存在的问题，旨在将一个图像的内容与另一个图像的风格相最近，Gatyset al.[6]重新审视了这个问题，并提出了一种基于优化的解决方案，利用预先训练的卷积神经网络提取的特征，称为神经风格转移，它产生了有史以来最迷人的结果在这项开创性的工作之后，人们投入了大量的努力来提高速度[12，27]，提高质量[28，31]，扩展到视频[7，9，4]，并同时建模多种风格[10，29，19]。然而，将神经风格迁移应用于立体图像的可能性尚未得到充分探索。对于立体图像，一种直接的解决方案是将单图像样式转移[12]分别应用于左视图和右视图。然而，该方法将引入严重的视图不一致性，其干扰并入立体对中的原始深度信息，并且因此给观察者带来不舒服的视觉体验[15]。这里视图不一致意味着风格化立体对具有与输入不同的立体映射。这是因为单个图像样式的转印是高度不稳定的。输入立体声对之间的微小差异可能在风格化结果中被极大地放大。图2的第二行中示出了示例。1，其中同一部分的程式化图案在两种视图中明显不一致。神经立体图像风格传递3在立体图像编辑的文献中，已经提出了许多方法来满足保持视图一致性的需要然而，它们引入可见伪影[23]并且需要精确的立体匹配[1]，同时计算昂贵[20]。一种直观的方法是在左视图上运行单图像风格转移，然后根据估计的视差来扭曲结果以生成右视图的风格转移然而，由于立体对中的遮挡区域，这将引入极其恼人的黑色区域。即使用右视图风格化结果填充黑色区域，严重的边缘伪影仍然是不可避免的。在本文中，我们提出了一种新的双路径卷积神经网络的立体风格转移，它可以生成视图一致的高质量的风格化立体图像对。 我们的模型需要一对立体图像作为输入，同时通过一个单独的路径风格化的立体对的每个视图。一个路径的中间特征经由可训练特征聚合块与来自另一路径的特征聚合。具体地，门控操作由网络直接学习以引导特征聚合过程。各种特征聚合策略进行了探讨，以证明我们提出的特征聚合块的优越性除了用于单目图像的风格转移中的传统感知损失[12]之外，利用多层视图损失来约束两个视图的风格化输出在多个尺度中是一致采用所提出的视图丢失，我们的网络能够协调两个路径的训练，并指导特征聚合块学习最佳特征融合策略，以生成视图一致的风格化立体图像对。与以前的方法相比，我们的方法可以产生视图一致的风格化的结果，同时实现有竞争力的质量。总的来说，本文的主要贡献如下：– 我们提出了一种新的双路径网络的立体风格转移，它可以同时风格化的立体图像，同时保持视图的一致性。– 提出了一种多层视图丢失来协调我们网络的两条路径的训练，使模型，特别是双路径网络，能够产生视图一致的风格化结果。– 提出了一个特征聚合模块，用于学习适当的特征融合策略，以提高风格化结果的视图一致性。2相关工作在这项工作中，我们试图通过一个双路径网络，这是密切相关的风格转移和立体图像编辑的现有文献，生成视图一致的风格化立体对。神经风格转移。Gatys等人提出了第一种神经风格转换方法。[6]，其迭代地优化输入图像以最小化在预训练的深度神经网络上定义的内容损失和风格损失。虽然这种方法实现了迷人的结果为任意的风格，它是耗时的，由于4X. Gong等人到优化过程。之后，提出了基于前馈CNN的模型来提高速度[12，27]，在不牺牲太多风格质量的情况下获得实时性能。最近，已经致力于将单图像神经风格转移扩展到视频[24，10，4]。视频神经风格传递的主要为了解决这个问题，Ruderet al. [24]Gatys等人提出的基于耗时优化的方法引入了时间损失。[6]的文件。通过在训练阶段将时间一致性并入前馈CNN中，Huanget al.[9]能够实时生成时间Gupta等人。 [7]还通过使用时间损失训练的递归卷积网络实现了实时视频神经风格传输。除了对图像或视频的神经风格迁移的大量文献外，对立体风格迁移的研究还很缺乏。直接对立体图像进行单幅图像风格转换会导致视点不一致，给观察者带来不舒适的视觉体验。在本文中，我们提出了一个双路径网络共享两个视图之间的信息，它可以实现视图一致的立体风格的传输。立体图像编辑。立体图像编辑的主要难点在于保持视点的一致性。Basha等人[1]通过考虑像素之间的可见性关系，成功地将单个图像接缝雕刻扩展到立体图像。Luo等人提出了一种基于补丁的合成框架。[20]对于立体图像，其建议联合块对搜索以增强视图一致性。 Lee等人[16]提出了一种基于层的立体图像大小调整方法，利用图像扭曲来处理视图相关性。在[23]中，Northam等人提出了一种简单的图像过滤器的视图一致的风格化方法Kim等人[13]提出了一种基于投影的三维立体线条风格化方法，该方法通过每个视图中的参数化笔划路径来Stavrakis等人[26]提出了一种基于扭曲的图像风格化方法，将风格化图像的左视图扭曲到右视图，并使用分段合并操作来填充遮挡区域。上述方法要么是任务特定的，要么是耗时的，这是不能推广到神经风格转移问题。在本文中，我们将视图一致性纳入双路径卷积神经网络的训练阶段，从而以非常高的效率生成视图一致的风格传输结果。3该方法一般来说，我们的模型由两部分组成：一个双路径风格化网络和一个损耗网络（见图1）。2）的情况。双路径样式化网络采用立体对，并处理单个路径中的每个视图。特征聚合块被嵌入到风格化网络中以有效地在两个路径之间共享特征级信息。损失网络计算感知损失和多层视图损失，以协调风格化网络的两个路径的训练，以生成视图一致的风格化结果。神经立体图像风格传递5^ ^您的位置：^图二.我们提出的模型，其中包括一个双路径风格化网络和损耗网络的概述。双路径风格化网络将一对立体图像XL和XR作为输入，生成对应的风格化图像XL和XR。提出了一种特征聚合块来共享两条路径之间的信息。损失网络计算感知损失和多层视图损失以指导风格化网络的训练。图三.风格化网络的体系结构，由编码器、特征聚合块和解码器组成。输入图像XL和XR被编码以产生特征图FL和FR。特征聚合块将FL和FR作为输入并将它们聚合成AL。然后AL被解码以产生风格化的结果xL。3.1双路径风格化网络我们的风格化网络由三部分组成：编码器，功能聚合块，和解码器。风格化网络的架构如图所示3.第三章。为了简单起见，我们主要说明左视图的风格化过程，这与右视图的风格化过程相同首先，由两个路径共享的编码器将原始图像作为输入，并提取两个视图的初始特征图F_L和F_R其次，在特征聚合块中，FL和FR被组合在一起以制定聚合特征图AL。最后，AL被设计为产生左视图x^L的结构化尺寸。编码解码器我们的编码器对输入图像进行下采样，并逐步提取相应的特征然后将所提取的特征馈送到特征聚合块。最后，我们的解码器将聚合的特征图AL作为输入，并将其解码成风格化的图像。注意编码器6X. Gong等人RR图4.第一章特征聚合块的体系结构 特征聚合块记录输入的存储器操作xL和xR，以及核心编码的输出F L和F R。然后，其计算聚合特征图A/L。所提出的特征聚合块由三个关键组件组成：视差子网络、选通子网络和聚合。和解码器由两个视图共享。编码器和解码器的具体架构4.1.功能聚合块。如前所述，对立体图像对的每个视图单独应用单个图像样式转移算法将导致视图不一致。因此，我们引入了一个功能聚合块来集成两个路径的功能，使我们的模型能够利用更多的信息，从两个视图，以保持视图的一致性。特征聚合块的架构如图1所示。4.将原始立体图像和由编码器提取的特征作为输入，特征聚合块输出聚合特征图A/L，其吸收来自两个视图的信息。具体地，通过预先训练的视差子网络来预测视差图。预测视差图用于扭曲初始右视图特征图FR以与初始左视图特征图FL对准，从而获得扭曲的右视图特征图W′（FR）。以这种方式显式地学习变形操作可以降低提取模型的像素对应信息的复杂性。然而，不是直接将扭曲的右视图特征图W’（F_R）与初始左视图特征图F_L连接，而是采用选通子网络来学习用于指导W’（F_R）的细化的选通操作，以生成细化的右视图特征图F_R。最后，我们沿着通道轴将FR与FL连接以获得聚合特征图AL。视差子网。我们的视差子网络将立体对的两个视图的级联作为输入，并且输出估计的视差图。它以监督的方式在Driving数据集[22]上进行预训练，其中包含地面真实视差图。为了预测左视图的视差图，立体对的两个视图沿着通道轴级联以用公式表示{XR，XL}，其此后被馈送到视差子网络。类似地，{XL，XR}是用于预测右视差图的输入。我们的视差子网络的具体架构在图2中示出4.1. 的神经立体图像风格传递7RR视差子网络的结构简单;然而，它是有效的并且确实有益于减少视图损失。毫无疑问，应用更先进的视差估计网络可以以效率为代价进一步提高性能，这超出了本文的范围。星门子网。提出了一种门子网络来生成门映射，用于指导W′（FR）的细化。首先，使用双线性内插，我们将输入立体对XL、XR的大小调整为与初始左视图特征图FL相同的分辨率，其表示为r（XL）和r（XR）。然后我们计算r（xL）和W′（r（xR））之间的绝对差：DL=. r（xL）− W ′（r（xR））。.（一）以DL为输入，门子网络预测单通道门图GL，其分辨率与FL相同像素值的范围位于[0， 1]中，其将用于稍后细化扭曲的右视图特征图W’（FR）。门子网的具体架构如图2所示。4.1.聚合来在由gate子网络生成的gate图的指导下，我们用初始的左视图特征图Fl来细化扭曲的右视图特征图W’（FR），以生成细化的右视图特征图：FR=W′（FR）⊙GL+FL⊙（1−GL），（2）其中⊙表示逐元素乘法。在我们的实验中，我们发现直接将W’（FR）与FL连接以公式化最终聚合左视图特征图AL将在风格化结果中引起重影伪影。这是因为由遮挡和不准确的视差预测引起的FL和W′（FR使用门控操作可以避免此问题。最后，将细化的右视图特征图F_R与初始左视图特征图F_L连接以公式化聚合的左视图特征图A_L。3.2损失网络与单图像风格转移[12]不同，我们的方法使用的损失网络用于两个一个是评估输出的风格质量，另一个是强制我们的网络在训练阶段纳入视图因此，我们的损失网络计算感知损失和多层视图损失，以指导风格化网络的训练：L总计= ΣL_p_u_l（s，x_d，x_d）+λL_v_w（x_L，x_R，F_L，F_R），（3）K Kd∈{L，R}其中，Fk表示风格化网络中的解码器的第ks是参考样式图像。我们的损失网络的架构如图所示。5.虽然两个视图的感知损失是单独计算的，但是多层视图损失是基于两个视图的输出和特征来计算的。通过使用所提出的损失进行训练，风格化网络学习协调两个路径的训练，以利用来自两个视图的信息，最终生成风格化和视图一致的结果。8X. Gong等人^IJ^^图五、损失网络的架构分别计算两个视图的感知损失，而基于两个视图的输出和特征计算多层视图损失感知损失。我们采用[12]中的感知损失的定义，该定义已被证明在神经风格迁移中有效感知损失用于评估输出的风格化质量，其包括内容损失和风格损失：L性能（s，xd，x^d）=αL系数（xd，x^d）+βL状态（s，x^d），⑷其中α、β是权衡权重。我们采用预训练的VGG-16网络[25]来提取用于计算感知损失的特征。引入内容丢失以保留输入的高级内容信息DdΣ1¨lDL迪L含量（x，x）=LHlWlCl¨F（x）−F（x^）¨2，（5）其中Fl表示VGG-16网络中的层1处W1、H1、C1分别是层1处的特征图的高度、宽度和通道大小内容损失约束xd和xd的特征图相似，其中d={L，R}表示不同的视图。风格损失被用来评估生成的图像的风格化质量。在这里，我们使用Gram矩阵作为风格表示，这在[6]中已经证明是有效的：Hl WLGl（xd）=1 Σ ΣFl（xd）Fl（xd）、（6）ijHlWlHWh，w，ih，w，j其中Gl表示特征图的Gram矩阵的第i，j个元素在LayerL.样式损失被定义为输出和参考样式图像的Gram矩阵之间的均方误差：dΣ12¨ll d¨2Lstyle（s，x）= ClLG（s）−G（x^）二、（七）2神经立体图像风格传递9视图视图2^^^ ^您的位置：2MRi、jKK2ML1匹配特征图的Gram矩阵也被证明等同于最小化输出和样式参考之间的最大平均离散度（MMD）[18]。多层视图丢失。除了感知损失，提出了一种新的多层视图损失，在训练阶段将视图一致性编码到我们的模型多层视图丢失的定义为：L视图=Limg +Lfeat，（8）其中图像级视图损失将输出约束为视图一致，并且特征级视图损失将风格化网络中的特征图约束为一致。图像级视图丢失定义为：img视图¨ML⊙（x^L−W（x^R））¨2i、j1+Σi、ji、jRi、j¨MR⊙（x^R−W（x^L））¨2，（九）其中M是视差图的每像素置信度掩模，其具有与风格化图像相同的形状。Mi，j的值是0或1，其中0在失配区域中，并且1在良好匹配的对应区域中。xL和xR是程式化的结果。我们使用W来表示使用由场景流数据集[22]提供的地面实况视差图的扭曲操作。因此，W（XL）和W（XR）是使用地面实况视差图的扭曲的风格化立体对。为了进一步增强风格化图像的视图一致性，我们还强制左右内容图像的中间特征图上的相应激活值相同。因此，特征级视图丢失是介绍类似地，特征级视图损失定义如下：Lfeat=Σ¨mL⊙[FL−W（FR）]¨2视图i、jLi、jkk2（十）+Σ¨mR⊙[FR−W（FL）]¨2，i、j其中m是M的经调整大小的版本，与第k个共享相同的分辨率Layyer的函数在解码器中映射。FL和FR是已输出的您的映射K K从风格化网络中的第k层开始。类似地，W（FL）和W（FR）是K K使用所述地面实况视差图来生成所述变形特征图4实验4.1执行我们模型的编码器和解码器的具体配置如表1所示1.一、我们使用Conv来表示卷积-批量范数-激活块。C在LMM=Σ1110X. Gong等人层内核 步幅 C在 C位出道活化编码器Conv3×31316ReLUConv3×321632ReLUConv3×323248ReLU解码器Conv3×319696ReLUConv3×319648ReLURes ×54848ReLU德孔夫3×30.54832ReLU德孔夫3×30.53216ReLUConv3×31163tanh层内核步幅 C在 C位出道活化视差子网Conv3×31632ReLUConv3×323264ReLUConv3×326448ReLURes ×54848ReLU德孔夫3×30.54824ReLU德孔夫3×30.5248ReLUConv3×3183ReLUConv3×3131-门子网Conv3×3136ReLUConv1×11612ReLUConv1×11126ReLUConv1×1163ReLUConv1×1131tanh表1.模型配置。和C_out分别表示输入和输出的信道号。Res表示残差块，遵循与[12]类似的配置Deconv表示Deconvolution-BatchNorm-Activation块。我们使用场景流数据集[22]中的驾驶作为我们的数据集，其中包含4。4k对立体图像。其中440对被用作测试样本，而其余的被用作训练样本。此外，我们还使用了Flickr [5]，Drivingtest set和Sintel [2]的立体图像来展示我们在Sec.4.2中的结果此外，来自Waterloo-IVC 3D数据库[30]的图像以这种方式在各种数据集上进行测试，证明了我们的模型的泛化能力。损失网络（VGG- 16）在图像分类任务上进行预训练[25]。请注意，在训练阶段，使用场景流数据集[22]提供的地面实况视差图计算多层视图丢失，以扭曲获取的特征图和风格化图像。具体来说，我们在解码器的第7层提取特征图，根据我们的实验来计算特征级视图丢失。视差子网络首先被预训练并且此后被固定。然后，我们将风格化网络的其他部分训练2个时期。输入图像分辨率为960× 540。我们设置α= 1，β= 500，λ= 100。批大小设置为1. 学习率固定为1e- 3。对于优化，我们使用Adam [14]。4.2定性结果我们将训练好的模型应用于Flickr [5]中的一些立体图片，以显示不同风格的视觉质量图6、给出了四种不同风格的风格化结果，从结果可以看出，输入图像的语义内容得到了很好的保留，而参考风格图像的纹理和颜色得到了很好的转换。此外，还保持了视图的一致性4.3比较在本节中，我们将我们的方法与单一图像风格转移方法[12]进行比较。虽然有许多针对单一图像神经风格迁移设计的替代基线，但它们都将遭受类似的视图不一致性神经立体图像风格传递11ΣL（I视图N见图6。我们提出的立体风格转移方法的视觉效果。在输入的高级内容被很好地保留的同时，样式细节被成功地从给定的样式图像转移。同时，保持视图一致性事实上，这是约翰·森的方法[ 12]。 因此，我们只选择[12]作为替代方案。此外，我们还验证了多层视图丢失和特征聚合块的有效性。作为评估度量，我们定义称为平均视图丢失MV_L的项：MV L=1NNimg视图n=1（n）、（11）其中N是测试图像的总数，In是测试中的第n个图像。Limg是等式9中定义的图像级视图损失。换句话说，采用MV_L来评估在所述时间段内的图像级视图损失的平均值整个测试数据集。同样，我们也定义了平均风格损失（MSL）和平均内容损失（MCL）：MSL=1NΣLn=1N风格（In），（十二）MCL=1NΣLn=1内容（In）的情况。（十三）为了清楚起见，单个图像样式传递方法被命名为SingleImage，其中用图像级视图丢失训练的单个图像方法被命名为SingleImage-IV。我们的完整模型具有用多层视图丢失训练的特征聚合块，被命名为Stereo-FA-MV。具有特征聚合块但用图像级视图丢失训练的变体模型被命名为Stereo-FA-IV。我们评估了四种风格的上述模型的MVL，MSL和MCL：Fish，Mosaic，Candy和Dream，其中MSL被协调到类似的水平。在选项卡中。在图2中，我们可以看到，12X. Gong等人CC^^^表2. MV L、MSL和MCL的5种不同型号超过4种风格，其中MSL被协调成类似的水平。模型SingleImage SingleImage-IV立体-FA-IV立体-FA-dp-IV立体声-FA-MVMSL426424410407417MVL20331121102810221014MCL424153485089481056478413445336我们的完整型号Stereo-FA-MV是最小的 单一图像风格转移方法的效果最差。 将Stereo-FA-IV与SingleImage-IV进行比较，发现特征聚合块有利于视图的一致性。比较Stereo-FA-MV和Stereo-FA-IV，我们发现除了图像级之外，在特征级约束视图丢失进一步提高了视图一致性。我们还进行了实验，其中一起微调整个网络，而不是冻结视差子网络Stereo-FA-dp-IV，其表现与Stereo-FA-IV相当。为了给出更直观的比较，我们在图1中可视化了单个图像风格转移方法和我们提出的方法的视图不一致性图。7.视图不一致映射定义为：VL=Σ. x^L-W（x^R）c. ⊙ML，（14）C其中XL和W（XR）c分别表示XL和W（XR）的第c个M是视差图的每像素置信掩码，如第3.2节所示.注意，W表示使用由场景流数据集[22]提供的地面实况视差图的扭曲操作。与SingleImage的结果相比，我们的结果中有更多的蓝色像素，表明我们的方法可以更好地保持视图的一致性。此外，用户研究进行比较SingleImage与我们的方法。具体而言，共有21名参与者参加了我们的实验。从Waterloo-IVC 3D数据库[30]中随机选取十个立体对。对于每个立体对，我们使用三种不同风格的图像（糖果，鱼，马赛克）应用风格转移。结果，为每个模型生成3×10个风格化立体对每一次，参与者在3D电视上用一副3D眼镜展示两种方法的程式化结果，并要求投票选择首选的一种（观看更舒适）。具体来说，原始立体声对之前，这两种方法的程式化的结果，以给参与者正确的深度感作为参考。选项卡. 3显示最终结果。73%的选票投给我们的方法产生的风格化的结果，这表明我们的方法实现了更好的视图一致性，并提供了更令人满意的视觉体验。4.4特征聚合为了证明所提出的特征聚合块的有效性，我们建立了一个消融研究。我们的特征聚合块由三个关键操作组成神经立体图像风格传递13RR见图7。视图不一致性的可视化。第二列显示了单图像样式传输方法[12]的视图不一致性图。第三列显示了我们的结果。最后一列是视图不一致映射的颜色映射。显然，我们的结果是更视图一致。表3.用户首选项。风格更喜欢我们的请参阅Johnsonetal。’平等糖果1432938鱼1661430马赛克1522434扭曲、选通和级联。我们测试3个变体模型，这些关键操作的不同设置，以获得最终的聚合特征图AL和AR。为简单起见，我们仅描述获得AL的过程。第一个模型是SingleImage-IV，其中单个图像方法使用图像级视图丢失和感知丢失进行训练。在第二个模型CON-IV中，AL通过将FR与FL连接而获得。最新型号W-G-CON-IV使用我们提出的特征聚合块，其等于如前所述的Stereo-FA-IV。在这里，我们认为翘曲门作为一个不可分割的操作，因为翘曲操作将不可避免地引入空心区域中的闭塞区域，和门操作是用来本地化的空心区域，并引导一个特征聚合过程，以填补漏洞。以上所有模型都是在感知损失和视图损失的情况下进行训练的，使用Fish，Mosaic，Candy和Dream作为参考风格图像。选项卡.图4示出了3个变体模型的平均视野损失。比较CON-IV和SingleImage-IV，我们可以看到，连接FR和FL确实有助于减少MVL，这表明连接跳过连接是必要的。将W-G-CON-IV与CON-IV进行比较，W-G-CON-IV具有更好的性能。这是因为F_R沿着通道轴与F_L对准，这减轻了学习像素对应性的需要。为了给出门映射的直观理解，我们在图8中可视化回想等式2，在门图的引导下，细化特征图F_R是初始特征图F_L和扭曲特征图W’（F_R为了简单起见，我们只说明-14X. Gong等人R表4.三个不同特征聚合块的MV_L、MSL和MCL。我们提出的特征聚合块架构实现了最小的MV L和MCL，表明最好的视图一致性和内容保存。模型SingleImage-IV CON-IVW-G-CON-IVMSL424328410MVL112110681028MCL485089489555481056见图8。门地图的可视化。左列和中间列是两个输入立体声对。右列示出了由栅极子网络生成的左视图栅极图。为左视图绘制门地图生成的门映射显示在右列中。门映射中的黑色区域表示FL和W′（FR）之间的失配这里，失配是由遮挡和不准确的视差估计引起的对于不匹配的区域，gate子网络学习预测0值，以强制细化的特征图FR直接复制来自FL的值，以避免不准确地并入来自右视图中的遮挡区域的信息5结论本文提出了一种新的双路径网络来处理立体图像的风格转换。虽然输入立体对的每个视图已经在单独的路径中被处理以从参考图像传输样式，但是提出了一种新颖的特征聚合块来将信息从一个路径传播多个特征聚合策略进行了研究和比较，以证明我们提出的特征聚合块的优势。为了协调两条路径的学习以获得更好的视图一致性，引入多层视图丢失来约束两个视图的风格化输出在多个尺度上是一致大量的实验表明，我们的方法是能够产生更好的视图一致性比以前的方法所取得的风格化的结果。神经立体图像风格传递15引用1. Basha，T.，Moses，Y.，Avidan，S.：几何形状一致的立体接缝雕刻。In：Proceedings of ICCV（2011）2. 巴特勒DJ Wulff，J.，Stanley，G.B.，布莱克，M.J.：一个用于光流评估的自然主义开源电影。A.菲茨吉本等人（编辑）（编辑）欧洲会议中在C〇mputerVis〇n（ECCV）中。pp. 611-625 PartIV，LNCS7577，Springger-Verlag（2012年10月）3. Chang，Ch.H.，Liang，C.K.，Chuang Y.Y.：立体图像的内容感知显示适配和交互编辑。IEEE Transactions on Multimedia 13（4），5894. Chen，D.，中国农业科学院，Liao，J.，Yuan，L. Yu，N.，Hua，G.：连贯的在线视频风格转移。In：Proceedings of ICCV（2017）5. Flickr：IMG_404.COM电子邮件www.flickr.com6. 洛杉矶的加蒂斯Ecker，A.S. Bethge，M.：使用卷积神经网络的图像风格转换。In：Proceedings of CVPR（2016）7. Gupta，A.，Johnson，J.，Alahi，A.，李菲菲：表征和提高神经风格迁移的稳定性。In：Proceedings of ICCV（2017）8. HTC：HTCVive. 电子邮件www.vive.com/us/9. 黄，H.，王，H.，罗，W.，马，L.，姜维，Zhu，X.，Li，Z.，刘伟：为视频提供实时神经风格转换In：Proceedings of CVPR（2017）10. 黄，X.，Belongie，S.：实时任意样式传输，具有自适应实例规范化。In：Proceedings of ICCV（2017）11. IMAX：IMAX。电子邮件www.imax.com12. Johnson，J.，Alahi，A.，李菲菲：实时风格转换和超分辨率的感知损失。In：Proceedings of ECCV（2016）13. Kim，Y.，Lee，Y.，康，H.，Lee，S.：立体3d线条画。ACM Transactionson Graphics（TOG）32（4），57（2013）14. Kingma，D. Ba，J.：Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980（2014）15. Kooi，F.L.，Toet，A.：双目和3d显示器的视觉舒适性。Displays 25（2），9916. 李凯Chung，C.D.，Chuang Y.Y.：场景扭曲：基于分层的立体图像拼接在：CVPR会议记录（2012）17. LG：4K HDR智能电视。http://www.lg.com/us/tvs/lg-OLED65G6P-oled-4k-tv18. 李，Y.，王，N.，刘杰，Hou，X.：揭秘神经风格转移。arXiv预印本arXiv：1701.01036（2017）19. 李，Y.，方角杨杰，王志，卢，X.，Yang，M.H.：采用前馈网络实现多样化纹理合成。arXiv预印本arXiv：1703.01664（2017）20. Luo，S.J.，Sun，Y.T.，Shen，I.C.，陈斌Chuang Y.Y.：使用基于块的合成进行几何一致的立体图像编辑。可视化与计算机图形学汇刊21. Microsoft：Microsoft HoloLens。电子邮件www.microsoft.com/en-gb/hololens22. N. Myer，E. Ilg，P. Haüsser，P. Fischer，D. Cremers，A. 别这样，T。Bmax：用于训练卷积网络以用于视差、光流和场景流估计的一个图像数据集。In：Proceedings of CVPR（2016）23. 诺瑟姆湖Asente，P.卡普兰，C.S.：立体3d图像的一致风格化和绘画渲染。In：Proceedings of NPAR（2012）24. Ruder，M.，Dosovitskiy，A.，Brox，T.：视频的艺术风格转移。在：GCPR的进展（2016）16X. Gong等人25. 西蒙尼扬，K.，齐瑟曼，A.：用于大规模图像识别的深度卷积网络。ArXiv预印本arXiv：1409.1556（2014）26. Stavrakis，E.，Bleyer，M.，Markovic，D.，Gelautz，M.：基于图像的立体风格化。图像处理，2005年。ICIP 2005。IEEE International Conference on.vol. 第3页。 III- 5. 05The Dog（2005）27. Ulyanov，D.，Lebedev，V.，Vedaldi，A.，Lempitsky，V.S.：纹理网络：纹理和风格化图像的前馈合成。In：Proceedings of ICML（2016）28. Ulyanov，D.，Vedaldi，A.，Lempitsky，V.：实例规范化：快速风格化缺少的成分。arXiv预印本arXiv：1607.08022（2016）29. 王，H.，梁湘，张洪，杨D.Y. Xing，E.P.：Zm-net：实时零拍摄图像处理网络。arXiv预印本arXiv：1703.07255（2017）30. 王杰，Rehman，A.，Zeng，K.，王，S.，Wang，Z.：非对称失真立体3d图像的质量预测。IEEE Transactions on ImageProcess-ing24（11），340031. 王，X.，Oxholm，G. Zhang，D.，中国农业科学院农业研究所所长，Wang，Y.F.：多式联运：用于快速艺术风格转换的分层深度卷积神经网络。In：ProceedingsCVPR（2017）