15239多式联运：用于快速艺术风格转换的分层深度卷积神经网络王欣1，2，杰弗里·奥克斯霍姆2，张达1，王元芳11加州大学圣巴巴拉分校2Adobe Research，San Francisco，CA{xwang，dazhang，yfwang}@ cs.ucsb.edu，oxholm@adobe.com摘要将艺术风格转移到日常照片上已经成为学术界和工业界非常流行的任务。最近，离线训练已经取代了在线迭代优化，实现了几乎实时的风格化。然而，当这些风格化网络直接应用于高分辨率图像时，局部化区域的风格通常与期望的艺术风格不太相似这是因为转移过程无法捕捉小而复杂的纹理并保持艺术品的正确纹理在这里，我们提出了一个多模态卷积神经网络，它考虑到颜色和亮度通道的忠实表示，并进行风格化分层与多个损失的增加规模。与最先进的网络相比，我们的网络还可以通过进行更复杂的- fline训练来近乎实时地执行风格转移。通过使用几种模态在多个尺度上正确处理风格和质地线索，我们不仅可以传递大尺度的、明显的风格线索，而且可以传递微妙的、精致的风格线索。也就是说，我们的方案可以生成视觉上令人愉悦并且更类似于具有多个尺度的颜色和纹理线索的多种期望的1. 介绍风格转换，即用另一张照片的风格来重新描绘一张现有的照片，被认为是艺术中一个具有挑战性但又相互关联的问题。最近，由于Gatys等人的影响性工作，这项任务已经成为学术界和工业界的一个活跃话题。[8]其中，用于视觉识别的预训练深度学习网络用于捕获样式和内容表示，并实现了视觉上令人惊叹的结果。不幸的是，由于在线迭代优化过程，传输运行时间非常长。为了解决这个问题，需要一个前馈网络可以用相同的损失标准离线训练，以生成在视觉上接近（但仍然有些差）的风格化结果。以这种方式，在应用时仅需要前馈网络的一个单一推理通道。这导致计算算法快数百倍[13，25]。尽管过去的工作为许多不同类型的艺术品创造了视觉上令人愉悦的结果，但两个重要的缺点突出：（1）当前的前馈网络[13，25]是在样式图像的特定分辨率上训练的，因此偏离该分辨率（更大或更小）会导致尺度失配。例如，在更高分辨率的图像上应用用大小为256的风格指南训练的模型将生成纹理尺度小于艺术风格的纹理尺度的结果，以及（2）当前的网络通常无法捕获高分辨率图像上许多种类的艺术品的小而复杂的纹理，如笔触。虽然已经表明这些前馈网络在具有抽象、大规模纹理和容易辨别的笔画的艺术品上非常好地起作用，文森特·梵高的《星夜》，艺术风格比所展示的要多得多也就是说，不同的艺术风格可能以精致、微妙的画笔和笔触为特征，因此，我们的观察结果是，这些风格转移网络的结果通常不适合各种各样的艺术风格。在本文中，我们提出了一种新的分层深度卷积神经网络架构的快速风格转移。我们的贡献有四个方面：（1）提出了一种分层网络，并设计了一种相关的训练方案，该训练方案能够利用风格图像的多个尺度来学习艺术风格的粗糙、大尺度纹理失真和精细、精致的笔触;（2）我们的分层训练方案和端到端CNN网络架构使我们能够将多个模型组合到一个网络中，以处理越来越大的图像尺寸;（3）而不是采用15240(a) 样式（b）Gatys et al.（c）Johnson等人（d）Ulyanov等人（e）我们的（f）内容图1：顶行：（a）样式指南是Tomas King的At the Close of Day，（f）是内容图像。（b）是Gatys等人的基于优化的方法的结果（由于该方法的存储器限制，结果大小为512）（c）、（d）和（e）是由不同的前馈网络生成的结果（所有结果的大小都为1024）。底行：从顶行开始，红色框中包围的区域的放大显示。可以看出，所有结果都用样式图像的颜色重新绘制。然而，更仔细的检查显示，在（c）和（d）中没有很好地捕捉到画笔笔划。（b）中的放大区域有点模糊。与其他的相比，我们的多模态转移（e）是能够更紧密地模拟高分辨率图像上的原始艺术品的笔触。（4）通过实验，我们证明了我们的分层风格传递网络可以更好地捕捉粗糙和复杂的纹理模式。我们的分层风格传递网络使用混合模态在不同尺度上训练多个风格化损失，因此我们将其与仅具有一个风格化损失的前馈风格传递网络区分开来[13，25]，我们称之为奇异传递。图1我们给出了一个例子，比较了我们的多式联运网络与目前最先进的奇异运输网络的结果图1显示了多模态迁移在学习不同层次的纹理方面的优势特别注意，我们的方法可以更接近地模拟艺术品的笔触。节中4我们将展示多模态传输也可以用于训练组合模型，以使单个图像具有多种不同的艺术风格。2. 相关工作理解深度神经网络的表示。最近，在理解深度神经网络 方 面 做 了 开 创 性 的 工 作 。 Zeiler 和 Fergus[30] 的DeconvNet方法通过识别哪些图像块负责某些神经激活来学习如何获得某些网络输出。Yosinski等人。[29]旨在通过可视化内部神经元来理解深度网络执行的计算。Mahendran和Vedaldi[19]反转某些层的图像表示，以了解网络保留了哪些信息。后两种方法通过优化过程生成可视化在其他情况下也采用类似的优化程序[23，20]。基于对深层结构网络的强大代表性的更好理解[15]，许多翻译任务已经得到了更好的结果。基于优化的风格转换就是这样一个例子。与以前的纹理合成算法通常是非参数方法[5，28，4，11，1，16，17]不同，Gatys等人首先提出了一种合成纹理图像的优化方法，其中基于预训练的卷积神经网络的表示来计算客观损失[6]。这种纹理损失与Mahendran和Vedaldi[19]的内容损失相结合，以执行风格转移任务[8]。用于图像生成的前馈网络。用于图像生成的基于优化的方法由于迭代优化过程而在计算上昂贵相反，许多深度学习方法使用从神经网络计算的感知目标作为损失函数来构建前馈神经网络来合成图像[3，9，2，22]。快速风格转换已经取得了很大的成效，并受到了广泛的关注.约翰逊等人。[13]提出了一种前馈网络，用于快速风格转换和超15241输入图像出2出3优化子网增强子网i=1多式联运网络样式子网RGB-Block加入Conv-Block+输入图像xL型座256全损512艺术品ys10241号线y2第三章图2：总体架构。请参见Sec。3.1解释使用Gatys等人[8]中定义的感知损失进行分辨率。介绍了一种类似结构的纹理网合成纹理和风格化的图像[25]。最近，Ulyanov et al. [26]表明，用实例归一化代替前馈网络中的空间批量归一化[12]可以显著提高生成图像的质量，以实现快速风格传输。在这里，我们提出了进一步的改进，这样的风格转移算法，以处理越来越大的图像，使用分层网络与混合模态。此外，它允许使用多个不同的样式来重绘单个输入图像。3. 多式联运网络3.1. 总体架构和学习方案我们提出的网络，如图所示2，由两个主要部分组成：前馈多模态网络和损耗网络。前馈多模态神经网络（MT网络）是一种分层深度残差卷积神经网络。它由三个子网组成：样式子网、增强子网和细化子网。这些子网分别由Θ1、Θ2和Θ3参数化（这些参数将在后面明确给出）。在高级别上，MT网络将图像x作为输入，并被训练以生成大小增加的多个输出图像y_k在测试时，为了在应用于较大图像时产生相同的风格化效果和正确的艺术品纹理比例，MT网络分层风格化图像：首先使用双线性下采样层将输入图像调整为256，并通过风格子网进行风格化，捕获艺术品的大颜色和纹理特征。然后，作为第一输出y_i的风格化结果被上采样到512中，并由增强子网传送到输出y_i2，这增强了风格化强度。然后将其大小调整回1024。最后，细化子网移除局部像素化伪影并进一步细化结果。在这三个阶段的处理之后，获得高分辨率和最具视觉吸引力的结果y=3。请注意，虽然我们使用两级层次结构来说明该过程，但可以递归地扩展相同的概念，以实现逐渐变大的图像的风格化。3.2. 损失函数在这一节中，我们首先介绍了单一的风格化损失函数，然后提出了一个分层的风格化损失函数，并采用它来训练我们的多模式传输网络。3.2.1单一风格化损失函数类似于之前快速风格转换的损失定义[13，25]，风格化损失也来自于yk=f（kΘi，x）。（一）Gatys等人[8]，其中使用损失网络（针对对象识别优化的预训练VGG- 19网络[24]）来然后，这些输出图像被分别作为损失网络的输入，以计算每个图像的风格化损失。总损失是所有风格化损失的加权组合。我们将在稍后的Sec中展示。3.2网损及总损的定义。提取图像表示。定义了两个感知损失，以测量生成的图像y_k将内容目标y_c的内容与风格目标y_s的纹理和风格线索组合到什么程度（参见图1）。（3）第三章。损失网络15242我SSSL文本relu1_1 relu2_1 relu3_1 relu4_13.2.2分层风格化损失函数多模式传输网络可以生成K个输出结果，其大小为K个递增（图1所示网络中K = 3）。2）的情况。然后，针对每个输出结果Lk（y_k，y_k，y_k）=αLc_nt_ent（y_k，y_k）+βLt_ex_t（y_k，y_k）S C SC s（六）其中yk和yk是对应的内容目标，C srelu4_2L含量图3：损失网络。请参见Sec。3.2解释内容损失使用内容损失函数来测量y_k和y_c之间的相异性。设Fl（x）表示应用于图像x的损失网络的第l层中的第i个特征映射.内容损失是图层lΣNl样式目标，它们是子网的输入，是艺术作品的缩放版本。通过用不同的风格尺度训练神经网络，我们控制了为不同子网学习的艺术特征的类型。我们再次强调，这个概念可以很容易地扩展到更多的层。由于这种风格化损失是基于整个网络的不同层的输出来计算的，所以总损失（例如，所有风格化损失的加权组合）在这里不能用于直接向后传播和更新权重。因此，采用了一种并行准则，以便使用不同的风格化损失来反向传播Lcontentt（yk，yc，l）=<$F l（yk）−F l（yc）<$2。（二）i i2i=1也就是说，内容损失直接比较从对应层计算的特征图，因此是合适的不同层范围的权重。我们定义了高-物理风格化损失函数LH，其是这样的风格化损失的加权和，如ΣKLH=λkLk（yk，yk，yk） 、（7）用于表征空间内容相似性。纹理或风格损失Gatys等人提出，损失网络的每一层中的特征图之间的相关性可以被视为图像的纹理表示[6，8]。 这些相关性由Gram矩阵给出，其元素是这些特征图之间的成对标量积：S C Sk=1其中λk是风格化损失Lk的权重。因此，在对自然图像x∈ X的端到端学习期间，由Θk表示的每个子网被训练以最小化从后面的输出y∈i（i≥k）计算的并行加权风格化损失（后面意味着它在前馈方向上更晚），如在Θk =Gl（x）=<$F l（x），F l（x）<$.（3）i j i jarg minExx xλiLk（f（λkΘj，x），yi，yi）（八）使用一组Gram矩阵Gl，l∈L作为纹理ΘkSi≥kj=1c s表示，其丢弃空间信息但保留输入图像的颜色和强度分布的统计轮廓因此纹理损失函数定义为Σ在实践中，假设一般的反向传播函数由f−1表示，则对于每次迭代，子网的权重更新（梯度）可以写为. f−1（λLk）k=KLtext（yk，ys）=<$Gl（y<$k）−Gl（ys）<$2.（四）θk=kS（九）l∈L2f−1（λkLk，<$Θk+1）1≤k K，因此，当前子网的权重Θk受以下因素的影响：最后，每个输出y的风格化损失从当前水平Lk处的风格化损失和梯度Lk处的风格化损失两者中得到MT网络定义为内容损失和纹理损失LS（y_k，y_c，y_s）=αL_c_n_t_ent（y_k， y_c）+βL_t_ex_t（y_k， y_s），（五）其中α和β分别是含量损失和织构损失的权重后一种的。从等式（8），我们可以看到，即使所有这些子网是为不同的目的而设计的，它们也不是完全独立的。前者也有助于减少后者的损失。因此，较浅的CNN结构可以用于后面的训练，这既节省了计算量又节省了运行时间。ys克雷蒂克ycVGG损耗网络152433.3. 网络架构奇异传输网络的主要缺点之一（例如，[13，25]）的一个重要原因是，训练奇异传递网络的规模由于它是用风格图像的一个特定比例进行训练的，因此在训练期间，我们需要选择它是学习粗糙纹理还是精细笔触。也就是说，它以牺牲另一个为代价来学习一个。为了解决这个问题，我们设计了分层架构，在该架构中，使用不同尺度的风格图像来训练不同的纹理，这种设计使测试图像能够在增加分辨率的情况下使用不同级别的风格进行传输。此外，由于所有这些神经网络都被合并到一个网络中并进行分层训练，因此后者也能够增强和改进先前的结果，使我们成为一个提高效率和鲁棒性的协作方案。我们已经试验了几种具有不同层次结构和不同内部结构的体系结构。这里我们介绍图1所示的网络的一般结构2，从我们的经验，其中有最好的风格化如前所述，多模式传输网络由三个可学习的子网络组成，风格子网、增强子网和细化子网，每个子网络都遵循固定的双线性上采样/下采样层.注意，增强子网和细化子网之间的上采样层仅在测试时插入，因此在训练期间，细化子网的输入这些网络的突出特点说明如下。3.3.1样式子网亮度-颜色联合学习为了更好地解决保留小的复杂纹理的问题，我们的网络利用颜色和亮度通道的表示，因为视觉感知对亮度的变化比对颜色的变化更敏感[27，11，7]。我们从RGB彩色图像中分离出LU通道，并使用两个独立的分支（RGB块和L块）来区别地学习它们的表示。然后，从两个分支计算的特征图沿着深度维度连接在一起，并由随后的Conv-Block进一步处理。RGB-Block包 括 三 个 跨 步 卷 积 层 （ 分 别 为 9×9 ，3×3，3×3，后两个用于下采样）和三个残差块[10]，而L- Block具有类似的结构，只是卷积深度不同。Conv-Block由三个残差块、两个用于上采样的大小卷积层和最后一个用于获得输出RGB的3×3卷积层组成(a) 内容（b）风格(c)（d）（e）(f)（g）（h）图4：（a）是内容图像，（b）是样式图像。（c）（d）（e）显示了三个变量的输出，即变量y_1、变量y_2和变量y_3，它们的大小分别为256、512和1024第三排描绘了：（f）内容图像和输出图像y_l，（g）输出图像y_l和y_2，以及（h）输出图像y_2和y_3之间的绝对差。图像y。所有非残差卷积层都遵循实例归一化[26]和ReLU非线性。我们的风格子网的一部分是基于工作[13，22]设计的。这里使用最近邻插值上采样层和称为大小调整卷积层的卷积层而不是去卷积，以避免生成图像的棋盘伪影[21]。3.3.2增强子网和优化子网虽然样式子网旨在对具有大纹理失真的输入图像进行样式化以匹配样式指南，但是我们已经发现，难以最佳地调整纹理和内容权重以实现样式转移，同时保留各种样式的内容。因此，我们允许样式子网执行纹理映射，着眼于保留内容，并训练具有大纹理权重的单独增强子网以进一步增强样式化。图4示出了每个子网的具体角色。显然，样式子网对颜色和纹理都有很大的改变，但是增强子网在增加更多细节的同时也细化网络进一步细化并将更多细节添加到最终结果中。15244(a) 风格(b) （c）Ulyanov et al.（d）Johnson等人（e）内容图5：我们的风格子网（b）与其他奇异传输网络（c）和（d）之间的比较。他们在这里测试了两种风格，山没有。2由杰伊DeFeo（上）和金星由Manierre道森（下）。所有结果均为512号。请注意，对于第二种样式，我们还放大了红色框中的区域，以更好地比较精细的纹理。相应地，为了增强风格化，我们采用了与风格子网相似的结构来构造增强子网。唯一的区别是增强子网具有用于下采样的多一个卷积层和用于上采样的多一个大小调整卷积层，这扩大了感受野大小。这是必需的，因为增强子网的输入是样式子网的输入的两倍。最后，细化网络由三个卷积层、三个残差块、两个调整大小卷积层和最后一个卷积层组成，以获得最终输出，其比样式和增强子网浅得多。这是因为Eq。（1）和（8）我们知道前者也能促进后者的学习任务缩短细化子网是有利的。它显著降低了内存和计算复杂性，这对于大小为1024的图像至关重要此外，我们从开始到结束添加了一个身份连接，迫使它学习输入和输出之间的差异。4. 实验训练细节MT网络在Microsoft COCO数据集[18]的子集上进行训练，该数据集包含32，059张图像（其宽度和高度≥480）。我们裁剪了这些图像并将其大小调整为512×512。亚当优化[14]用于训练批量大小为1的10，000次迭代的模型。学习率最初设定为为1×10−3，然后每2,000次迭代减少0.8倍。对于所有子网，在VGG-19的层relu4_2处计算内容损失内容权重都设置为1，而纹理权重取决于不同的风格，因为纹理与内容的通用比例并不适合所有的艺术风格。对于风格化损失的权重，我们设置λ1：λ2：λ3= 1：0。五比零二十五其原理是，在训练期间，更新了前一次扫描的参数，以纳入当前和后一次扫描损失。后者的损失应具有较小的权重，以便不完全主导前子网的优化过程。然而，实验表明，结果对λk的变化相当稳健。在NVIDIA GTX 1080上完全训练一个分层模型大约需要一个小时磁盘上的模型大小约为35MB。如前所述，奇异传递是具有单一风格化损失的前馈风格传递网络在这里，我们将风格子网从我们的MT网络中分离出来，作为一个单一的传输网络，并将其与Johnson等人[13]和Ulyanov等人[26]的其他最先进的网络进行比较。所有三个网络都 是在256大小的图像上训练的，15245(a) 样式（b）单转移（样式尺寸256） (c)单一传输（样式尺寸1024）（d）多模式传输图6：我们比较了我们的多模态传输与两个用不同尺度的风格图像训练的奇异传输网络，256和1024（奇异传输网络与我们的多模态传输网络具有相同的架构和相同数量的参数）。所有生成的结果均为1024×1024像素。可以看出，在奇异转移256（列（b））的结果中存在大的纹理尺度失配问题，即纹理尺度明显小于原始艺术品的纹理尺度。而奇异转移1024（列（c））虽然用正确的颜色渲染，但未能学习纹理失真和笔触。多模式转换的结果（（d）栏）解决了这些问题，并设法学习粗糙的纹理和精细复杂的笔触。15246和工笔画。(a)（b）（c）(d)（e）（f）图7：两种风格的多模式传输。该模型采用以下风格进行训练：（a）巴勃罗·毕加索的《Still Life with Skull，Leeks andPitcher》，以及（b）托马斯·金的《At the Close of Day》。(c)是测试图像，（f）是最终风格化的结果，具有来自（a）的大纹理失真和来自（b）的小而详细的笔触。为了进行比较，我们给出了在（d）和（e）中对单一风格进行训练的模型所传递的结果。内容到纹理权重和使用的实例归一化。一般来说，我们的风格子网产生定性可比的结果。特别是在某些情况下，它在捕捉纹理细节方面表现得比其他人更好。在图5中，我们给出了两个比较示例。 在第一个例子中，Ulyanov等人的结果。在颜色上明显比风格图像暗，并且Johnson等人的结果中的纹理尺度与风格图像的纹理尺度不匹配得很好。我们的风格子网的结果似乎在这两个方面都更好在第二个例子中，与其他两个网络相比，我们的风格子网在模拟小的，详细的纹理上表现得更好。因此，我们选择了风格子网作为奇异传输的代表，然后与多模态传输进行比较。高分辨率图像上的奇异传输VS多模态传输我们在许多艺术风格上测试了我们的方法。图6，我们将我们的多模态转移网络在高分辨率图像（1024×1024）上与具有相同数量学习权重的奇异转移网络进行了(More确切地说，我们将我们的风格子网复制到一个更深的网络，该网络具有相同数量的参数以提供公平的比较）。检查图6中所示的结果，与单一转移相比，多模态转移结果在粗糙纹理结构和精细笔触上在视觉上更类似于原始艺术风格，而样式大小为256的单一转移导致纹理尺度失配，纹理尺度远小于原始艺术作品的纹理尺度。此外，样式大小为1024的奇异转移无法学习失真多种风格的多模式传输我们的多模式传输允许一个有趣的应用，这是以前不可能的：它可以用多种风格进行训练，使得最终的风格化结果融合了一个测试图像的内容，一个风格图像的粗糙纹理失真，以及另一个风格图像的精细笔触。在这里，我们给出了一个图中的例子7其中模型用两种不同的风格训练处理速度和内存使用我们将我们的多模态传输网络（MT Net）的速度和内存使用与其他奇异传输网络（这里我们使用Johnson Net，Johnson等人的网络）进行了定量比较。）. 我们还构造了一个与MT网结构相同的深度奇异转移我们取了1,000代的平均测试时间（不包括模型加载时间）。网络测试时间内存使用MT Net0.54s3100 MB约翰逊网0.42s2400 MBDS Net0.63s6700 MB表1：应用于1024×1024图像时的速度和内存使用的比较结果。如表1所示，虽然MT Net比Johnson Net深两倍多，但在生成高分辨率图像时，其速度和内存使用接近Johnson Net（0.54svs0.42s，3100 MBvs 2400 MB），这得益于分层传输过程，其中大部分计算都是在低分辨率上完成的即使在参数数量相同的情况下，奇异传输网络DS Net的性能也最差。因此，多模态转移适合于通常需要高图像分辨率的现实世界应用，因为它能够以小成本生成与期望的艺术风格更相似的结果5. 结论在这里，我们提出了一个分层的训练计划（多模态转移）快速风格转移学习艺术风格线索在多个尺度，包括颜色，粗糙的纹理结构和精细，精致的笔触。该方案解决了纹理尺度不匹配的问题，并在高分辨率图像上生成更具视觉吸引力的风格化结果。在未来，我们计划调查其他损失，可以更好地捕捉不同尺度的艺术风格。我们还想探索成本更低的替代损失网络-很有可能将我们的方案扩展到更大的图像上。15247引用[1] N. Ashikhmin 快速纹理转移。计算机图形学与应用，23（4）：38[2] E. L. Denton，S.钦塔拉河Fergus等人使用对抗网络的拉普拉斯金字塔的深度生成图像模型。神经信息处理系统的进展，第1486-1494页，2015年[3] A. 多索维茨基Tobias Springenberg和T.布洛克斯学习用卷积神经网络生成椅子。IEEE计算机视觉和模式识别会议论文集，第1538-1546页，2015年[4] A. A. Efros和W. T.弗里曼。用于纹理合成和转移的图像绗缝。在第28届计算机图形和交互技术年会中，第341-346页。ACM，2001年。[5] A. A. Efros和T. K.梁非参数采样纹理合成。计算机视觉，1999年。第七届IEEE国际会议论文集，第2卷，第1033-1038页。IEEE，1999年。[6] L. Gatys，A. S. Ecker和M.贝丝使用卷积神经网络进行纹理合成。神经信息处理系统的进展，第262-270页，2015年[7] L. A. Gatys，M. Bethge，A. Hertzmann和E.谢克特人。神经艺术风格迁移中的色彩保存。arXiv预印本arXiv：1606.05897，2016年。[8] L. A. Gatys，A.S. Ecker和M.贝丝使用卷积神经网络的图像风格在IEEE计算机视觉和模式识别会议集，第2414-2423页[9] I. 古德费罗 J. 波吉特-阿巴迪 M. 米尔扎 B. 许、D. 沃德-法利，S。奥扎尔A.Courville和Y.本吉奥。生成对抗网络。神经信息处理系统进展，第2672-2680页，2014年[10] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残 差 学 习 。 在 Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition，第770[11] A. 赫茨曼角E. Jacobs，N.奥利弗湾Curless和D.H.销售形象类比。第28届计算机图形和交互技术年会集，第327-340页。ACM，2001年。[12] S. Ioffe和C.赛格迪批次标准化：通过减少内部协变量偏移 来 加 速 深 度 网 络 训 练 。 arXiv 预 印 本 arXiv ：1502.03167，2015。[13] J. Johnson，A. Alahi和L.飞飞实时风格转换和超分辨率的感知损失。欧洲计算机视觉会议，第694-711页。施普林格，2016年。[14] D. Kingma和J. BA. Adam：一种随机优化方法。arXiv预印本arXiv：1412.6980，2014。[15] A.克里热夫斯基岛Sutskever和G. E.辛顿Imagenet分类与深度卷积神经网络。在神经信息处理系统的进展，第1097[16] V. Kw atra、黑果草A. 舍霍德尔岛埃萨湾 Turk和A. BobickGraphcut纹理：使用图进行图像和视频合成削减在ACM Transactions on Graphics（ToG），第22卷，第277-286页中。ACM，2003年。[17] H.李，S。徐氏Ryoo和K.尹定向纹理转移。第八届非真实感动画和渲染国际研讨会论文集，第43- 48页ACM，2010年。[18] T.- Y. 林，M。迈尔，S。贝隆吉，J.Hays，P.Perona，D.Ra-manan ， P.Dolla'r 和 C.L. 齐 特 尼 克Microsoftcoco：上下文中的通用对象。在欧洲计算机视觉会议上，第740-755页。Springer，2014.[19] A. Mahendran和A.维达尔迪通过反转它们来理解深度图像 表 示 。2015 年 IEEE计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），第5188-5196页。IEEE，2015年。[20] A. Nguyen、J. Yosinski和J. Clune深度神经网络很容易被愚弄：对不可识别图像的高置信度预测。在2015年IEEE计算机视觉和模式识别会议（CVPR）中，第427IEEE，2015年。[21] A. Odena，V. Dumoulin和C. 奥拉 反卷积和棋盘式伪影。http://distill.pub/2016/deconv-checkerboard/，2016.[22] A.拉德福德湖，澳-地Metz和S.钦塔拉使用深度卷积生成对抗网络进行无监督表示学习arXiv预印本arXiv：1511.06434，2015。[23] K. Simonyan、A. Vedaldi和A.齐瑟曼。卷积网络内部：可视化图像分类模型和显着图。arXiv预印本arXiv：1312.6034，2013。[24] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。arXiv预印本arXiv：1409.1556，2014。[25] D. 乌里扬诺夫河Lebedev，A.Vedaldi和V.Lempitsky 纺织网络：纹理和样式化图像的前馈合成。InInt. Conf. onMachine Learning（ICML），2016.[26] D. Ulyanov，A.Vedaldi和V.Lempitsky 实例规范化：快速 风 格 化 缺 少 的 成 分 。 arXiv 预 印 本 arXiv ：1607.08022，2016。[27] B. A. Wandell 视觉的基础。Sinauer Associates，1995年。[28] L- Y. Wei和M.勒沃基于树结构矢量量化的快速纹理合成。第27届计算机图形和交互技术年会论文集，第479-488页。ACM出版社/Addison-Wesley出版公司两千[29] J. Yosinski，J. Clune，A.阮氏T. Fuchs，和H。利普森通过深度可视化理解神经网络。arXiv预印本arXiv：1506.06579，2015。[30] M. D. Zeiler和R.费格斯。可视化和理解卷积网络。在欧洲计算机视觉会议上，第818-833页。Springer，2014.
我的内容管理
展开
