没有合适的资源?快使用搜索试试~ 我知道了~
真实感图像风格化李怡君1,刘明宇2,李雪婷1,杨明轩1,2,Jan Kautz21加州大学默塞德分校2NVIDIA{yli62,xli75,mhyang} @ ucmerced.edu{mingyul,jkautz} @ nvidia.com抽象。真实感图像风格化涉及将参考照片的风格转移到内容照片,其中约束为风格化照片应保持真实感。虽然存在几种真实感图像风格化方法,但它们倾向于生成具有明显伪影的空间不一致的风格化。在本文中,我们提出了一种方法来解决这些问题。所提出的方法包括一个风格化步骤和平滑步骤。在样式化步骤将参考照片的样式转移到内容照片的同时,平滑步骤确保空间一致的样式化。每个步骤都有一个封闭形式的解决方案,可以有效地计算。我们进行了广泛的实验验证。结果表明,所提出的方法产生的真实感风格化的输出,更喜欢由人类受试者相比,由竞争的方法,同时运行得更快。源代码和其他结果可在https://github.com/NVIDIA/FastPhotoStyle上获得。关键词:图像风格化,照相写实,封闭形式的解决方案。1介绍真实感图像风格化的目的是将照片的风格改变为参考照片的风格为了忠实的风格化,照片的内容应该保持不变。此外,输出照片应该看起来像是由相机捕获图1显示了两个真实感图像样式化示例。在一个示例中,我们将夏季照片传输到下雪的照片,而在另一个示例中,我们将白天照片传输到夜间照片。经典的真实感风格化方法大多基于颜色/色调匹配[1,2,3,4],并且通常限于特定场景(例如,[5]《易经·系辞下》:“五者,五者也。最近,Gatys et al.[7,8]表明,深度特征之间的相关性对图像的视觉风格进行编码,并提出了一种基于优化的方法,即神经风格转移算法,用于图像风格化。虽然该方法对于艺术风格化(将图像转换为绘画)显示出令人印象深刻的性能,但是当应用于如图1(c)所示的真实感图像风格化时,它经常引入结构伪影和失真。在后续工作中,Luan et al.[9]提出在神经风格传递算法的优化目标函数中加入正则化项2Y. 李,M.-Y. Liu,X.李,M.-H. 杨,J.Kautz(a) (c)格式(b)内容(c)[8](d)Luan et al.[9]第一章(e)我们图1:给定样式照片(a)和内容照片(b),真实感图像风格化旨在将样式照片的样式转移到内容照片,如(c)、(d)和(e)所示。与现有方法[8,9]相比,通过我们的方法计算的输出照片更一致,并且具有更少的伪影。此外,我们的方法运行速度快一个数量级以避免风格化输出中的失真。然而,这通常导致在语义一致的区域中不一致的风格化,如图1(d)所示为了解决这些问题,我们提出了一种真实感图像风格化方法。我们的方法包括一个风格化步骤和平滑步骤。两者都有一个封闭形式的解决方案1,可以有效地计算。风格化步骤基于白化和着色变换(WCT)[10],其通过特征投影对图像进行风格化。WCT是为艺术风格化而设计的。与神经风格传递算法类似,当应用于真实感图像风格化时,其遭受结构伪影。我们基于WCT的风格化步骤解决了这个问题,利用一种新的网络设计的功能转换。单独的基于WCT的风格化步骤可以生成空间上不一致的风格化。我们解决了这个问题,建议的平滑步骤,这是基于流形排名算法。我们进行了广泛的实验验证与比较的国家的最先进的方法。用户研究结果表明,我们的方法生成的输出具有更好的风格化效果和更少的文物。2相关工作现有的风格化方法可以分为两类:全局和局部。全局方法[1,2,11]通过匹配像素颜色[1]或其直方图[2]的本地方法[12,6,13,5,14]通过基于低级或高级特征找到内容和风格照片之间的密集对应关系来风格化图像。这些方法在实践中是缓慢的。而且,它们通常是针对特定场景(例如,白天或季节变化)。1封闭形式的解意味着可以在固定的有限数量的操作中获得解,包括卷积,最大池化,白化等。真实感图像风格化的一种封闭解法3ICISY=F1(IC,IS)F2(Y,IC)12图2:我们的真实感图像风格化方法由两个封闭式步骤组成:F1和F2。虽然F1将IC映射到携带IS风格的中间图像,但是F2去除了明显的伪影,这产生了照片级真实感输出。Gatys等人[7,8]提出了用于艺术风格化的神经风格转移算法。该算法的主要步骤是解决从内容和风格照片中提取的深度特征的Gram矩阵匹配的优化问题。已经开发了许多方法[15,16,17,18,19,20,21,10]以进一步提高其风格化性能和速度。然而,这些方法的目的不是为了保持照片真实感(参见图1(c))。已经提出了后处理技术[22,23],通过匹配输入和输出照片之间的梯度来细化这些结果。真实感图像风格化与图像到图像转换问题有关[24,25,26,27,28,29,30,31],其中目标是学习将图像从一个域转换到另一个域。然而,真实感图像风格化不需要内容和风格图像的训练数据集来学习转换函数。真实感图像风格化可以被认为是一种特殊的图像到图像的翻译。它不仅可以用于将照片转换到不同的域(例如,从白天到夜间)而且是转移类型(例如,暗度)。与我们的工作最接近的是Luan等人的方法[9]的文件。它提高了由神经风格转移算法计算的风格化输出的照片真实感[7,8]通过将新的损失项结合到优化目标,这具有更好地保留内容照片中的局部结构的效果。然而,它经常产生不一致的风格化与明显的文物(图1(d))。此外,该方法在计算上昂贵。我们提出的算法的目的是高效和有效的真实感图像风格化。 我们证明,它表现良好,对卢安等人。[9]在质量和速度方面。3真实感图像风格化我们的真实感图像风格化算法由两个步骤组成,如图2所示。第一步是称为PhotoWCT的风格化变换F1给定样式照片IS,Fl将样式IS转移到内容照片IC,同时最小化输出图像中的结构伪影。 虽然F1可以忠实地风格化IC,但它经常在语义相似的区域产生不一致的风格化。因此,我们使用真实感平滑函数F2,以消除这些4Y. 李,M.-Y. Liu,X.李,M.-H. 杨,J.KautzED− ESCSSDCCS文物我们的整个算法可以写成两步映射函数:.F2F1(IC,IS),ICΣ、(1)在下文中,我们详细讨论风格化和平滑步骤。3.1程式化PhotoWCT基于WCT [10]。它采用了一种新颖的网络设计,实现逼真的图像风格化。下面我们简要回顾一下WCTWCT。WCT [10]将风格化公式化为具有特征投影的图像重建为了利用WCT,首先训练用于一般图像重建的自动编码器。具体来说,它使用VGG-19模型[32]作为编码器(权重保持固定)并训练解码器以重建输入图像。解码器与编码器对称,并使用上采样层(图3(a)中的粉红色块)来扩大特征图的空间分辨率一旦训练了自动编码器,就在网络瓶颈处插入一对投影函数,以通过白化(PC)和着色(PS)变换来执行风格化。WCT背后的关键思想是通过两个投影将内容图像的特征相关性直接匹配到样式图像的特征相关性。具体地,给定一对内容图像IC和样式图像IS,WCT首先提取它们的矢量化VGG特征HC=E(IC)和HS=E(IS),然后通过变换来变换内容特征HC。HCS=PSPCHC,(2)1 1其中PC= EC ~2,并且PS= ES ~2E。这里ΛC和ΛS是对角线协方差矩阵HCH和HSH的特征值为-C S分别为。矩阵EC和ES是相应的标准正交矩阵的特征向量。变换后,变换后的特征与样式特征的特征相匹配,即,HCSH=HSH。最后,通过将变换的特征图直接馈送到解码器中来获得风格化图像:Y=(HCS)。为了获得更好的风格化性能,Li et[10]使用多级风格化策略,其在不同层的VGG特征上执行WCT。WCT在艺术图像风格化方面表现良好然而,其产生结构伪影(例如,对象边界上的失真),用于真实感图像风格化(图4(c))。所提出的PhotoWCT被设计为抑制这些结构伪影。照片WCT。我们的PhotoWCT设计的动机是观察到的WCT中的最大池化操作减少了特征图中的空间信息。解码器中的简单上采样特征图无法恢复输入图像的详细也就是说,我们需要将丢失的空间信息传递给解码器,以便于重建这些精细细节。受…真实感图像风格化的一种封闭解法5……PSPCD卷积最大池化上采样反池化最大池化掩码我......YICY(a) WCT(b)PhotoWCT图 3 : PhotoWCT 和 WCT 共 享 相 同 的 编 码 器 架 构 和 投 影 步 骤 。 在PhotoWCT 中 , 我 们 将 上 采 样 层 ( 粉 红 色 ) 替 换 为 非 池 化 层 ( 绿色)。请注意,unpooling层与pooling mask(黄色)一起使用,poolingmask(黄色)记录了在相应的pooling层[33]中的每个最大池化区域上携带最大值的位置在保留空间信息的解池层[33,34,35]中,PhotoWCT用解池层替换WCT中的上采样层PhotoWCT函数公式化为Y=F1(IC,IS)=D(PSPCHC),⑶其中是解码器,其包含解池化层并且被训练用于图像重建。图3示出了WCT和所提出的PhotoWCT之间的网络架构差异。图4(c)和(d)比较了WCT和Pho-WCT的风格化结果。如在特写中突出显示的,内容图像中沿着建筑物边界的直线在WCT样式化结果中变成Z字形,但在PhotoWCT结果中保持笔直PhotoWCT风格化图像的结构伪影要少得多我们还在实验部分进行了用户研究,以定量验证PhotoWCT通常比WCT具有更好的风格化效果。3.2照片级平滑PhotoWCT风格化的结果(图4(d))看起来仍然不太像照片,因为语义相似的区域通常风格化不一致。如图4中所示,当应用PhotoWCT以使用夜间照片对白天照片进行风格化时,如果风格化的天空区域是均匀的深蓝色而不是部分暗和部分浅蓝色,则风格化的天空区域将更具照片真实感。它是基于基于这一观察,我们采用内容照片中的像素亲和度来平滑PhotoWCT风格化的结果。我们的目标是在平滑步骤中实现两个目标首先,在局部邻域中具有相似内容的像素应当被相似地风格化第二,输出不应显著偏离PhotoWCT结果,以保持全局风格化效果。我们首先将所有像素表示为图中的节点,并在rixW={wij}∈RN×N(N是像素的集合)处找到一个仿射关系m,以公司简介6Y. 李,M.-Y. Liu,X.李,M.-H. 杨,J.KautzN--(a) (b)内容(c) WCT [10](d)PhotoWCT(e)WCT+平滑(f)PhotoWCT+平滑图4:由PhotoWCT生成的风格化输出更好地保留了内容图像中的局部结构,这对于如(e)和(f)中所示的图像平滑步骤是重要的。描述像素相似性。我们定义平滑项和拟合项,它们在以下优化问题中对这两个目标进行建模:1ΣNrirj2Σ21000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000wij√−√+λri−yi),(4)R2i,j=1DIIdjji=1其中yi是PhotoWCT风格化结果Y中的像素颜色在期望的平滑输出R中的像素颜色。变量dii=Σ和risthe我是你的朋友W的度矩阵D中的对角元素,即, D = diag d11,d22,..., dNN。在(4)中,λ控制两项的平衡。我们的公式是由基于图的排名算法[36,37]激发的在排序算法中,Y是二进制输入,其中每个元素指示特定项是否是查询(如果yi是查询,则yi=1,否则yi=最优解R是所有项目基于其成对亲和力的排名值。在我们的方法中,我们将Y设置为PhotoWCT风格化的结果。最优解R是基于成对像素亲和度的Y真实感图像风格化的一种封闭解法71+λC22(a)样式(b)内容(c)PhotoWCT(Ours)(d) MattingAff(e)GaussianAff σ= 1(f)GaussianAff σ = 0。1图5:具有不同亲和力的平滑。为了细化(c)中的PhotoWCT结果,很难找到如(e)-(f)中所示的全局表现良好的高斯亲和力的最佳σ。相比之下,使用遮片亲和力可以同时平滑不同的区域,如(d)所示。这鼓励语义相似区域内的一致风格化上述优化问题是具有封闭形式解的简单二次问题,其由下式给出:R*=(1−α)(I−αS)−1Y,(5)其中I是单位矩阵,α=1,S是归一化拉普拉斯算子1 1由I计算的矩阵,即,S = D−WD−∈RN×N。作为构建的图通常是稀疏连接的(即,W中的大多数元素是零),则逆可以有效地计算(5)中的运算。利用封闭形式的解,平滑步骤可以被写为由下式给出的函数映射:R*= F2(Y,IC)=(1 − α)(I − αS)−1Y。(六)亲和力 基于8连接图像图假设使用内容照片来计算亲和度矩阵W。虽然存在亲和度度量的若干选择,但流行的一种是将亲和度(表示为GaussianAff)定义为22wij=e−Ii−Ij/σ其中,Ii、Ij是相邻像素i、j的RGB值,并且σ是全局缩放超参数[38]。然而,在实践中很难确定σ值这通常会导致整张照片过于平滑(图5(e))或照片风格不一致(图5(f))。为了避免选择一个全局缩放超参数,我们求助于抠图亲和力[39,40](表示为MattingAff),其中两个像素之间的亲和力基于局部窗口中像素的均值和方差。图5(d)示出了消光亲和力能够同时很好地平滑不同的区域。8Y. 李,M.-Y. Liu,X.李,M.-H. 杨,J.KautzDEWCT加平滑。我们注意到,平滑步骤还可以去除WCT中的结构伪影,如图4(e)所示。然而,它导致了不令人满意的风格化。主要原因是由于空间失真,内容照片和例如,WCT结果中的建筑物的风格化像素可以对应于内容照片中的天空的像素。因此,这导致在Y中对平滑步骤的错误查询这说明了为什么我们需要首先使用PhotoWCT来消除失真。图4(f)示出了PhotoWCT和平滑的组合导致更好的照片真实感,同时仍然保持忠实的风格化。4实验在本节中,我们将首先讨论实施细节。然后,我们将展示视觉和用户研究评估结果。最后,我们将分析所提出的算法的各种设计选择和运行时间。实作详细数据。我们使用VGG-19网络[32]中从conv 11到conv4 1的层用于编码器。编码器权重由ImageNet预训练的权重给出。解码器是编码器的逆我们通过使用Microsoft COCO数据集[41]最小化L2重建损失和感知损失[17我们采用WCT [10]中提出的多级风格化策略,其中我们将PhotoWCT应用于不同层中的VGG特征。类似于最先进的方法[42,9],我们的算法可以利用语义标签映射来获得更好的风格化结果。当执行PhotoWCT风格化时,对于每个语义标签,我们分别使用来自内容和风格照片中具有相同标签的图像区域的特征来计算一对投影矩阵P_C和P_S然后使用该对来对这些图像区域进行风格化。利用语义标签映射,可以更准确地执行内容和样式匹配我们注意到,所提出的算法不需要精确的语义标签图,以获得良好的风格化结果。最后,我们还使用Luan等人描述的高效过滤步骤。[9]后处理。目视比较。我们将所提出的算法与两类风格化算法进行比较:逼真和艺术性。所评估的照片级真实感的结构设计包括Rein hardetal。 [1],Piti´eetal.[2],andLuanetal. [9]的文件。 BothReinhardetal. ”[1]“我”。[2]提出了一种基于颜色统计匹配的颜色匹配算法,而Luan等人提出的基于颜色统计匹配的颜色匹配算法是一种基于[9]基于神经风格转移[8]。另一方面,评估的艺术风格化算法的集合包括Gatys et al.[8],Huang etal.[21][22][23][24][25]他们都使用深层网络。真实感图像风格化的一种封闭解法9Reinhard et al. [1]第一章Pitieetal. [2]Luanetal. [9]第九话Reinhard et al. [1]第一章Pitieetal. [2]Luanetal. [9]第九话Reinhard et al. [1]第一章Pitieetal. [2]Luanetal. [9]第九话图6:与真实感风格化方法的视觉比较除了颜色转移之外,我们的方法还合成样式照片中的图案(例如,在顶部的例子中的乌云,在底部的例子中的雪10Y. 李,M.-Y. Liu,X.李,M.-H. 杨,J.Kautz(a) (c)格式(b)内容[八]《中国日报》(d) Huang等人[21](e)Li et al.[10](f)我们的(a) (c)格式(b)内容[八]《中国日报》(d)Huang等人[21](e)Li et al.[10](f)我们的图7:与艺术风格化算法的视觉比较注意对象边界上的建筑物)和详细的边缘(例如,海,云)所产生的竞争风格化方法。图6示出了所评估的真实感风格化算法的视觉结果。总的来说,由所提出的算法生成的图像表现出更好的稳定性。 当他坐下来的时候,他 会 说。 [1]和Pitieetal. [2]changeolors of the content photos,they failed totransfer the style.我们认为,真实感风格化不能纯粹通过颜色转移来实现。它需要将表示样式照片的新图案添加到内容照片。例如,在图6(底部)的第三个示例中,我们的算法不仅将地面区域的颜色更改为白色,而且还合成了样式照片中出现的雪图案Luan等人的方法。[9]一看就达到了很好的风格化效果。然而,仔细观察揭示出所生成的照片包含明显的伪像,例如,建筑物和树木的不规则亮度。几个语义相似的区域被不一致地风格化。图7示出了所提出的算法和艺术风格化算法之间的视觉比较虽然其他评估的算法是真实感图像风格化的一种封闭解法11表1:用户体验:体验与体验 Lu an etal. 并提供与S. Pitietal.Luan等人[9]/拟定P itieetal. [2]/proposed更好的风格化36.9%/ 63.1%44.8%/ 55.2%伪影较少26.5%/ 73.5%48.8%/ 51.2%表2:用户偏好:建议与艺术风格化算法。Gatys等人[八]《中国日报》Huang等人[21日]Li等人[10个国家]提出更好的风格化百分之十九点二百分之八点四16.0%百分之五十六点四伪影较少百分之二十一点六6.0%百分之六点八百分之六十五点六能够很好地传递风格,它们在图像中呈现出明显的结构伪像和不一致的风格。相比之下,我们的方法产生更逼真的结果。用户研究。我们诉诸用户研究的性能评估,因为pho- torealistic图像风格化是一个高度主观的任务。我们的基准数据集包含由Lu等人提供的25种类型的数据集。 [9]的文件。 我们使用Amazon Mechanical Turk(AMT)平台进行评估。在每个问题中,我们展示了AMTw或k的一个组合式对,并从以随机顺序显示的评估算法中对结果进行了分析。AMT工作者(终身人工智能任务批准率大于98%)被要求选择基于指令的程式化结果。每个问题由10个不同的工人回答。因此,每项研究的绩效评分是基于250个问题计算的我们计算来自算法的图像被选择的平均次数,其被用作算法的偏好得分。我们进行了两项用户研究。在一项研究中,我们要求AMT工作人员选择哪张风格化的照片更能体现目标风格。在另一项研究中,我们要求工人选择哪张风格化的照片看起来更像真实照片(包含较少的文物)。通过研究,我们想回答哪种算法更好地风格化内容图像,哪种算法呈现更好的真实感输出。在表1中,我们将所提出的算法与Luan等人的算法进行了比较。[9]其中是目前最先进的结果表明,63.1%的用户更喜欢我们的算法生成的风格化结果,73.5%的用户认为我们的输出照片更逼真。我们还比较了我们的算法的经典算法的Piti′eetal。 [2]的文件。从表1中,我们的用户与通过经典算法(其简单地执行颜色匹配)计算的效果一样好,并且55.2%的用户认为我们的风格化结果更好。表2比较了我们的算法与艺术风格化算法的用户偏好得分。我们发现我们的算法达到了56.4%和65.6%的风格化效果和照片真实感,这是显着优于其他算法。艺术风格化算法表现不佳,因为它们不是为真实感风格化任务而设计的。12Y. 李,M.-Y. Liu,X.李,M.-H. 杨,J.Kautz98969492901e-21e-31e-41e-61e-7Content/Style PhotoWCT GT edges [43] λ9996.7594.592.25901e-21e-31e-41e-61e-7λ= 10−2λ = 10−4λ = 10−6λ图8:在真实感平滑步骤中使用不同λ值的效果的可视化。我们在底部示出了不同风格化结果的边缘图(插图),并将它们与内容的ODS和OIS度量的边缘图(最右侧)进行比较。(a)PhotoWCT(b)Luan et al.[9](c)Mechrez等人。[23](d)提议图9:使用我们的真实感平滑步骤与其他细化方法(b)-(d)之间的比较。WCT与PhotoWCT。我们将所提出的算法与其中PhotoWCT步骤被WCT [10]取代的变体进行同样,我们进行了两个用户研究风格化效果和照相现实主义,如前所述。 结果表明,所提出的算法是更好的风格化的83.6%的时间,更好的照片逼真度83.2%的时间比它的变体青睐。对λ的敏感性分析。在真实感平滑步骤中,λ在(4)中的平滑项和拟合项之间平衡较小的λ呈现更平滑的结果,而较大的λ呈现更忠实于查询的结果(PhotoWCT结果)。图8示出了使用不同λ值的结果一般来说,减小λ有助于移除伪影且因此改进照片真实性。然而,如果λ太小,则输出图像倾向于被过度平滑。为了找到最优λ,我们执行网格搜索。我们使用从风格化和原始内容照片中提取的边界图之间的相似性作为标准,因为尽管进行了风格化,但对象边界应该保持不变[44]。我们采用HED方法[43]进行边界检测,并使用两个标准边界ODSOIS真实感图像风格化的一种封闭解法13×××检测指标:ODS和OIS。较高的ODS或OIS分数意味着风格化照片更好地保留了原始照片中的内容基准数据集的平均分数显示在图8的最右边。根据结果,我们在所有实验中使用λ= 10−4替代平滑技术。在图9中,我们将我们的真实感平滑步骤与两种替代方法进行比较。在第一种方法中,我们使用PhotoWCT风格化的照片作为初始解,用于解决Luan等人的方法中的第二个优化问题。[9]的文件。结果示于图9(b)中。这种方法导致明显的伪像,因为道路颜色失真。在第二种方法中,我们使用Mechrez等人的方法。[23],它通过匹配输出照片中的渐变来细化风格化的结果内容照片中的人。如图9(c)所示,我们发现这种方法在去除边界上的结构失真方面表现良好,但不能去除视觉伪影。相比之下,我们的方法(图9(d))使用高效的闭合形式解决方案生成更逼真的结果。运行时。在表3中,我们将所提出的算法的运行时间与最新技术的运行时间进行了比较[9]。 我们注意到,虽然我们的算法有一个封闭形式的解决方案,卢安等人。[9]依赖于非凸优化。为了使照片风格化,Luan等人[9]顺序地求解两个非凸优化问题,其中第一优化问题的解被用作求解第二优化问题的初始解。我们报告的总运行时间需要获得最终的风格化结果。我们将基准数据集中的内容图像调整为不同的大小,并报告每个图像大小的平均运行时间。实验在具有NVIDIA TitanX Pascal GPU的PC上进行。风格化图像的1024 512分辨率,我们的算法需要13.16秒,这是49倍的速度比650.45秒实现的Luan等人。[9]的文件。在表3中,我们还报告了算法中每个步骤的运行时间我们发现平滑步骤花费了大部分计算时间,因为它涉及使用LU分解来反转(5)中的稀疏矩阵W通过采用针对大型稀疏矩阵开发的高效LU分解算法,复杂度可以仅由矩阵中的非零条目的数量粗略地确定。在我们的情况下,由于每个像素仅连接到其邻居(例如,3 × 3窗口),W中非零值的数量随着图像大小线性增长为了进一步加速,我们可以使用引导图像滤波[45]来近似平滑步骤,其可以基于内容照片平滑PhotoWCT输出。我们将参考这个版本的算法近似。虽然与原始算法相比,用引导图像滤波近似平滑步骤导致性能略微下降,但它导致如表3所示的大速度增益。要对1024 512分辨率的图像进行风格化,大约只需要0.64秒,比Luan等人实现的650.45秒快1,016倍[9]的文件。为了量化由于近似的性能下降,我们进行了我们使用与上述相同的评估方案。结果示于表4中。通常,由14Y. 李,M.-Y. Liu,X.李,M.-H. 杨,J.Kautz表3:运行时间比较。我们计算在各种图像分辨率上评估的算法的平均运行时间(以秒为单位)图像分辨率Luan等人[9]第一章提出PhotoWCT平滑约256×12879.610.960.400.560.41512×256186.522.950.422.530.47768×384380.827.050.536.520.551024×512650.4513.160.5612.600.64表4:用户偏好分数比较:将近似(所提出的算法的快速近似)与所提出的算法以及其他照片级真实感风格化算法进行比较。proposed/approximatelyLuanetal. [9]/约Piti´eetal. [2]/约风格化更好59.6%/ 40.4 36.4/ 63.6% 46.0/ 54.0%伪影较少52.8%/47.2 20.8/79.2% 46.8/53.2%C〇ntent/StyleRein haratal。[1]第一章Pitieetal. [二]《中国日报》Luanetal. [9]第九话图10:故障情况。所提出的和其他真实感风格化算法都未能将花卉图案转移到花盆中。与由全算法生成的那些相比,approx不太受用户喜欢。然而,在风格化效果和照相现实主义方面,近似失败案例。图10示出了所提出的方法未能将样式照片中的花图案转移到内容照片的失败情况。类似的限制也适用于其他真实感风格化方法[2,1,9]。由于所提出的方法在真实感平滑步骤中使用内容的像素亲和力,因此它有利于在盆表面上具有如输入照片中的平滑颜色过渡的风格化输出。5结论提出了一种新的快速真实感图像风格化方法。它由风格化步骤和真实感平滑步骤组成这两个步骤都有有效的封闭形式的解决方案。实验结果表明,我们的算法生成的风格化输出,是更喜欢由人类受试者相比,由国家的最先进的,同时运行速度快得多。真实感图像风格化的一种封闭解法15引用1. Reinhard,E.,Ashikhmin,M.,Gooch,B.,Shirley,P.:图像之间的颜色转换IEEEC〇mputergicsandapplicati ons21(5)(2001)342. 我的朋友F Kokaram,A. C.的方法, 达赫约特河。N-维并行功能转移及其在颜色转移中的应用In:ICCV.(2005)1、2、8、9、10、11、143. Sunkavalli,K.,约翰逊M.K. Matusik,W.,Pfister,H.:多尺度图像和谐化。ACM Transactions on Graphics 29(4)(2010)12514. Bae , S. 巴 黎 , S. , Durand , F. : 双 尺 度 色 调 管 理 的 摄 影 外 观 。ACMTransacti onsonGrhi cs25(3)(2006)6375. P.Y.拉丰Ren,Z.,陶X钱,C.,Hays,J.:瞬态属性,用于户外场景的高级理解和编辑。ACM Transactions on Graphics 33(4)(2014)1491,26. Shih,Y.,巴黎,S.,巴恩斯角弗里曼,W. T.,Durand,F.:风格转移头像肖像。在:SIGGRAPH.(2014年)1、27. 洛杉矶的加蒂斯Ecker,A.S. Bethge,M.:使用卷积神经网络进行纹理合成。在:NIPS。(2015)1、38. 洛杉矶的加蒂斯Ecker,A.S. Bethge,M.:使用卷积神经网络的图像风格转换。在:CVPR中。(2016)1、2、3、8、10、119. Luan,F.,巴黎,S.,Shechtman,E.,Bala,K.:深度照片风格转移。在:CVPR中。(2017)1,2,3,8,9,10,11,12,13,1410. 李,Y.,方角杨杰,王志,卢,X.,Yang,M.H.:通过特征变换进行通用样式在:NIPS。(2017)2,3,4,6,8,10,11,1211. Freedman,D. Kisilev,P.:对象到对象颜色转移:最优流与smsp变换。在:CVPR中。(2010年)212. Shih,Y.,巴黎,S.,Durand,F.,弗里曼,W.T.:从一张户外照片中产生一天中不同时间的数据驱动幻觉。在:SIGGRAPH.(2013年)213. 吴,F.,Dong,W.,江,Y.,Mei,X.,保罗JC张X:基于内容的彩色电视机。 In:ComputterGraphicsForum. 第32章. (2013年)19014. 蔡永宏,沈,X.,林芝,Sunkavalli,K.,Yang,M.H.:天空不是极限:语义感知的天空替换。ACM Transactions on Graphics 35(4)(2016)149215. Li,C.,Wand,M.:结合马尔可夫随机场和卷积神经网络进行图像合成。在:CVPR中。(2016年)316. Ulyanov,D.,Lebedev,V.,Vedaldi,A.,Lempitsky,V.:纹理网络:纹理和风格化图像的前馈合成。在:ICML。(2016年)317. Johnson,J.,Alahi,A.,李菲菲:实时风格转换和超分辨率的感知损失。In:ECCV.(2016)3,818. 李,Y.,方角杨杰,王志,卢,X.,Yang,M.H.:用前馈网络实现多样化纹理合成。在:CVPR中。(2017年)319. Dumoulin,V.,Shlens,J.,Kudlur,M.:对艺术风格的博学的表现。In:ICLR.(2017年)320. Ghiasi,G.,李,H.,Kudlur,M.,Dumoulin,V.,Shlens,J.:探索实时、任意神经艺术风格化网络的结构。在:BMVC.(2017年)321. 黄,X.,Belongie,S.:实时任意样式传输,具有自适应实例规范化。In:ICCV.(2017)3,8,10,1122. Li,S.,徐,X.,涅湖,加-地Chua,T.S.:拉普拉斯引导的神经风格转移。In:ACM MM.(2017)323. Mechrez河Shechtman,E.,Zelnik-Manor,L.:用加网泊松方程实现真实感风格转换。在:BMVC.(2017)3,12,1316Y. 李,M.-Y. Liu,X.李,M.-H. 杨,J.Kautz24. Isola,P.,Zhu,J.Y.,周,T.,Efros,A.A.:使用条件对抗网络的图像到图像翻译。在:CVPR中。(2017年)325. Wang T.C.Liu,M.Y.Zhu,J.Y.,Tao,A.,Kautz,J.,Catanzaro,B.:基于条件gans的高分辨率图像合成与语义处理在:CVPR中。(2018年)326. Liu,M.Y. Tuzel,O.: 耦合生成对抗网络。 在:NIPS。(2016年)327. Taigman,Y.,Polyak,A.,沃尔夫湖:无监督跨域图像生成。In:ICLR.(2017年)328. Shrivastava,A.,Pfister,T.,Tuzel,O.,Susskind,J.,王伟,Webb,R.:通过对抗训练从模拟和无监督图像中学习。在:CVPR中。(2017年)329. Liu,M.Y. Breuel,T.,Kautz,J.:无监督图像到图像翻译网络。在:NIPS。(2017年)330. Zhu,J.Y.,Park,T. Isola,P.,Efros,A.A.:使用周期一致对抗网络的不成对图像到图像翻译。In:ICCV.(2017年)331. 黄,X.,Liu,M.Y. Belongie,S.,Kautz,J.:多模态无监督图像到图像翻译。In:ECCV.(2018年)332. 西蒙尼扬,K.,齐瑟曼,A.:用于大规模图像识别的深度卷积网络。In:ICLR.(2015)4、833. 赵,J,Mathieu,M.,戈罗申河LeCun,Y.:堆叠的什么地方自动编码器。In:ICLR Workshop.(2016年)534. Zeiler,医学博士,Fergus,R.:可视化和理解卷积网络。In:ECCV.(2014年)535. 诺H Hong,S.,汉,B.:用于语义分割的学习反卷积网络。In:ICCV.(2015年)536. Zhouu,D. ,Weston,J., 格雷顿,A., Bousquet,O., S chüolkopf,B. :Rankingondatamanifold.在:NIPS。(2004年)637. 杨,C.,张,L.,吕,H.,Ruan,X.,Yang,M.H.:基于图的流形排序的显著性检测。在:CVPR中。(2013年)38. 施,J.,Malik,J.:归一化切割和图像分割。PAMI 22(8)(2000)888-905739. Levin,A.,Lischinski,D.,Weiss,Y.:一个封闭形式的解决方案,以自然图像抠图。PAMI30(2)(2008)22840. Zelnik-Manor湖Perona,P.: 自校正谱聚类。 在:NIPS。(2005年)741. 林,T. 是的, 我是M Belongie,S., 嗨,J., Perona,P., Ramanan,D. ,Doll'ar,P.,Zitnick,C.L.:Microsoft COCO:上下文中的公共对象In:ECCV.(2014年)842. 洛杉矶的加蒂斯Ecker,A.S. Bethge,M.,Hertzmann,A.,Shechtman,E.:神经风格迁移中知觉因素的控制。在:CVPR中。(2017年)843. Xie,S.,图,Z.: 整体嵌套边缘检测。 In:ICCV.(2015年)1244. Cutu,F.,Hammoud河Leykin,A.:估计图像的真实感:区分绘画和照片。在:CVPR中。(2003年)1245. He,K., Sun,J., Tang,X. :Guidimagefilteringg. PAMI35(6)(2013)1397
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 深入理解23种设计模式
- 制作与调试:声控开关电路详解
- 腾讯2008年软件开发笔试题解析
- WebService开发指南:从入门到精通
- 栈数据结构实现的密码设置算法
- 提升逻辑与英语能力:揭秘IBM笔试核心词汇及题型
- SOPC技术探索:理论与实践
- 计算图中节点介数中心性的函数
- 电子元器件详解:电阻、电容、电感与传感器
- MIT经典:统计自然语言处理基础
- CMD命令大全详解与实用指南
- 数据结构复习重点:逻辑结构与存储结构
- ACM算法必读书籍推荐:权威指南与实战解析
- Ubuntu命令行与终端:从Shell到rxvt-unicode
- 深入理解VC_MFC编程:窗口、类、消息处理与绘图
- AT89S52单片机实现的温湿度智能检测与控制系统
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功