1具有自正则化和多样性的全自动视频着色李晨阳陈启峰摘要我们提出了一个全自动的方法，视频colorization，灰与自我正则化和多样性。我们的模型包含一个彩色化网络的视频帧彩色化和细化网络的时空颜色细化。在没有任何标记数据的情况下，这两个网络都可以使用双边和时间空间中定义的自正则化损失进行双边损失强制执行双边空间中相邻像素之间的颜色一致性，并且时间损失强制执行两个附近帧中的对应像素之间的约束。虽然视频彩色化是一个多模态问题，我们的方法使用的感知损失的多样性来区分各种模式的解决方案空间。感知实验表明，我们的方法优于国家的最先进的方法，全自动视频彩色化。1. 介绍有许多经典的黑白电影和视频。人们希望观看彩色电影而不是灰度电影。1939年的《飘》是第一部彩色电影，也是有史以来经通货膨胀调整后票房最高的电影[1]。图像和视频彩色化也可以帮助其他计算机视觉应用，如视觉理解[17]和对象跟踪[29]。视频彩色化由于其解空间的多模态性和全局时空一致性的要求而具有很高的挑战性首先，在各种情况下重新覆盖地面实况颜色是不合理的。例如，给定一个气球的灰度图像，我们无法预测气球的正确颜色，因为它可能是黄色，蓝色等。我们的目标不是恢复底层颜色，而是生成一组看起来自然的彩色结果。其次，我们给一个区域分配什么颜色通常并不重要（即，气球），但是整个区域应该是空间一致的。第三，视频彩色化本质上也比单个图像彩色化更具挑战性，因为还应加强时间相干性。图像着色方法通常不能推广到视频着色，第在图1中，我们展示了我们的方法和两种最先进的图像着色方法在经典电影着色上的一些结果黑白图像的彩色化在文献[18，6，32，16]中得到了很好的研究。早期的着色方法大多是用户引导的方法，其求解目标函数以将用户输入的颜色涂鸦传播到其他区域[18，25]。这些方法要求用户在灰度图像上提供足够的涂鸦。另一方面，研究人员利用深度学习模型探索自动图像着色。一些基于深度学习的图像着色方法定义了一个基于分类的损失函数，在色度空间中有数百个离散采样点[32，16]。然而，彩色图像往往表现出明显的离散化伪影。为了应对这一挑战，我们建议使用与多样性相结合的虚拟损失函数。我们的方法不依赖于在色度空间中对离散的颜色集合进行采样，从而避免了彩色视频中的离散化伪影。我们可以应用图像着色方法来独立地对视频帧着色，但是整体着色的视频往往在时间上不一致。最近，Lai等。[15]提出了一种增强合成视频的时间相干性的框架，其中通过诸如着色的图像处理算法独立地处理每个帧。然而，这是后处理步骤，并且其性能取决于不利用多帧信息的图像着色方法。基于传播的视频着色方法需要一些着色帧作为参考，以将给定参考帧的颜色传播到整个视频[23，29]，但是着色一些帧也需要不平凡的人工努力。而且，当未来帧不同于参考帧时，彩色化视频帧的质量快速衰减。本文研究了在没有标记数据和用户指导的情况下的视频自动彩色化问题。我们提出了一种自正则化的方法来自动视频彩色化的多样性。我们用双边和时间空间中的最近邻居正则化我们的模型，并用多样性损失训练模型，以区分37533754第1帧第2图1.两个彩色视频帧由张等人。[32]，Iizuka et al.[12]，以及我们对1916年查理·卓别林的经典电影《幕后》的看法现有技术的图像彩色化方法可能在视频彩色化上表现不佳。彩色视频帧之间的时间不一致性张等人。[32]和Iizuka et al.[12]这是显而易见的。更多经典胶片彩色化的结果在补充中显示。在解空间中划分不同的模式。自正则化鼓励期望具有相似颜色的像素之间的信息传播具体来说，我们可以通过在某些特征空间中找到K个最近邻通过强制像素对之间的成对相似性，我们可以保持视频中的时空颜色一致性。我们的模型还能够生成具有多样性损失的多个不同的彩色视频[19]。我们进一步提出了一个简单的策略，以选择最丰富多彩的视频中的所有彩色视频。我们进行实验，比较我们的模型与国家的最先进的图像和视频彩色化方法。结果表明，我们的模型可以合成更自然的彩色视频比其他方法做。我们评估了PSNR和LPIPS的性能[33]，并通过用户研究进行了感知比较。此外，对照实验表明，我们的自正则化和多样性是我们模型中的关键组成部分。2. 相关工作在这一节中，我们简要回顾了图像和视频彩色化的相关工作。用户引导的图像着色。最经典的图像着色方法是基于优化，需要用户在图像的一部分上输入，以将某些区域上提供的颜色传播到整个图像[18，25，22，5，31]。Levin等[18]提出了基于优化的交互式图像着色，其通过在空间-时间中的相似像素应该具有相似颜色的假设下求解二次成本函数来实现。Zhang等人[34]提出了一种基于深度学习的交互式图像着色模型。基于范例的着色方法不需要用户涂鸦，而是将参考图像作为额外的输入[30，13，21，3，7，10]。参考图像应该在语义上类似于输入灰度图像，以将颜色从参考图像转移到输入图像。一Iizuka等人[12个]Zhang等人[32个]输入我们3755经纱(a1)帧（d1）（）：帧t的第i（d3）(e1)置信度图for（）和+1(g)细化的输出(e2)置信度图for（）和+1(a2)帧+1(b)彩色化网络f（d2）+1（）：帧t+1的第i(f)细化网络g(c)多样化的彩色化图2.我们模型的整体架构。着色网络f被设计为对每个灰度视频帧着色，并且产生多个着色候选图像。取来自帧t和帧t+ 1的第i个着色候选图像以及两个置信图，细化网络g将输出帧t的细化视频帧。He et al.的最新方法[11]结合了深度学习和图像着色中的范例，并实现了最先进的性能。在这项工作中，我们感兴趣的是全自动着色方法，既不需要用户输入，也不需要参考图像。自动图像着色。 全自动图像着色方面最突出的工作是基于深度学习的方法，不需要任何用户指导[6，12，32，16，9]。Cheng等人[6]提出了第一个用于全自动图像着色的深度神经网络模型。一些深度学习方法使用分类网络，将每个像素分类为数百个集合在LAB或HSV颜色空间中的色度样本，以解决彩色化问题的多模态性质[32，16]。然而，在具有数百个点的二维色度中，很难进行密集采样。因此，我们建议使用具有多样性的感知损失[19]来避免离散化问题。视频着色。大多数关于视频彩色化的同时期工作旨在将颜色信息从颜色参考帧或稀疏用户涂鸦传播到整个视频[31，29，23，20，14]。另一方面，Lai et al.[15]提出了一种通过诸如彩色化的图像处理算法来逐帧地增强所生成的视频的更强的时间一致性的方法。据我们所知，目前还没有专门用于全自动视频着色的深度学习模型。我们可以确定-通常情况下，图像彩色化方法可以对视频中的每一帧进行彩色化，但是得到的视频通常是时间上不相干的。在本文中，我们提出了一种用于自动视频着色的专用深度学习模型，该模型鼓励时空上下文传播，并能够生成一组不同的彩色视频。3. 概述. 考虑灰度视频帧的连续序列X=X1，. . .，Xn .我们的目标是训练一个模型，自动-对X进行彩色化，使得彩色化的视频是真实的。在我们的框架中，既不需要用户指导，也不需要颜色参考框架。在描述我们的方法之前，我们描述了我们的全自动视频彩色化方法的两个理想特性• 时空色彩一致性。在视频帧内，多个像素可以共享相似的颜色。例如，墙上的所有像素都应该具有同样的颜色，所有的草都应该是绿色的。建立非局部像素邻居（即，同一墙壁上的两个像素）的颜色一致性可以提高彩色化视频的全局颜色一致性。注意，独立地对视频帧进行着色可能导致时间上不一致的视频，因此我们可以在两个帧之间建立时间邻居以加强时间相干性。3756时间• 多样化的色彩。现有的大多数图像或视频彩色化工作只生成一个彩色化结果。我们的模型需要输出一组Y={Y1，. . .，Yn}是地面实况彩色视频，我们用于自正则化的双边损失是不同的彩色视频集合，因为彩色化是一对多的问题。在我们的模型中，我们使用一个感知ΣnL双侧（θf）=Σ<$fp（Xt;θf）−fq（Xt;θf）<$1，损失的多样性，区分不同的模式在解决方案空间。i=1（p，q）∈NYt（二）图2展示了我们模型的整体结构。我们提出的框架包含两个网络，其中，NYt是建立在地面实况上的KNN图颜色帧Yi，并且fp（Xt;θf）指示pix el的颜色p上的彩色视频帧f（Xt;θf）。受过协同工作的训练第一个是色彩-在给定灰度视频帧X t的情况下，输出彩色视频帧的灰度网络f（Xt;θf）。网络f是用定义在上的颜色相似性约束自正则化的一个简单的时间正则化项Lf可以定义为f：（θf）双边空间中的K个最近邻（r，g，b，λx，λy），其中（r，g，b）表示像素颜色，（x，y）表示像素位置，并且λ是平衡像素的权重n−1t=1.Σ<$f（Xt;θf）−ωt+1→t（f（Xt+1;θf））Mt+1 →t（三）颜色和位置。 我们在实验中使用K=5第二种是加细网络g（Cs，Ct;θg）de-其中ωi+1 →i是使图像变形的变形算子根据光流从帧t+1到帧t签名以通过实施更强的时间一致性来细化当前彩色化视频C。网络g传播从Xt+1到Xt。 给定光流ft+1−>t从两个相邻帧Cs和Ct之间的信息。在测试时，g可以多次应用于彩色视频，以实现长期一致性。此外，我们的方法可以产生一组不同的彩色视频，正则化的多样性损失介绍李等人。[19 ]第10段。我们发现，我们的多样性损失也稳定了彩色视频的时间一致性。结合自正则化和多样性损失，我们获得了用于训练模型的总体损失函数：Lself+Ldiversity，（1）其中Lself表示在双边空间和时间域中正则化像素相邻者之间的颜色相似性的损失，并且L多样性是具有多样性的感知损失函数。4. 自正则化4.1. 着色网络的自正则化考虑给一个无纹理的气球上色。虽然从灰度视频帧中推断气球的基本颜色几乎是不可能的，但我们不知何故相信气球上的所有像素都是相似的。我们可以找出预期相似的像素对，并在训练模型时对这些像素对实施颜色为了在视频帧中建立具有相似颜色的像素对，我们在训练期间在地面实况帧上的双边空间（r，g，b，λx，λy）中执行K最近邻（KNN）搜索我们期望具有相似颜色的两个像素和空间位置意味着我们的彩色视频对于这两个像素也应该具有相似的颜色。类似的KNN策略也在KNNmatting [4]中提出。假设X={X1，. . . .，X n}是输入灰度视频，并且3757帧t+1到帧t，我们使用向后扭曲来获得二进制掩码Mt+1->t，其指示未被遮挡的像素（在帧t+1中不可见）。4.2. 基于置信度的精化网络在我们的模型中，一个基于置信度的细化网络g被用来执行更强的时间一致性。当两帧图像中对应的像素不具有相似的颜色时，就会出现时间不一致现象.我们使用置信图来表示像素的颜色是否不一致或不准确。给定当前彩色视频C={C1，. . .，Cn}，当翘曲时的时间不一致性帧t到帧s可以转换为置信图在[0，1]范围内的权重：W t→s（C t，C s）= max（1−α|C s− ω t→s（Ct）|t→s，0），（四）其中α是控制时间不一致性的敏感性的超参数，我们使用α=15。因此，对于每个彩色帧C1，细化网络g可以使用另一个附近帧C1连同计算出的置信度图来细化C1。g的输入包括Cs、ωt→s（Ct）、Wt→s（Ct，Cs）和Wt→s（Xt，Xs），后者是在输入灰度上定义的置信度图图像对。g输出针对Cs的经细化的视频帧。训练为了训练细化网络g，我们对两个相邻帧s和t进行采样，使得|s − t|其中λ指定用于时间细化的窗口大小。我们发现在我们的模型中λ=1就足够了。然后，我们优化以下针对θg的时间正则化损失：3758时间第1帧第2帧第3帧第4图3.四帧三个不同的视频彩色我们的方法与多样性。我们的方法能够以不同的方式对视频进行一般来说，不同的视频表现出不同的全局风格。输出. 对f施加的多样性损失为，贡L时间（θg）=Σf（x）=f（Xs;θf），f（Xt;θf）;θg）−Ys1。（五）L多样性（θf）=t=1min{φ（Ct（i））−φ（Yt）<$1}我1 ≤|s−t|≤λΣn Σd+βi<$φ（Ct（i））−φ（Yt）<$1，（7）总之，我们的自正则化损失Lself被定义为作为t=1i=1其中Ct（i）是f（Xt;θf）的第i个彩色图像，{βi}是递减序列。我们在实验中使用d=4L双侧（θf）+LfG时间（θ g）。（六）条款。最佳彩色视频的索引并不总是相同的。在大多数情况下，我们可以凭经验得到一个好的指数，推理。在推理过程中，我们可以应用g来细化每个帧使用左λ帧和右λ帧。如果我们多次执行这种时间细化，我们间接使用来自非局部帧的信息来细化每个帧。5. 多样化的着色视频彩色化本质上是一个一对多的任务，因为给定相同的灰度输入，存在多个可行的彩色化视频。制定一套多样化的解决方案可能是应对这一多模式挑战的有效途径受Li等人提出的排序多样性损失的启发。[19]，我们建议生成多个彩色视频以区分不同的解决方案模式。此外，发散性损失对时间相干性也有很大的贡献，因为它通过产生多个模式来减少彩色化的模糊性假设我们在模型中生成d个不同的解。网络f应该被修改为生成d个图像，输出3输出2输出1（θf）+L3759简单地通过选择具有最高平均每像素饱和度的一个，其中像素的饱和度正好是HSV颜色空间中的S通道。我们的方法也可以是一个交互式的方法，让用户选择他们想要的结果在图3中，我们通过我们的方法显示了三个彩色视频，给出了相同的灰度输入。一般来说，每个视频都有其唯一的风格，所有的视频都是不同的，包括全局颜色对比度和色度。6. 执行我们通过添加从VGG-19网络中提取的超列特征来增加网络f的输入[27]。超列特征被期望捕获图像的低级和高级信息。特别是，我们从VGG-19网络中提取超列功能的通道总数为1472。我们采用U-Net [26]作为网络3760时间偏好率比较DAVIS VidevoZhang et al. [32] + BTC [15] 80.0% 88.8%Ours> Iizuka et al.[12]+ BTC [15]72.8%63.3%偏好率比较DAVISOurs> Ours without self-reg.（我们的）67.9%我们的>我们的没有多样性61.5%表1.感知用户研究的结果。两个基线都通过BTC的时间一致性得到增强[15]。 我们的模型considerably优于两个国家的最先进的着色方法，张等人。[32]和Iizuka et al. [12 ]第10段。结构，并修改架构以适合我们的目的。我们在每个网络的开头添加1×1卷积层，以减少使用超列特征增强的输入的维数[19 ]第10段。为了计算光流，我们使用最先进的方法PWC-Net [28]。对于模型训练，我们首先训练网络f，然后联合训练g和f在训练f的每个时期，我们在ImageNet数据集中随机抽取5，000张图像[8]在损失L个双边+L个分集的情况下进行训练，并在DAVIS训练集中对1,000对相邻帧进行表2.我们的完整模型和消融模型之间比较的消融研究结果。评估是由15名参与者的感知用户研究。结果表明，自正则化和多样性是我们的模型中实现全自动视频彩色化的最先进性能的关键组成部分。提供了张等人的结果与时间的一致性。[32]和Iizuka et al.[12 ]第10段。我们使用公开的预训练模型和基线结果进行评估。他们的预训练模型是在DAVIS数据集[24]和Videvo数据集[2，15]。7.2. 结果知觉实验。为了评估每种方法的彩色视频的真实性，我们进行了感知[24]通过添加f的时间正则化，Lf.通过用户研究进行实验。我们将我们的方法与我们总共训练了f200个epoch。然后，为了训练细化网络g，我们在每个历元中从DAVIS数据集中随机采样1,000对帧，Zhang 等人[32]和Iizuka et al.[12]通过盲时间一致性（BTC）增强时间一致性[15]。虽然我们的方法可以生成多个视频，G时间. 当f有d对输出时，选择具有高饱和度的视频进行评估。多样性，我们在每对输出上训练g。 我们也训练从粗到精的方式来处理我们的模型。我们在256p视频和图像上训练两个网络。然后我们在480p视频和图像上微调我们的模型。7. 实验7.1.实验程序数据集。我们主要在DAVIS数据集[24]和Videvo数据集[2，15]上进行实验。DAVIS数据集的测试集由30个不同场景的视频剪辑组成。每个视频片段中大约有30到100帧。Videvo数据集的测试集包含20个视频，每个视频大约有300个视频帧。总的来说，我们在50个测试视频上评估了我们的模型和基线所有视频在两个数据集中都被调整为480p。基线。我们将我们的方法与两种最先进的全自动图像着色方法进行比较：彩色图像彩色化（CIC）。[32]和Iizuka et al.[12 ]第10段。虽然这些方法是为图像着色而设计的，但我们将其方法应用于逐帧着色此外，我们采用盲时间一致性（BTC）的方法提出了赖等人。[15]提高整体时间一致性。Lai et al. [15] pro-在用户研究中，我们的方法和基线。在每次比较中，用户都会看到一对并排的彩色480p视频用户可以多次播放这两个视频。我们随机设置视频对的顺序，让用户选择一个更真实和时间连贯的。共有10名用户参与了这项用户研究。表1总结了我们的感知实验结果我们的方法一直被大多数用户评为更可取的。当我们的方法相比，张等人。[32]，我们的方法在DAVIS数据集上80.0%的比较和Videvo数据集上88.8%的比较中是首选的[2]。感知用户研究是评价不同方法性能的关键实验消融研究。表2通过对DAVIS数据集进行感知用户研究根据表2，我们的模型没有自正则化或多样性损失，表现不如我们的完整模型。总之，在我们的完整模型和没有自正则化的模型之间的67.9%的比较中，以及在我们的完整模型和没有多样性的模型之间的61.5%的比较中，用户认为我们的完整模型更真实L3761第1帧第2帧第3帧第4图4.有和没有多样性损失的效果的可视化。第一行显示了由完整模型着色的四个帧，第二行显示了由模型生成的四个帧，没有多样性。多样性损失有助于我们的模型产生更具时间连贯性和现实性的结果。戴维斯·维德沃方法LPIPSPSNRLILPSPSNR输入0.22723.800.22825.30Zhang等人[32个]0.21829.250.20129.52Iizuka等人[12个]0.18929.910.19030.23Zhang等人+ BTC [15]0.24329.070.24929.04Iizuka等人+ BTC [15]0.21829.250.24128.90我们0.19130.350.19430.50视频1视频2图5.有和没有自正则化的效果的可视化自正则化可以帮助保持全局颜色一致性。定性结果。图4和图5显示了我们的完整模型和没有自正则化或多样性的消融模型的结果。在图6和图7中，我们显示了通过我们的方法和先前的工作着色的结果视频。我们的方法产生更多的时间一致性和更现实的彩色视频比国家的最先进的方法做。图像相似性度量。 我们可以使用图像相似性度量作为代理来测量彩色视频和地面实况视频之间的相似性表3总结了图像相似性度量的结果。请注意，这些指标并不直接反映彩色视频的真实度例如，汽车可以被着色为蓝色或红色。这两种颜色都是合理的选择，但选择与地面实况视频不同的颜色可能会导致这些图像相似性度量的巨大错误。表3.两个图像相似性度量的结果，PSNR和LPIPS [33]。盲时间一致性（BTC）并没有改善这些度量的结果。图像相似性度量不能准确地衡量彩色视频的真实感和时间连贯性。8. 讨论我们已经提出了我们的全自动视频彩色化模型与自正则化和多样性。我们的彩色视频在双边空间和时间空间中都保持了全局颜色一致性。通过利用多样性损失，我们的模型能够生成一组不同的彩色视频，区分解决方案空间中的不同模式。我们还发现，我们的多样性损失稳定的培训和过程。我们的工作是一种尝试，以改善全自动视频彩色化，但结果仍然远远不够完美。我们希望我们的自正则化和多样性的想法可以激发更多的未来工作，在全自动视频着色和其他视频处理任务。没有自我约束。没有多样化自我注册与多样性3762第1帧第2帧第3帧第4帧第5图6.DAVIS数据集上的定性结果[24]。这里IZK指的是Iizuka et al.[12]，CIC是指彩色图像彩色化方法[32]，BTC是指盲时间一致性方法[15]。更多的结果显示在补充。第1帧第2帧第3帧第4帧第5图7. Videvo数据集上的定性结果[2]。这里IZK指的是Iizuka et al.[12]，CIC是指彩色图像彩色化方法[32]，BTC是指盲时间一致性方法[15]。更多的结果显示在补充。我们CICCIC+BTCIZK+BTCIZK我们CIC+BTCCICIZK+BTCIZK3763引用[1] 全球票房最高电影（经通胀调整）吉尼斯 世界纪录。http://www.guinnessworldrecords.com/world-records/highest-box-office-film-gross-inflation-adjusted.1[2] 维德沃https：//www.vide v o.net/. 六、八[3] G. Charpiat，M. Hofmann和B. Sch oülk opf. 通过多模态预测的自动图像着色ECCV，2008年。2[4] Q. Chen，中国粘蝇D.Li和C.唐KNN席子。 IEEE Trans.模式分析马赫内特尔，35（9），2013. 4[5] X. Chen，中国粘蝇D.邹角，澳-地Zhao和P. Tan.流形保持编辑传播。ACM事务处理图表，31（6），2012. 2[6] Z.成角，澳-地Yang和B.盛 深着色。 在ICCV，2015年。 第1、3条[7] A. Y. S. Chia，S.卓河K. Gupta，Y.泰山，西-地Cho，P.Tan，and S.是林书互联网图像的语义着色ACM事务处理图表，30（6），2011. 2[8] J. Deng，W.东河，巴西-地索赫尔湖Li，K. Li和F.李Ima-genet：一个大规模的分层图像数据库。CVPR，2009。6[9] A.德什潘德卢，M.是的，M。J. Chong和D. A.福赛斯学习多样化的图像着色。在CVPR，2017年。3[10] R. K. 古普塔A。Y. S. Chia，D.Rajan，E.S. Ng和Z.煌使用相似图像的图像着色。2012年第20届ACM多媒体会议论文集。2[11] M. He，D. Chen，J. Liao，P. V.Sander和L.元基于深度样本的着色。ACM事务处理图表，37（4），2018. 3[12] S. Iizuka、E. Simo-Serra和H.石川让我们有颜色！：联合端到端学习全局和局部图像先验知识，用于自动图像着色和同时分类。ACM事务处理图表，35（4），2016.二三六七八[13] R. Ironi，D. Cohen-Or和D. Lischinski以色彩为例。2005年，欧洲图形学研讨会关于渲染技术的论文集。2[14] 詹帕尼河Gadde和P. V. Gehler视频传播网络。在IEEE计算机视觉和模式识别（CVPR）会议上，2017。3[15] W.- S. 赖 ， J. - B. Huang 、 O. Wang ， 中 国 山 核桃 E.Shechtman，E. Yumer和MH. 杨学习盲视频时间一致性。在ECCV，2018。一、三、六、七、八[16] G. Larsson，M. Maire和G.沙赫纳洛维奇学习自动着色的表示。在ECCV，2016年。 第1、3条[17] G. Larsson，M. Maire和G.沙赫纳洛维奇着色作为视觉理解的代理任务。在CVPR，2017年。1[18] A. Levin，D. Lischinski和Y.韦斯使用最佳化着色。ACM事务处理图表，23（3），2004. 一、二[19] Z. 李角Chen和V.科尔顿。具有潜在多样性的交互式图像在CVPR，2018年。二三四五六[20] S. Liu，G.Zhong，S.D. Mello，J.顾，M.Yang和J.考茨可切换时间传播网络。在ECCV，2018。3[21] X.柳湖，加-地万，Y。Qu，T.黄，S.林角，澳-地梁先生及P. Heng。内在的彩色化。ACM事务处理图表，27（5），2008. 2[22] Q. Luan、F. Wen，D. 科恩奥尔湖 Liang，Y. xu和H.沈自然的图像着色。2007年，欧洲图形学研讨会上的渲染技术2[23]S. 我是VCornille` re，A.杰卢阿角Schroers和M.H.恶心深度视频色彩传播。在BMVC，2018年。第1、3条[24] F. Perazzi，J. Pont-Tuset，L. McWilliams，B.和Van Gool，M.恶心，A。索金-霍恩视频对象分割的基准数据集和评估方法。在CVPR，2016年。六、八[25] Y. Qu，T. Wong，和P.衡漫画着色。ACM事务处理图表，25（3），2006. 一、二[26] O.龙内贝格山口Fischer和T.布洛克斯U-net：用于生物医学图像分割的卷积网络在MIC-CAI，2015. 5[27] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。2015年，国际会议。5[28] D. 太阳，X.杨，M.Y. Liu和J.考茨PWC-Net：使用金字塔，扭曲和成本体积的光流在CVPR，2018年。6[29]C. Vondrick，A.什里瓦斯塔瓦A.Fathi，S.Guadarrama和K. 墨菲通过对视频进行着色来实现跟踪。在ECCV，2018年。第1、3条[30] T. 威尔士湾Ashikhmin和K.穆勒将颜色转换为灰度图像。ACM事务处理图表，21（3），2002. 2[31] L. Yatziv和G.萨皮罗使用色度混合的快速图像和视频彩色化。 IEEE Trans. 图像处理，15（5），2006年。二、三[32] R. Zhang，P.Isola和A.A. 埃夫罗斯彩色图像着色。在ECCV，2016年。一二三六七八[33] R. Zhang，P.Isola，A.A. Efros、E.Shechtman和O.王. 深度特征作为感知度量的不合理有效性2018. 二、七[34] R. Zhang，J. Zhu，P.伊索拉岛X. Geng，中国茶条A. S.Lin，T. Yu和A. A.埃夫罗斯实时用户引导的图像彩色化与学习的深度先验。ACM事务处理图表，36（4），2017. 2
