数字插图生成高品质漫画的数据驱动框架及用户研究

5642通过模仿漫画创作工作流程张绿敏苏州大学/Style 2 Paints Research中国lvminzhang@acm.org王新瑞东京大学/腾讯中国秘密wang@outlook.com美国斯坦福fqnchina@gmail.com苏州一智大学中国jiyi@suda.edu.cn苏州大学中国cpliu@suda.edu.cn摘要我们提出了一个框架，从数字插图生成漫画。在专业的漫画工作室，漫画创作流程包括三个关键步骤：（1）艺术家使用线条画描绘漫画故事板的结构轮廓（2）艺术家应用几种类型的常规屏幕色调来渲染阴影、遮挡和对象材质。(3)艺术家有选择地将不规则的屏幕纹理粘贴到画布上，以实现各种背景布局或特殊效果。受此工作流程的启发，我们提出了一个数据驱动的框架，将数字插图转换为三个相应的组件：漫画线条画，规则的屏幕色调和不规则的屏幕纹理。这些组件可以直接组成漫画图像，并可以进一步修改更丰富的漫画创作。为此，我们创建了一个大规模的数据集，由艺术家以人在回路的方式注释这三个我们对生成的漫画进行感知用户研究和定性评估，并观察到我们为这三个组件生成的我们提供了60个定性结果和15个额外的比较，在临床材料。我们将公开提供我们的漫画数据集，以帮助相关应用程序。1. 介绍从插图生成漫画（图1-左）是一项重要的任务，需求量很大。漫画市场的扩大和漫画艺术家的稀缺使得许多漫画公司招募了大量的数字绘画或插图艺术家，并将他们培养为漫画创作者。培训艺术家掌握独特的漫画工作流程，例如，上墨策略，屏幕管理，纹理应用，图1.我们的框架自动生成正确的高品质漫画给定的左图.放大以查看详细信息。等等，这在经济上是昂贵的，并且通常需要数周甚至数月。为了减少这种培训成本并加快制作速度，许多漫画公司开始采用从插图和数字绘画等通用艺术形式生成漫画的技术，这样可以节省培训艺术家的成本，并且新雇用的数字插图艺术家可以免于学习额外的技能，可以直接在他们熟悉的数字插图工作环境中创作漫画。软件剪辑工作室绘画（CSP）[6]和Adobe AfterEffects（AE）[1]是典型的例子，有许多插件和在线教程[10，11，7，9，8]用于编辑插图以手动获得漫画这些教程和插件的广泛流行验证了从插图生成漫画问题的重要性。本文从一个关键的观察开始：漫画独特的视觉外观来自于独特的漫画创作流程。如图2、我们验证这一观察5643图2.我们的动机理由：经典的专业漫画创作工作流程。艺术家首先用墨水画出结构线，然后使用规则的屏幕色调和不规则的屏幕纹理来获得最终的漫画。通过研究专业工作室的漫画创作流程。首先，艺术家画线作为漫画故事板的初始轮廓，艺术家描绘了图2-（a）中女孩肖像的线条结构。其次，艺术家将具有不同规则图案的丝网印刷纸粘贴到线条之间的区域，图中的头发、眼睛和2-（b）与这种screentone片粘贴第三，艺术家用不规则的屏幕纹理填充画布，以实现背景布局或特殊效果，例如，艺术家运用浪漫的背景屏幕纹理来衬托图2-（c）中女孩角色的情绪。我们可以看到，这三个步骤是充分和必要的，以确定一个漫画形象的外观，每一个步骤都是不可或缺的准备高品质的漫画产品。我们是否能够实现一个程序，可以模仿上述工作流程，生产漫画图像与相似的外观，以艺术家创造的手工与此工作流程，并在同一时间，产生独立可用的结果层，可以帮助艺术家在这个工作流程的每一步？为了实现这些目标，我们提出了一种深度学习方法来逐步模仿漫画创作工作流程。首先，给定一个输入插图，我们的框架估计一个线绘制地图，它起着类似的作用，由艺术家手工绘制的线其次，我们的框架分割输入图像到一个固定数量的screentone类，并粘贴相应的定期屏幕色调表到每个类的图像区域第三，我们的框架预测一个纹理掩模，以确定需要粘贴屏幕纹理的区域，然后在确定的区域中合成不规则的纹理通过这种方式，我们的框架自动生成线条画，常规屏幕色调和屏幕纹理。这些组件可以由艺术家独立使用以进行进一步创作，也可以直接合成到漫画输出中。为此，我们邀请艺术家对大规模数据集进行注释，并以数据驱动的方式学习分层神经网络。我们的数据集包含1502个图像注释对{插图图像，线条画注释，常规屏幕色调分割注释和不规则屏幕纹理掩模注释}。所有注释都是通过人在回路的方法实现的，并由多个艺术家进行质量保证检查。我们将公开此数据集，以帮助相关应用程序。实验表明，模仿漫画创作工作流程产生几个优点。首先，在定性分析中，我们的框架不仅可以产生单一的漫画图像，但独立的图像层在每个工作流程的步骤，以协助艺术家。然后，在感知用户研究中，我们的框架倾向于学习在我们呈现的数据集中记录的每个工作流程步骤的艺术家决策，使我们的框架受到艺术家的青睐，因为漫画创作在很大程度上取决于内容语义甚至艺术家的选择。此外，我们在补充材料中提供了60个定性结果和15个额外的比较。概括而言，我们的贡献是：（1）我们提出了一个数据驱动的框架，通过模仿专业漫画创作流程，包括线条画墨迹，定期screentone粘贴和不规则屏幕纹理粘贴的步骤，从插图生成漫画（2）提出了一个大规模的插图和注释对的艺术数据集，以方便从插图生成漫画的问题，并辅助相关应用。（3）感知用户研究和定性评估表明，我们的框架是更可取的艺术家相比，其他可能的替代品。2. 相关工作Screentone和漫画处理。漫画的网版或半色调纹理的合成是一个独特的问题，有相当大的需求。半色调利用人类视觉的空间整合来近似具有黑白像素的小局部区域上的强度[24，16，44，21]。基于路径的方法[45，32]试图通过调整图像上的扫描路径来减少伪影模式。Knuth等人[24]第24话，我的好朋友5644图3.我们的框架概述给定一个输入插图，我们的框架分别估计线条画，定期screentone分割，和不规则的屏幕纹理掩模。这些组件被组合以产生最终的漫画结果。所有卷积层都使用3 ×3px内核，并通过批量归一化（BN）和ReLU激活进行处理。切割步骤以保留边缘。后来，布坎南等人。[3]通过优化结构相似性来保留精细结构感知方法[51，52，34，36]将像素或区域亮度映射到屏幕色调模式，以实现感知上可区分的突出屏幕色调结构。基于学习的方法Lietal. [26]训练神经网络以端到端的方式预测草图纹理。Variational-auto-encoder screentone filler [53]将筛选后的漫画映射到中间域。阴影是另一种半色调效果的技术。Winkenbach等人[50]通过渲染具有优先级笔划纹理的几何场景来合成钢笔和墨水插图。我们的框架不仅关注于屏幕色调的合成，而且还与漫画创作的实际工作流程相结合，包括线条画墨水，屏幕色调合成和纹理混合的步骤。卡通和数字绘画技术。卡通图像处理和计算数字绘画在过去的几十年里得到了广泛的研究。漫画结构提取[25]，卡通墨迹[40，38，39]和线闭合[29，31]方法分析卡通和数字绘画中的线条。基于区域的合成方法可以用于卡通图像动画[41]。风格化方法[5，48，54，56，55]从照片或人像中生成卡通图像或艺术绘画。线绘制颜色填充应用程序[58，43，42]使用基于优化或基于学习的方法对草图或线条图进行着色我们的方法生成漫画插图和数字绘画，并可以用于漫画产品和相关的卡通或数字绘画应用程序。图像到图像的翻译和风格化。从插图生成漫画的任务也可以被视为图像到图像的翻译或图像风格化问题。例如，成对的图像到图像转换[20，47，4]和非配对方法[59，22，2，57，14，30]。这些方法可以跨类别转换图像，从地图到天线，从边缘到猫，在我们的例子中，从地图到漫画。神经风格转移[17，19，27]可以通过将低级风格特征转移到内容图像来对图像进行风格化我们的实验包括这些方法的典型候选人，分析我们的定制框架和这些通用方法之间的差异3. 方法我们给出了我们的框架的概述，如图3所示，其中输入是插图X∈Rw×h×c（图3）。3-左），而输出是漫画图像Y ∈Rw×h（图。3-右），其中w、h、c是图像宽度，高度和通道数量。我们训练卷积神经网络（CNN）来模拟专业漫画创作工作流程，包括以下三个步骤：首先，为了模仿漫画故事板中艺术家用线条画描绘结构轮廓的行为（图12-（a）），我们的框架估计一个线绘制地图L∈Rw×h（图3-（a））。从成千上万的人身上学到了年龄，我们的神经网络墨水突出的结构线，抑制不需要的成分，如噪声和阴影干扰。其次，为了模仿艺术家粘贴常规屏幕色调来描绘漫画阴影和对象材料的行为（图2-（b）），我们的框架估计了全景分割图，即常规屏幕色调分割图S∈Rw×h×N（图3-（b）），其中N表示数目screentone类。这样的分割产生了一组重新-gion标签，并且每个标签指示应粘贴到每个区域的一种类型的screentone。我们的框架，56452ω（p）根据这样的区域标签粘贴屏幕色调第三，为了模仿艺术家粘贴不规则屏幕纹理以实现背景布局或特殊效果的行为（图1）。2-（c）），我们的框架估计一个不规则的te xture mas kM∈Rw×h（图1）。（3）（c）确定区域应该覆盖着不规则的纹理，然后为那些识别的区域合成漫画纹理。最后，输出漫画图像Y可以由以下组成：Y=Ltone（S）tex（M，X），（1）其 中 ， x 是 Hadamard 乘 积 ， xtone （ · ） 是 根 据givenscreentonesegmentationSx粘贴screentone片材的色调变换（在§ 3.2中描述），并且xtonex（·，·）是合成如下内容的纹理变换（在§3.3中描述）：图中给出了图掩模M和图X。为了训练这个框架，我们邀请艺术家来标注一个包含1502对{插图X，线条画映射L，规则的screentone分割映射S和不规则的纹理掩码M}的数据集。这些数据以人在回路的方式进行注释，即，艺术家创建注释让我们的框架学习，我们的框架估计粗糙的注释，让艺术家细化。注释方法详见§4。3.1. 墨线画在现实生活中创作漫画时，艺术家们用墨水画出漫画故事板中的对象结构。我们的框架工作估计了一条线，一个机翼地图L，以模仿这种艺术家的行为。给定地面实况线图L和估计L_i，我们定制一个lik_ink，其中图4.正在粘贴普通屏幕。(a)现实生活中的screentone表的例子。(b)标准的漫画屏幕色调和相应的标签颜色。(c)示例说明。(d)由艺术家手动注释的Screentone分割图。(e)根据分割粘贴屏幕。和物体材料。一个广泛使用的商业screentone标准图4-（a））包括8种类型的漫画屏幕通页（图4-（b））。基 于 这 个 标 准 ， 我 们 的框 架 估 计 了一 个 screentonesegmentationm a pS（图1）。4-（d）），其中8个类别对应于这8种类型的屏幕色调。与估计的logitsS和地面真值标签S，我们测量可能性LLink= - 是的Σ||Lp−Lp||2+λi||φ（L<$）p−φ（L）p||2、（二）Softmax Cross Entropy（交叉熵）[49]seg2 2pL=−log（（S）<$S），（4）其中p是pi × el位置，||·||2是Eucl i dean距离，λi是加权参数r。运算符φ（·）是一个高通segp我p p i我们观察到线条绘图中的线条图案通常在像素强度上具有稀疏和离散的高振幅/频率过渡，并且我们调整变换φ（·）以识别比其周围“更暗”的这种线条图案。低频域，.其中，p（·）是Softmax[49]操作，p是pixel位置，并且i是类信道索引。我们进一步观察艺术家如何粘贴Screentone表，并发现艺术家习惯于以区域方式而不是像素方式粘贴Screentone，即，艺术家逐区域地粘贴屏幕一个工作表，而不是为每个单独的像素粘贴独立的工作表。 为了实现这种区域一致性，我们使用φ（L）=||二、||2,IfLpg（L）p;（三）Felzenszwalb [15]超像素算法分割p0，其他，将图像X输入到一组过分割区域中{ω1. n}，并且惩罚区域式变化Lvar，其中其中g（·）是sigma为3的高斯滤波器。0的情况。与此同时，变换，似然Link不仅描述了估计Link与地面真值L的接近程度，由变换φ（·）引导的线。Lvar=||Sˆp−Sˆp||2,(5)3.2. 粘贴常规屏幕色调漫画艺术家将有规律的剪贴板粘贴到画布上，以呈现阴影，遮挡，其中，ω（p）是像素p所属的Ω中的超像素区域，并且是S_∞在ω（p）区域内的平均值。通过鼓励区域的一致性，这种惩罚模仿了艺术家的行为，ω（p）5646222图5.粘贴不规则的屏幕纹理。（a）举例说明。(b)由艺术家手动注释的屏幕纹理遮罩。(c-h)不同类型的半色调变换。“屏幕同页粘贴。然后，我们的框架根据分段S_n，用色调变换函数（·）粘贴屏幕色调，Σtone（S我其中Ti∈Rw×h是通过平铺图4-（b）中的第i个屏幕块计算的屏幕图像我们在图1中给出了一个变换的例子。4-（e），其中screentone分割（图。4-（d））转换为图中的屏幕一标签对应关系。4-（b）.3.3. 粘贴不规则屏幕纹理屏幕纹理粘贴是漫画创作流程中不可或缺的一步这样的屏幕纹理具有不规则的图案，并且可以用于背景布局或特殊效果等场景中。 我们的框架通过估计一个纹理掩模M来识别需要粘贴屏幕纹理的区域（图1）。5-（b））。我们将最小化Lmask介于估计值M和地面真实值M之间其中o（p）是以像素位置p为中心的3 × 3窗口，δ（ · ） 是 各 向 异 性 项 δ （ X ） ij=e×p （ -||Xi−Xj||2/κ2），并且κ是各向异性权重。当o（p）位于具有均匀像素强度的连续和单调区域时，项δ（X）ij增大当o（p）遇到突出的轮廓时，边缘. 在Wards之后，给出估计的掩码M，我们的帧-工 作 合 成 漫 画 纹 理 在 掩 蔽 的 地 区 与 一 个 texturetransformx（·，·）作为Σtex（M，X）p=（X）p<$Mp，（9）p其中，X（·）是用于合成纹理的半色调变换。我们的框架工作都使用了从许多流行的半色调合成算法中选择的变换矩阵（·）[24，16，44，21，45，32]如图5-（c-h）所示，我们默认使用点变换[44]（图5-（h））。3.4. 神经结构和学习目标我们的神经网络架构由三个卷积解码器组成：墨水解码器，段解码器和掩码解码器（图3）。我们将BatchNormalization [18]和ReLU激活[33]应用于每个卷积层。采样层具有U形网[37]风格的跳过连接这三个解码器与损失项L联合训练与L=λ1L ink+λ 2L seg+λ 3L mask+λ varL var+λ aniL ani、（十）其中λ1…3、λvar、λani为加权参数。鉴于该架构是完全卷积的，该模型适用于具有可调分辨率的图像4. 数据集我们的数据集包含1502对1024 px分辨率的{插图X，线条图L，规则的屏幕分割图S和不规则的纹理掩模M}我们在补充材料中提供了示例我们邀请5位艺术家为数据集添加注释。数据准备从一个相对较小的56个插图和线条图与L掩码= Σ||第二条第七款||2,(7)p通过搜索关键词Pixiv中的“线绘制”[35]。艺术家将这56幅线条画对齐并修饰成可用的注释。接下来，艺术家们使用其中p是像素位置。此外，我们观察艺术家如何粘贴屏幕纹理，发现艺术家倾向于在连续和单调的区域粘贴相同的纹理，例如，大背景、全屏效果、大字体等。为了实现这些地区的空间一致性，我们引入了一个各向异性罚函数商业分割注释工具[28]和使用Adobe Photoshop“快速选择”工具的56个纹理蒙版我们在这些初始数据上训练我们的框架20个时期，并估计Danbooru中1446个高质量插图的粗略注释[12]。艺术家将这些粗略的估计提炼成最终的注释。我们将100个改进视为一个循环。当ΣΣLani=- 是的Σδ（X）ij||Mi−Mj||2，（8）每个循环完成后，我们在新的50个时期的数据和20个时期的所有新旧数据，pi∈o（p）j∈o（p）然后重新估计剩余的粗略注释5647输入线绘制屏幕一个屏幕一个屏幕纹理屏幕纹理输出说明十L型分割S型电子（S）面具Mnex（M，X）mg aY图6.定性结果。我们显示生成的漫画图像层。补充材料中提供了60个额外结果方法李2019 [26]Qu 2008 [36]CSP 2020 [6][53]第五十三话AHR ↓ 3.11 ±0.53 4.66± 0.312.66±0.374.11± 0.291.33 ±0.24表1.平均人类排名（AHR）的漫画图像产生的不同方法。箭头（↓）表示越低越好。前1（或2）分用蓝色（或红色）标记。方法Li 2019 [26]Qu 2008 [36]CSP 2020 [6][53]第五十三话AMTFR↑ 9.52% 1.16%11.52%5.06%24.54%表2. Amazon Mechanical Turk Fooling Rate（AMTFR）对生成的漫画图像的影响。这个指标反映了生成的漫画图像与真实图像的不可区分程度 前1（或2）分用蓝色（或红色）标记。越高（↑）越好。不精致的插图同时，邀请所有5位艺术家检查该循环中的注释质量艺术家被允许删除任何注释时，他们发现低质量的。当每个注释的质量得到至少三位艺术家的保证时，此人工参与的注释工作流结束5. 评价5.1. 实验环境比较方法。我们测试了几种典型的漫画生成方法：（1）传统的基于优化的漫画screentone方法Qu等人。2008年[36]，（2）商业漫画软件CSP 2020 [6];（3）基于学习的风格化框架Liet al.2019 [26]， （4 ） 谢等 人的 最新 漫画 效 果ScreenVAE。2020年[53]，(5)Pix2Pix [20]，以及（6）我们的框架。实施细节。 我们的框架使用Adam优化器[23]进行训练，学习率为lr=105，β=0。5，批量大小为16，以及100个epoch。训练样本被随机裁剪为224×224像素，随机左右翻转增强。此外，我们认为，Qu [36]支持任意的screentone类型，我们将其设置为与我们使用相同的screentone。CSP [6]支持绝大多数具有商业标准的屏幕色调，我们在他们的界面中选择与我们相同的屏幕色调。Li [26]，Xie [53]和Pix2Pix [20]是基于学习的方法，具有官方实现，我们在与我们的数据集组成的漫画对上训练它们超参数我们使用框架的默认（和推荐）配置：λ i= 0 。 5 ， κ =0 。 1 ，λ1=1 。 0 ，λ2=1 。 0 ，λ3=1。0，λvar=0。1和λani= 0。1.一、测试样本。测试的图像是Pixiv [35]和Danbooru [12]插图在不同的实验中随机抽样。我们确保所有测试的图像在训练数据集中都是5.2. 感知用户研究用户研究涉及15个个体，其中10个个体是非艺术家学生，另外5个个体是专业人员5648[6] Qu 2008 [36] Pix2Pix [20] Li 2019 [26] Xie 2020 [53] Ours图7.与可能的替代方法的比较补充材料中提供了15个额外的全分辨率比较艺术家每个艺术家至少有三个月的漫画创作经验。我们在Danbooru [12]中随机抽取了150个看不见的插图，然后使用所涉及的5种方法（[53，36，26，6]和我们的方法）生成150个结果组，每组包含5种方法的5个结果请参与者对每组的结果进行排名。当对每个组中的结果进行排名时，我们会向用户提出以下问题：– “Which of the following results do you prefer most to请根据您的喜好我们使用平均人类排名（AHR）作为测试指标。对于150个组中的每个组，一个随机用户将当前组中的5个结果从1到5进行排名（越低越好）。然后，我们计算每种方法获得的平均排名。该用户研究的结果报告在表1中。我们有几个有趣的发现：（1）我们的框架比第二好的方法性能好1。33/5。(2)商业软件CSP 2020 [6]报告了第二好的分数。（3）两种基于学习的方法[26，53]报告了相似的感知质量，[53]略有比[26]更好。(4)Qu 2008 [36]报告了一个相对较低的用户偏好，可能是由于其在分割屏幕区域时的硬阈值。我们还使用亚马逊机械土耳其人愚弄率（AMTFR）进行了用户研究。土耳其工人首先在VIZ-manga网站上观看几部真正的漫画，然后用所有测试过的工具玩15分钟，以熟悉“真/假”漫画的外观。我们随机打乱150个假漫画图像（由第5.2节中描述的5种测试方法）和另外150张从真实VIZ漫画中裁剪的我们后来问土耳其的工作人员来判断每个图像是否是真正的漫画。工作人员的错误率（愚弄率）反映了生成的漫画与真实漫画产品的区别。结果见表2。我们可以看到，我们的框架报告了最高的愚弄率，是第二好方法的两倍这是因为我们的框架模仿真实的漫画创作工作流程来模拟艺术家手动创作的漫画。5.3. 定性结果我们在图6中给出了分解的定性结果，在补充材料中给出了60个额外的结果我们可以看到，我们的框架不仅产生令人满意的漫画结果，而且还产生独立的图像层的线条画，screentone和屏幕纹理。这些层5649(a)插图（b）不含油墨（c）不含片段（d）W/o掩蔽（e）W/oφ（·） （f）W/oLvar（g）W/oLani（h）Ours图8.烧蚀研究。我们通过逐个删除组件来研究框架中每个组件的影响在漫画家的日常作品中几乎可以使用。5.4. 视觉比较我们在图7中与以前的方法[26，36，6，53，20]进行了比较，并在补充材料中进行了15次额外的比较。我们还提供灰度图像供参考。 我们可以看到CSP 2020[6]和Qu etal. 2008 [36]只能将区域或像素强度映射到屏幕点。Li等2019 [26]导致边界/细节失真，例如，女孩的眼睛。Xie等2020 [53]和Pix 2 Pix [20]遭受严重的模糊/光晕伪影（当放大时），例如，蛋糕装饰我们的框架模仿艺术家的工作流程，并产生尖锐和干净的漫画产品。5.5. 烧蚀研究如图8所示，消融研究包括以下实验。（1）我们删除了墨迹解码器，并在没有线条绘制地图的情况下训练我们的框架。我们可以看到，删除线绘制失败，我们的框架在概述对象结构（图。8-（b））。（2）如果在没有屏幕色调分割的情况下进行训练（去除了片段解码器），则框架无法模仿艺术家逐区域屏幕色调粘贴的行为，从而产生屏幕色调失真（图2）。8-（c））。（3）如果在没有屏幕纹理掩码的情况下训练（去除掩码解码器），框架无法捕获适当的纹理，导致沉闷和有缺陷的色调过渡（图2）。8-（d））。（4）如曾接受以下训练在 线 图 案 惩 罚 φ （ · ） 之 外 ， 线 变 得 模 糊 （ 图 8-（e））。(5)如果在没有区域变化惩罚Lvar的情况下进行训练，则框架会遭受screentone类型的不一致性（图2）。8-（f））。（6）如果在没有各向异性惩罚L_ani的情况下进行训练，则纹理区域变得不受控制并且有噪声（图8-（g））。(7)完整的框架会抑制这些类型的文物，并取得了令人满意的平衡，线条画，screentone，和屏幕纹理（图。8-（h））。5.6. 超参数弱区域变化惩罚（Lvar=0. 01）导致相邻区域上的色调不一致，而太强的惩罚（Lvar= 1. 0）导致纹理消失。此外，弱各向异性惩罚（Lani= 0. 01）导致纹理失真，而太强的惩罚（L_ani= 1. 0）导致详细成分的对比度低。另见补充例子。6. 结论我们提出了一个框架来生成漫画插图，通过模仿漫画创作的工作流程，包括线条画墨水，定期screentone粘贴，不规则的屏幕纹理粘贴的步骤。我们邀请艺术家们对一个大规模的数据集进行标注来训练神经网络，这个数据集将是公开的。定量和定性的实验阐述了用户更喜欢我们的分层漫画产品相比，可能的替代品。7. 确认该技术由Style2Paints Research提供。本文的研究得到 了 国 家 自 然 科 学 基 金 项 目 （ 编 号 ： 61972059 、61773272、61602332），江苏省高等学校自然科学基金项目（编号：19KJA230001），吉林大学符号计算与知 识 工 程 教 育 部 重 点 实 验 室 （ 编 号 ：93K172016K08），江苏省高等学校重点学科建设项目（PAPD）的资助我们感谢陆倩文对技术优点和局限性的有益讨论。5650引用[1] Adobe。Adobe After Effects Adobe，2020年。[2] Konstantinos Bousmalis ， Nathan Silberman ， DavidDohan，Dumitru Erhan，and Dilip Krishnan.生成对抗网络的无监督像素级域自适应CVPR，2017年。[3] J. W. Buchanan，Verevka和O.边缘补偿，空间填充曲线半色调。在Proceedings of Graphics Interface 95，7582中。ACM，1995年。[4] Qifeng Chen和Vladlen Koltun。用级联细化网络进行摄影图像合成。在ICCV，2017年。[5] 杨晨，赖玉坤，刘永进。CartoonGAN：用于照片卡通化的生成对抗网络。2018年IEEE/CVF计算机视觉和模式识别会议。IEEE，2018年6月。[6] 剪辑工作室。剪辑工作室油漆。剪辑工作室，2020年。[7] 剪 辑 工 作 室 。 完 整 的 剪 辑 工 作 室 油 漆 屏 幕 教 程 。https://doncorgi.com/blog/clip-studio-paint-screentone-tutorial/，2020.[8] 夹studio.CSP：转折你艺术成屏幕色调。https://digiartstuff.wordpress.com/2019/04/18/csp- turning-your-art-into-screentone/，2020.[9] 剪辑工作室。使用图层属性制作漫画背景https://tips.clip-studio.com/en-us/articles/1164，2020年。[10] 剪辑工作室。把彩色插图变成黑白漫画。https://tips.clip-studio.com/en-us/articles/1339，2020年。[11] 剪辑工作室漫画材料。转换图像为漫画风格的照片lt转换的背景bacics。https：materials.net/en/2dlt b/，2020.[12] 丹博鲁社区。Danbooru2017：一个大规模的众包和标记的动漫插图数据集，2018年。[13] 删除。删除官方购物网站。http：mangashop.com/，2020年。[14] 杰夫·唐纳休菲利普·凯布尔和特雷弗·达雷尔对抗性特征学习。ICLR，2017年。[15] 佩德罗·FFelzenszwalb和Daniel P.Huttenlocher 高效的基于图的图像分割。IJCV，2004年。[16] R. W. Floyd，Steinberg，and L.一种空间灰度自适应算法SID国际研讨会技术论文摘要，信息显示学会，3637。ACM，1974年。[17] 莱昂·A. Gatys，Alexander S. Ecker，and Matthias Bethge使用卷积神经网络进行图像风格转换。在CVPR中，第2414-2423页[18] 何开明，张翔宇，任少卿，孙健。用于图像识别的深度残差学习。2016年IEEE计算机视觉与模式识别会议（CVPR）。IEEE，2016年6月。[19] Mingming He，Jing Liao，Lu Yuan，and Pedro V Sander.图像之间的神经颜色传递。ArXiv，2017年。[20] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros. 使用条 件对抗网 络进行图 像到图像的 翻译。CVPR，2017年。[21] J. F. 贾维斯角N. JUDICE、NINKE和W.H. 在二电平显示器上显示连续色调图象的技术综述。计算机图形图像处理5，1，1976年。[22] Taeksoo Kim，Moonsu Cha，Hyunsoo Kim，Jung KwonLee，and Jiwon Kim.学习用生成对抗网络发现跨域关系。ICML，2017.[23] 迪德里克·P·金马和吉米·巴。Adam：随机最佳化的方法。计算机科学，2014年。[24] D. E. 克 努斯 。用 点扩 散法 制作 数字 半色 调。ACMTransactions on Graphics 6，4，1987。[25] Chengze Li，Xueting Liu，Tien-Tsin Wong.漫画结构线的 深 度 提 取 。 ACM Transactions on Graphics ， 36（4），2017。[26] Yijun Li ， Chen Fang ， Aaron Hertzmann ， EliShechtman，and Ming-Hsuan Yang.Im2pencil：可控的铅笔插图从照片。在IEEE计算机视觉和模式识别上，2019年。[27] Jing Liao，Yuan Yao，Lu Yuan，Gang Hua，and SingBing Kang.通过深层图像类比进行视觉属性转移。ACMTransactions on Graphics，36（4）：1[28] lionbridge。Lionbridge数据注释 平台https://lionbridge.ai/data-annotation-platform，2020年。[29] Chenxi Liu，Enrique Rosales，and Alla Sheffer. 笔画合成器：将原始草图合并为艺术家想要的曲线图。ACMTransactions on Graphics，2018。[30] Ming-Yu Liu，Thomas Breuel，and Jan Kautz.无监督图像到图像翻译网络。NIPS，2017年。[31] Xueting Liu，Tien-Tsin Wong，and Pheng-Ann Heng.封闭感知草图简化。ACM Transactions on Graphics，34（6）：168：1[32] A. NAIMAN，，LAM，and D.误差扩散：波前遍历和对比度考虑。在Proceedings of Graphics Interface 96，7886中。ACM，1996年。[33] Vinod Nair和Geoffrey E.辛顿修正线性单元改进受限玻尔兹曼机。ICML，第807- 814页[34] Wai-Man Pang ， Yingge Qu ， Tien-Tsin Wong ， DanielCohen- Or，and Pheng-Ann Heng.结构感知半色调。ACMTransactions on Graphics（SIGGRAPH 2008 issue），27（3）：89：1[35] pixiv.net. pixiv. pixiv，2007年。[36] Qu Yingge ， Wai-Man Pang ， Tien-Tsin Wong ， andPheng-Ann Heng.财富保存漫画放映。ACM Transactionson Graphics（SIGGRAPH Asia 2008 issue），27（5）：155：1[37] Olaf Ronneberger，Philipp Fischer，and Thomas Brox.U-net：用于生物医学图像分割的卷积网络。MICCAI，2015.[38] EdgarSimo-Serra ， SatoshiIizuka ， andHiroshiIshikawa.Mastering Sketching：结构化预测的对抗性增强。ACM Transactions on Graphics，37（1），2018。[39] Edgar Simo-Serra，Satoshi Iizuka，and Hiroshi Ishikawa.实时数据驱动的交互式草图墨迹。ACM Trans- actionson Graphics，2018。[40] Edgar Simo-Serra，Satoshi Iizuka，Kazuma Sasaki，andHi- roshi Ishikawa.学习去卷积：用于粗略草图的全卷积网 络 。 ACM Transactions on Graphics ， 35 （ 4 ） ，2016。5651[41] DanielSy'kora，JanBuri a'nek，andJ ir'Za'ra. SK蚀刻钙-卡通的例子。在基于草图的界面和建模的欧洲图形研讨会论文集，第275652[42] 丹尼尔·西科拉，约翰·丁利亚纳，史蒂文·柯林斯。懒惰-刷：灵活的绘画工具，手绘卡通。计算机图形论坛，28（2），2009年。[43] 泰山Paintschainer tanpopo. 2016年10月27日[44] R. A.乌利希尼。数字半色调。MIT Press，25（4），1991.[45] L. VELHO、GOMES和J.M. 具有自适应聚类的随机筛选。计算机图形学（SIGGRAPH95会议录），273276，1994。[46] 即视觉漫画。https://www.viz.com/read，2020年。[47] Ting-Chun Wang，Ming-Yu Liu，Jun-Yan Zhu，AndrewTao，Jan Kautz，and Bryan Catanzaro.基于条件gans的高分辨率图像合成与语义处理。CVPR，2018年。[48] Xinrui Wang and Jinze Yu.学习使用白盒卡通表示卡通化。在IEEE/CVF计算机视觉和模式识别会议（CVPR）上，2020年6月。[49] Wikipedia. Softmax函数维基百科，2020年。[50] G. Winkenbach，Salesin，和D. H. 计算机生成的钢笔插图。SIGGRAPH 1994，91100，1994的会议记录。[51] 黄天真自然缺陷的模拟和改进的空间填充曲线半调技术。香港中文大学硕士论文，1994年。[52] 黄天进和徐小琪。具有选择性沉淀和自适应聚类的半色调。Graphics Gems V，1995年。[53] Minshan Xie ， Chengze Li ， Xueting Liu ， Tien-TsinWong.漫画填充风格转换与screentone变分自动编码器。ACM Transactions on Graphics （ SIGGRAPH Asia 2020issue），39（6）：226：1[54] Ran Yi，Yong-Jin Liu，Yu-Kun Lai，and Paul L.松香。AP- DrawingGAN：使用分层GAN从人脸照片中生成艺术肖像画2019年IEEE/CVF计算机视觉与模式识别会议（CVPR）。IEEE，2019年6月。[55] Ran Yi，Yong-Jin Liu，Yu-Kun Lai，and Paul L Rosin.通过非对称循环映射生成不成对的肖像画在IEEE计算机视觉和模式识别会议（CVPR[56] Ran Yi，Mengfei Xia，Yong-Jin Liu，Yu-Kun Lai，andPaul L.松香。使用基于全局和局部结构的GAN从照片中绘制人脸肖像。IEEE Transactions on Pattern Analysisand Machine Intelligence，第1[57] 自立一、张浩、谭平、龚明伦。Dualgan：图像到图像翻译的无监督双重学习。IC