基于示例的动态文本效果转移方法

clips. Using typographies with fantastic dynamic effect-s can markedly enhance the atmosphere of the scene andmake it be more attractive to viewers. However, creatinga dynamic text requires a series of complicated operationswith editing software like Adobe After Effects and typical-ly takes several hours even for skilled designers. Moreover,restructuring different texts with an existing dynamic effectcan be painstaking, as huge amounts of repetitive operationsare involved. It is already a labor-intensive work to gener-ate a dynamic typography with the same effect for 26 lettersin the English alphabet, let alone large-scale font libraries(e.g., Chinese fonts) with huge amounts of characters.To solve the aforementioned problem, we introduce“DynTypo”, a brand-new system that automatically trans-fers various dynamic effects such as burning flame, flowingwater and billowing smoke from the source exemplar to thetarget plain texts. The input to our system includes a sourcetext image, a source stylized video with dynamic effects anda target text image. With DynTypo the target stylized videowith the same dynamic text effects in source can be gen-erated (see Figure 1). Our system allows users to transferan observed instance of dynamic typography to a new textand even non-experts can quickly and easily produce so-phisticated dynamic texts in their own projects. Comparedto LiveType [30], the earliest model to generate dynamic ty-pography via simple shape deformations, this paper has thecompletely different motivation mentioned below.Creating a dynamic typography with the chosen stylefrom an exemplar poses several challenges. First, we useonly a single image of the target text as input to animate and158700DynTypo：基于示例的动态文本效果转移0中国北京大学计算机科学与技术研究所0图1：使用我们的方法可以将示例视频（最左侧）中的动态文本效果转移到目标文本图像（底部）。示例视频：c�Thirdmenson通过YouTube。0摘要本文提出了一种使用基于示例的纹理合成的动态文本效果转移方法。与以前需要目标的输入视频提供运动引导的方法不同，我们的目标是通过从观察到的示例中转移所需的动态效果来为目标文本的静止图像添加动画效果。由于目标引导的简单性和现实效果的复杂性，很容易产生闪烁和脉动等时间伪影。为了解决这个问题，我们的核心思想是找到一个共同的最近邻场（NNF），同时优化所有关键帧之间的纹理一致性。通过用于视频序列的静态NNF，我们将运动属性从源传输到目标。我们还引入了引导NNF搜索，通过使用基于距离的权重图和模拟退火（SA）进行深度方向引导传播，以允许完全转移强烈的动态效果，而无需提供语义引导。实验结果通过与最先进的算法进行广泛比较，证明了我们的方法在动态文本效果转移方面的有效性和优越性。我们还通过多个实验展示了我们的方法在各种应用领域的潜力。01. 引言0*通讯作者。电子邮件：lianzhouhui@pku.edu.cn58710将其进行风格化。与以前的风格化动画作品（例如[6, 19,14]）不同，它们将目标视频或一系列运动场景作为输入，没有流动引导更难以保持时间上的连贯性。其次，与单一设计图像[36,3]相比，实际流体动画的效果模式组合更加复杂。静态和动态效果经常混合在一起，容易产生脉动伪影。第三，原始文本图像中几乎没有包含语义信息，也没有强烈文本效果的指导（例如图1中的火焰效果）。为了解决这些挑战，我们提出了一种新颖的动态文本效果转移方法，以合成具有时间平滑和复杂动态效果的高质量结果。与以前的工作[9, 13,14]通过逐帧方式搜索最近邻场（NNF）来进行目标合成不同，我们同时优化所有关键帧之间的纹理一致性，找到所有时间帧的公共NNF，从而可以轻松计算输出序列的任何帧。通过这种方式，我们隐式地通过静态NNF实现了完美的时间一致性，并同时保持了空间纹理的连续性。关键帧是通过评估粒子运动的强度自动提取的，并用于构建语义相似性项和动态合成过程中的空间-时间一致性项的动态指导。此外，我们引入了基于距离加权图和模拟退火（SA）的引导NNF搜索，以确保可以完全合成复杂的效果。我们的主要贡献如下：0•我们是第一个实现具有复杂动态效果的动态排版的自动生成系统，并通过大量实验证明了我们系统的有效性。0•我们通过利用单个共享的NNF来消除时间上的伪影，如闪烁和脉动，并通过在所有关键帧上进行并行优化来保持空间连续性。0•我们通过集成模拟退火和权重图的思想，实现了引导NNF搜索，通过深度方向引导传播，使复杂的强烈效果在没有语义引导的情况下更充分地传播。02. 相关工作0到目前为止，已经提出了许多技术来合成风格化的动画。纹理对流是一种常用的方法，通过将速度场应用于静态图像来生成动画。这种技术最早由[25]提出，后来由[27]扩展。[8]进行了后续工作0利用光流沿着双向纹理对流法从视频中创建类似水彩画的动画。[37]提出了拉格朗日纹理对流方法，以在遵循速度场的同时保留局部属性生成动画纹理。然而，这种方法在长时间序列中很容易出现纹理失真，并且需要通过新的源混合来缓解。因此，它无法在不同亮度下混合纹理并合成合理的纹理。另一种方法是采用基于示例的纹理合成技术。早期的方法[12,11]主要依赖于图像拼贴过程中的额外空间约束来实现纹理转移。[22]提出了一种基于优化的方法，使用期望最大化（EM）类似算法和图像金字塔来产生高质量的结果。他们还通过流引导合成[22,7]将静态图像转换为视频，可以看作是纹理对流和合成的结合。后来，[4,5]引入了PatchMatch算法来加速EM优化的搜索步骤。基于优化的方法已经扩展到各种场景，例如视频补全[34]，风格化的3D渲染[13]和文本效果转移[36]。杨等人[36]假设文本效果的空间分布与其与文本骨架的距离密切相关，并使用基于距离的分布项来引导合成。在这里，我们试图将这个应用[36]扩展到动画，并使其能够转移更精细的文本效果，这些效果不满足上述的分布规律。[26]提出了一种通用的纹理转移方法，以引导内部结构的空间分布。然而，在文本效果转移任务中，为了更好地保留结构，它需要额外的笔画分割操作。以前的风格化动画合成方法主要利用光流来约束时间连续性[6, 15,19]。不幸的是，这些方法在我们的场景中无法很好地工作，我们只使用单个目标文本图像作为输入，源示例包含了复杂的动态效果和动态静态图案的组合。由[17,18]提出的基于神经网络的图像风格转移应用了预训练的深度卷积网络，如VGG-19[31]来解决这个问题。它呈现了令人印象深刻的风格转移结果，并吸引了许多后续的模型改进[23]和算法加速[20,33]。[29]和[2]将其扩展到具有光流约束初始化和损失函数的视频风格化。[10]提出了一个在线视频风格转移系统，考虑了前向网络的时间连续性。最近，深度卷积网络被用于合成流体动画的动态纹理[35, 16,32]。尽管神经风格转移方法取得了巨大的成功，但它们仍然存在一个关键限制，即无法复制纹理。58720图2：动态文本效果转移问题的概述。通过三个输入 S text（源文本图像）、S sty（与 S text对齐的源风格化视频）和 T text（目标文本图像），可以生成具有动态效果的目标风格化视频 T sty，就像 S sty 一样。0具有高质量低级细节的纹理（如[14]中所示）。03.我们的方法0在本节中，我们首先阐述动态文本效果转移的任务，并概述解决该问题的策略（第3.1节）。然后，我们利用提取的关键帧（第3.2节）来约束空间-时间一致性（第3.3节），并引入了一种带有SA和权重图的引导NNF搜索算法，用于深度方向引导传播（第3.4节）。最后，我们利用联合公式（第3.5节）将上述问题综合到一个优化问题中，并介绍了我们方法的两个扩展版本（第3.6节）。03.1.问题的形式化和分析0给定源文本图像 S text ，其风格化动画 S sty和目标文本图像 T text ，目标是合成目标风格化动画 T sty，使得 S text ：S sty :: T text ：T sty（见图2）。将文本效果转移应用于连续帧会导致源动画 Ssty中微妙外观变化（例如运动、亮度等）引起强烈的闪烁。此外，输入中不可察觉的变化会因从源到目标的不稳定投影而被放大。为了保持时间一致性，一种常见的解决方案是通过跟随运动场来扭曲先前合成的帧，并将其用于指导当前帧的合成（例如，[14,19]）。然而，无法从单个目标图像估计目标运动场，并且常见的解决方案在使用源到目标投影的运动场时仍然存在时间脉动问题。因此，需要一种不同的方法。通过实验证明，我们观察到在源和目标之间的对应关系随时间不稳定的像素中总是会出现闪烁。如果我们在整个时间域内使用相同的N- NF，目标补丁将模仿一系列包含纹理外观的动态变化0在时间序列中。换句话说，图像补丁将通过保持NNF不变来扩展到时间补丁。这种直观的策略一举两得：1）它通过去除搜索空间的时间域，使得风格化结果在时间上平滑，只需要考虑二维平面；2）它加快了合成过程，因为所有帧共享一个公共的NNF，并且在运行时的迭代优化NNF搜索中计算开销较大，只需执行一次。然而，上述概述的策略仅保留了时间一致性，忽略了空间连续性。直接将在一个帧上搜索到的NNF应用于其他帧容易产生不连续的纹理。为了进一步保持所有帧的空间连续性，我们同时优化纹理一致性，并在所有关键帧上重构目标风格化图像以找到公共的NNF。此外，我们利用方向引导的深度传播，鼓励文本效果从文本轮廓周围扩散，其中的补丁包含更多语义特征，并且可以从源中轻松找到正确的对应关系。通过这种方式，我们的方法可以将风格化外观从源传递到目标。03.2. 关键帧提取0在我们的系统中，基于运动强度提取关键帧，并用于构建下一节中描述的空间-时间一致性。如图3（a）所示，左侧对很容易找到最佳对应关系 a，但在 b 和 c之间选择一个则很困惑，因为它们与背景补丁完全相同。然而，右侧对则清楚地表明在当前帧中需要 b的对应关系以保持纹理连续性。我们可以引入更多的约束条件，以具有更多代表性纹理特征的关键帧的纹理一致性。因此，预期关键帧与先前帧相比显示出剧烈的运动，特别是更多的发射器位置，新流体生成的地方（在图3（c）中用粉色标记的像素）。我们首先使用连续帧上的颜色变化像素提取动态像素，并计算变化值0m t = | g ( S t sty ) - g ( S t - 1 sty ) | ，2 ≤ t ≤ N，(1)0其中 m t 是第 t 帧的颜色变化值地图，g ( S t sty ) 是第 t帧源风格化图像的灰度图像。对于 ( t - 1) 帧的 g ( S t - 1sty ) 也是同样的处理。N是视频帧的总数。我们使用最小-最大方法对颜色变化地图m t 进行归一化处理，归一化后的地图 � m t如图3（d）所示。与图3（c）中的发射器相比，图中的发射器在地图 � m t中具有更大的颜色变化值，这是由于新的流体产生。因此，我们在计算颜色变化像素的数量时使用 � m t中的值作为像素的重要性权重。58730图3：关键帧提取。 （a）不同帧的两个源-目标对。（b）连续帧上的两个源风格化图像。（c）连续帧上具有特殊效果的纹理的叠加掩码。（d）归一化的颜色变化地图 � m t 。0运动强度可以通过颜色变化像素的加权数量计算，计算公式如下：0υ t =0p =1 ...w × h � m t ( p ) ，(2)0其中 v t 是第 t 帧的运动强度值，� m t ( p ) 表示地图 � m t中每个像素的值。然后，选择具有前 β个最高运动强度的帧作为关键帧。03.3. 空时一致性0在提取关键帧之后，我们构建了空时一致性项，以保持时间一致性和空间纹理连续性。对于时间一致性，我们找到一个共享的NNF，可以同时优化纹理一致性并在所有关键帧上重建目标图像。由于NNF是静态的，它隐含地实现了完美的时间一致性。例如，一旦在目标中确认了与源中的补丁N p的对应关系，图像补丁N q 将模仿视频序列中N p的外观变化，并且目标中的像素将隐含地获得其对应关系的运动特性。对于空间连续性，我们在每个关键帧上搜索独立于源的目标补丁，并将在所有关键帧上的源-目标相似性之和作为空时一致性项，用于纹理转移引导的软约束。我们在图4中展示了直观的思想。0图4：空时一致性项的可视化。该项通过计算关键帧上源和目标之间的独立相似性来构建。我们找到了一个共享的NNF，可以同时优化所有关键帧上的纹理一致性。由于NNF在视频序列上是静态的，它隐含地实现了完美的时间一致性。0如图5所示，这种简单的策略显著改善了最终结果。没有空时项的普通NNF的结果在图5（b）中出现严重的时间闪烁。引入了普通NNF，但只使用第一帧进行NNF搜索，结果在图5（c）中在时间上变得平滑，但在后续帧上在空间上不连续。当引入空时项并通过均匀采样选择关键帧时，可以明显改善图5（d）中的纹理不连续性，但仍然存在。图5（e）显示了我们在时间上具有一致性和空间连续性的结果。03.4. 引导最近邻域搜索0我们的NNF搜索是基于PatchMatch[4]设计的，使用传播和随机搜索。除了常规的传播外，我们还通过引入基于距离的权重图来扩展传播，以实现方向引导，鼓励文本效果从文本轮廓周围扩散开来。为了使复杂的纹理更充分地传播，我们引入了模拟退火的思想[21]（一种模拟材料加热过程的优化方法）到我们的方法中，以获得自适应的传播概率，随着温度的降低而下降。方向引导传播。在我们的动态文本效果转移中，原始文本图像（S text和Ttext）作为语义输入提供。在边界中具有更多特征的情况下αq′ = γ−(d⊥(q′,Ω)−d⊥(q,Ω)),(3)if prob > ξ(random(0, 1)) thenUpdate nearest neighbor NN = NN ′;endenduntil nUpdate ≤ 0;3.5. Joint FormulationE =Q∈TminP ∈S(λD(Ptext, Qtext) +t∈kfD(P tsty, Qtsty)),58740图5：空间时间项和关键帧选择的效果。 (a) 在第 t 和 ( t  + 1) 个时刻的源风格化图像0帧。 (b) 在连续帧上合成的无空间时间项的风格化结果。(c) 使用普通NNF但没有关键帧合成的结果。 (d)使用普通NNF和均匀间隔关键帧合成的结果。 (e)使用普通NNF和基于运动的关键帧合成的结果。临近视图用于时间上的平滑（绿色）和空间上的连续性（蓝色）。0对于 T text的补丁，我们利用方向引导传播将信息的流向从边界向外引导。如图6所示，我们首先计算 T text 的每个像素 q与文本轮廓Ω（红色轮廓）之间的距离。对于每个以中心坐标 q 的补丁N q ，我们根据距离定义其权重图，如下所示：0其中 α q ′ 是补丁 Nq 中像素 q ′ 的权重，基数 γ 等于2，d⊥ ( q ′ , Ω) 是 q ′ 与文本轮廓 Ω上最近像素之间的距离。我们对每个补丁中的所有像素的权重进行归一化，使得中心像素 α q的归一化权重等于1。像素到文本轮廓的距离越小，像素的权重就越大。然后，权重图用于在NNF搜索中计算补丁相似性，并在投票步骤中重建目标图像进行优化。通过这种方式，我们可以在没有语义引导的情况下将传播引导到文本轮廓之外的复杂纹理上。深度传播。如算法1所述，我们将初始温度和终止温度分别设置为 T 0 和 T f 。参数 ϕ cur 和 ϕtotal分别表示当前迭代时间和EM迭代的总时间（在第3.5节中描述）。温度随着迭代而降低。在温度降低时，以较低概率接受在邻居中生成的较弱候选解。因此，效果纹理可以在初始阶段更充分地传播，并且后来只有更好的对应关系才会被接受。通过这种方式，风格化纹理可以得到全面传播，同时保持少量的语义信息。0Figure 6:利用权重图进行方向引导传播。计算每个以中心坐标  q的补丁的权重图，使用到文本轮廓  Ω的距离。通过利用权重图在搜索步骤中计算补丁相似性，并在投票步骤中重建目标图像，我们实现了从边界向外传播信息的方向引导传播。0算法1：模拟退火的深度传播 输入：S text，T text，S sty，T sty，NN，ϕ cur，ϕ total，T 0，T f输出：最近邻域 NN 重复生成候选解 NN ′ 并使用权重图计算其能量值 E ′；计算 ∆ E = E ′ − E；如果 ∆E < 0，则更新最近邻域 NN = NN ′；否则设置 T k = T 0 − ϕ cur ϕ total (T 0 − T f)；计算接受概率prob = min (1，exp {− ∆ E0提供了详细的信息。图7展示了权重图和SA对深度方向引导传播的影响。0在本节中，将第3.2节、3.3节和3.4节中提出的实现方法合并为一个基于补丁的联合优化问题。将语义引导和空间时间一致性连接的能量函数定义如下：0(4) 其中P和Q分别表示S text / S t sty和T text / T tsty中的补丁。P text和P t sty表示源文本图像Stext和目标风格化图像T t sty中的补丁。58750(a) τ=0，T0=00(b) τ=1，T0=00(c) τ=1，T0=20(d) τ=1，T0=50图7：权重图和SA的效果。使用不同的配置（权重图的二进制值τ（1-带有，0-不带有）和SA的初始温度T0）合成结果。0在帧t中，同样的方法适用于T text和T t sty中的补丁Qtext和Q t sty。我们计算P text和Qtext之间的距离，以确保风格化纹理的分布与目标文本图像相符。使用关键帧kf时，计算P t sty和Q tsty之间的距离以约束空间-时间一致性。距离D通过在RGB空间中使用权重图（在第3.4节中描述）计算加权L2范数得到。λ用于控制语义相似性和空间-时间一致性之间的平衡。我们将其定义为随迭代次数线性减小的变量，用于动态引导，如[26]中所述。为了最小化方程（4），我们使用多尺度EM-like迭代，交替执行两个步骤（即引导的NNF搜索和投票）。在引导的NNF搜索中，使用第3.4.2节中描述的深度方向引导传播。在投票步骤中，使用给定的NNF同时重建关键帧上的目标风格化图像。我们使用邻域补丁中相邻像素的加权平均颜色计算T tsty中的每个像素，并使用第3.4.1节中介绍的权重。整个视频序列上的图像补丁被视为一个整体，进行一次优化以找到共同的NNF。最后，我们将共享的NNF应用于所有帧，生成具有文本效果的动态排版。03.6. 进一步扩展0背景嵌入。为了使DynTypo在实际情况下广泛适用，我们通过任意背景嵌入扩展了该方法。可以使用图像分割技术（如[1]）轻松从目标风格化图像中提取具有纹理效果的文本。然后，我们使用泊松图像编辑[28]将文本无缝地插入到背景图像中，这是一种强大的对象插入方法，无需精确的对象描绘即可轻松实现。通过这种方式，即使源视频具有复杂的背景（例如渐变色、光照），也可以完美处理。图8显示了使用提出的背景细化与否获得的合成结果的比较。潜在应用。实际上，没有专门为动态文本效果设计的步骤0图8：合成结果与背景细化的比较。0图9：肖像动画。使用源示例作为驱动视频（第一行），可以将目标涂鸦转化为风格化肖像动画（第二行）。0我们的方法使用于文本，因此可以轻松扩展到具有语义相关或几何相似部分的其他对象之间的动态效果转移。我们在图9中展示了一个将肖像动画化的示例，更多结果可以在补充视频中找到（在线版本链接：https://youtu.be/FkFQ6bV1s-o）。04. 结果0我们在Matlab中实现了我们的方法。使用4GHz四核CPU合成一个分辨率为500×360、包含160帧的目标风格化动画大约需要20分钟。对于所有视频序列的NNF检索，我们使用了一个包含10个级别的图像金字塔，最粗糙的尺寸为32×32。在每个级别中，执行m次优化迭代，每次迭代包括两个步骤（NNF搜索和投票），当从粗糙到细致合成时，m线性减少。补丁大小固定为5×5，关键帧数量β=15。为了证明所提出的Dyn-Typo的有效性，我们将不同风格的动态文本效果转移到一些代表性的字形类型（英文字母、汉字、手写字）上，并且证明它比其他最先进的方法表现更好。04.1. 动态文本效果转换0我们将我们的动态纹理转移方法应用于从A到Z的英文字母以及其他代表性的字形，如汉字和手写字，我们通过互联网收集了一些样式化的例子。各种复杂的动态效果，如燃烧的火焰、流动的水和其他设计效果都可以通过我们的方法成功转移。58760图10：将不同的动态文本效果应用于几个代表性字形（英文字母、汉字、手写字）。0通过我们的方法成功转移。结果如图10所示，更多结果可在补充视频中找到（在线版本请访问https://youtu.be/FkFQ6bV1s-o）。04.2. 比较0在本小节中，我们将我们的方法与几种最先进的风格转换方法[22, 14,36]进行了比较，用于动态排版生成。图11展示了一些代表性帧的结果，完整的视频可以在补充材料中找到。流引导合成[22]是一种将纹理合成与平流技术相结合的开创性方法。由于它本身不支持单个目标文本图像的动态效果转换，我们在其目标函数中添加了我们的语义引导项，并使用它来合成目标样式化动画的第一帧。流场Fs是通过使用SiftFlow[24]来估计源样式化序列中的运动来计算的，而Fs则是基于源和目标之间的对应关系来转换的，以获得目标流场Ft。有了目标流场，可以通过应用流引导合成来对第一帧进行动画化。如图11的第二行所示，在估计的光流的准确性和从源到目标的变换的限制下，合成结果在传播一段时间后会出现明显的纹理失真。此外，小的流误差可能会累积，导致幽灵伪影。仍然文本效果转换[36]利用分布项0以引导合成过程，基于补丁模式与其与文本骨架之间的距离之间的高相关性。使用上述方法[36]实现动态效果转移的一种可能的方法是逐帧直接执行静态文本效果转移。然而，由于没有时间约束，它会出现严重的闪烁问题。为了缓解这个问题，我们在这个动态文本效果转移过程中引入了一个时间一致性，如[19]所述。它改善了时间平滑，但对于短期一致性仍会产生微小的颤动，并且在长期一致性方面无法在较长时间内产生稳定的结果（如图11的第三行所示）。此外，很难转移强烈的火焰效果，其效果模式不按照距离分布。Fiˇser等人[14]提出了一种针对肖像视频的动画风格化方法。我们通过使用语义文本图像（S text和Ttext）作为分割指南，并丢弃对面部特征的特殊处理来在我们的场景中实现该方法。如图11的第四行所示，合成结果在帧间进行优化，我们从前一时刻传播NNF并将其用作当前帧的初始化。然而，在早期阶段它会产生令人不满意的结果，并且与[36]类似会出现时间伪影。从图11的最后一行可以看出，我们的方法能够令人信服地保留逼真的流体效果，同时避免令人不适的时间伪影。静态效果如锈迹是稳定的，而动态效果如燃烧的火焰则是稳定的。58770图11：与最先进的方法在动态文本效果转换上的比较。蓝色标记了短期一致性，连续帧之间的短期一致性用蓝色标记，两个时间间隔较大的帧之间的长期一致性用绿色标记。最后一列显示了短期和长期一致性的近景视图。0此外，在相同的实验设置下，我们的方法运行速度比其他现有方法快得多（每帧约2分钟，总共4-6小时）和[14]（每帧约3分钟，总共8小时）。05. 结论0本文提出了一种新颖的基于示例的动态文本效果转移方法。据我们所知，我们的系统是第一个能够自动生成具有逼真流体效果的动态排版，同时避免干扰性时间伪影的方法。实验结果表明，我们的方法对于具有不同效果的各种字形都是有效的，并且可以轻松扩展到动态效果转移。0我们还相信，我们的空间 -时间一致性指导和使用权重图和模拟退火进行深度方向引导传播的引导NNF搜索，可以激发未来的研究，进一步改进语义引导纹理转移和相关动画风格化技术的性能。0致谢0这项工作得到了中国国家自然科学基金（编号：61672043和61672056），中国国家重点研发计划（2017YFB1002601）和出版业科技和标准的科技和标准重点实验室（智能出版媒体技术重点实验室）的支持。58780参考文献0[1]使用纹理滤波器进行纹理分割。https://ww2.mathworks.cn/help/images/examples/texture-segmentation-using-texture-filters.html。[2] Alexander G Anderson, Cory P Berg, Daniel P Mossing和Bruno AOlshausen。Deepmovie：使用光流和深度神经网络对电影进行风格化。arXiv预印本arX-iv:1605.08153，2016年。[3] SamanehAzadi，Matthew Fisher，Vladimir Kim，Zhaowen Wang，EliShechtman和TrevorDarrell。用于少样本字体风格转移的多内容GAN。arXiv预印本arX-iv:1712.00516，2017年。[4] Connelly Barnes，Eli Shechtman，AdamFinkelstein和Dan BGoldman。Patchmatch：用于结构图像编辑的随机对应算法。ACMTransactions on Graphics-TOG，28（3）：24，2009年。[5]Connelly Barnes，Eli Shechtman，Dan B Goldman和AdamFinkelstein。广义Patchmatch对应算法。在欧洲计算机视觉会议上，第29-43页。Springer，2010年。[6] Pierre B´enard，ForresterCole，Michael Kass，Igor Mordatch，James Hegarty，MartinSebastian Senn，Kurt Fleischer，Davide Pesare和KatherineBreeden。通过示例对动画进行风格化。ACM Transactions onGraphics（TOG），32（4）：119，2013年。[7] Kiran SBhat，Steven M Seitz，Jessica K Hodgins和Pradeep KKhosla。基于流的视频合成和编辑。在ACM Transactions onGraphics（TOG）中，第23卷，第360-363页。ACM，2004年。[8]Adrien Bousseau，Fabrice Neyret，Jo¨elle Thollot和DavidSalesin。使用双向纹理平流进行视频水彩画化。ACM Transactions onGraphics（ToG），26（3）：104，2007年。[9] MarkBrowning，Connelly Barnes，Samantha Ritter和AdamFinkelstein。流体模拟的风格化关键帧动画。在非照片真实动画和渲染研讨会论文集中，第63-70页。ACM，2014年。[10] DongdongChen，Jing Liao，Lu Yuan，Nenghai Yu和GangHua。一致的在线视频风格转移。在国际计算机视觉会议（ICCV）的论文集中，2017年。[11] Alexei A Efros和William TFreeman。用于纹理合成和转移的图像拼贴。在第28届计算机图形学和交互技术年会论文集中，第341-346页。ACM，2001年。[12] Alexei AEfros和Thomas KLeung。非参数采样的纹理合成。在计算机视觉，1999年第七届IEEE国际会议论文集中，第2卷，第1033-1038页。IEEE，1999年。[13]Jakub Fiˇser，Ondˇrej Jamriˇska，Michal Luk´aˇc，EliShechtman，Paul Asente，Jingwan Lu和DanielS`ykora。Stylit：基于照明引导的示例风格化3D渲染。ACMTransactions on Graphics（TOG），35（4）：92，2016年。[14]Jakub Fiˇser，Ondˇrej Jamriˇska，David Simons，EliShechtman，Jingwan Lu，Paul Asente，Michal Luk´aˇc和DanielS`ykora。0基于示例的风格化面部动画合成. ACM图形学交易 (TOG),36(4):155, 2017. [15] Jakub Fiˇser, Michal Luk´aˇc, OndˇrejJamriˇska, Martin  ˇ Cad´ık, Yotam Gingold, PaulAsente和Daniel S`ykora. 彩色噪声:基于示例的手绘动画渲染与时间噪声控制. 在计算机图形学论坛上,卷33, 第1-10页. Wiley Online Library, 2014. [16] Christina MFunke, Leon A Gatys, Alexander S Ecker和Matthias Bethge.使用卷积神经网络合成动态纹理. arXiv预印本arX- iv:1702.07006,2017. [17] Leon Gatys, Alexander S Ecker和Matthias Bethge.使用卷积神经网络的纹理合成. 在神经信息处理系统进展上,第262-270页, 2015. [18] Leon A Gatys, Alexander SEcker和Matthias Bethge. 使用卷积神经网络的图像风格转移.在计算机视觉和模式识别 (CVPR)上, 第2414-2423页. IEEE, 2016.[19] Ondˇrej Jamriˇska, Jakub Fiˇser, Paul Asente, Jingwan Lu,Eli Shechtman和Daniel S`ykora. 懒惰流体: 流体动画的外观转移.ACM图形学交易 (TOG), 34(4):92, 2015. [20] Justin Johnson,Alexandre Alahi和Li Fei-Fei.用于实时风格转移和超分辨率的感知损失.在欧洲计算机视觉会议上, 第694-711页. Springer, 2016. [21]Scott Kirkpatrick, C Daniel Gelatt和Mario P Vecchi.模拟退火优化. 科学, 220(4598):671-680, 1983. [22] VivekKwatra, Irfan Essa, Aaron Bobick和Nipun Kwatra.基于示例的合成的纹理优化. 在ACM图形学交易 (ToG)上, 卷24,第795-802页. ACM, 2005. [23] Tsung-Yu Lin和Subhransu Maji.可视化和理解深度纹理表示. 在IEEE计算机视觉和模式识别会议上,第2791-2799页, 2016. [24] Ce Liu, Jenny Yuen和AntonioTorralba. Sift流: 场景间的密集对应及其应用.在计算机视觉的密集图像对应上, 第15-49页. Springer, 2016. [25]Nelson Max, Roger Craw�s和Dean Williams.通过对流云纹理可视化风速. 在第3届可视化会议'92上,第179-184页. IEEE计算机学会出版社, 1992. [26] Yifang Men,Zhouhui Lian, Yingmin Tang和Jianguo X- iao.交互式纹理转移的通用框架. 在IEEE计算机视觉和模式识别会议上,第6353-6362页, 2018. [27] Fabrice Neyret. 对流纹理.在2003年ACM SIGGRAPH/Eurographics计算机动画研讨会上,第147-153页. Eurographics Association, 2003. [28] PatrickP´erez, Michel Gangnet和Andrew Blake. 泊松图像编辑.ACM图形学交易 (TOG), 22(3):313-318, 2003.58790[29] Manuel Ruder, Alexey Dosovitskiy, and Thomas Brox.视频的艺术风格转移. 在德国模式识别会议上, 第26-36页.Springer, 2016. [30] Ariel Shamir和Ari Rappoport. LiveType:一种基于特征和约束的参数化字体模型. ACM, 1997. [31] KarenSimonyan和Andrew Zisserman.用于大规模图像识别的非常深的卷积网络.arXiv预印本arXiv:1409.1556, 2014. [32] Matthew Tesfaldet,Marcus A Brubaker和Konstantinos G Derpanis.用于动态纹理合成的双流卷积网络. arXiv预印本arXiv:1706.06982,2017. [33] Dmitry Ulyanov, Vadim Lebedev, AndreaVedaldi和Victor S Lempitsky. 纹理网络:前馈合成纹理和风格化图像. 在ICML上, 第1349-1357页, 2016.[34] Yonatan Wexler, Eli Shechtman和Michal Iran