DiffusionCLIP：鲁棒的文本引导扩散模型

2426DiffusionCLIP：用于鲁棒图像处理的文本引导扩散模型Gwanghyun Kim1Taesung Kwon1Jong Chul Ye2，1部韩国科学技术高等研究院（KAIST），大田，韩国{gwang.kim，star.kwon，jong.ye}@ kaist.ac.kr图1. DiffusionCLIP通过（a）当最先进的基于GAN反演的方法失败时保留重要细节来实现真实图像的忠实文本驱动操纵。其他新颖的应用包括（b）两个看不见的域之间的图像转换，（c）到看不见的域的笔划调节的图像合成，以及（d）多属性转移。摘要最近，GAN反演方法与对比图像预训练（CLIP）相结合，使得能够在文本提示的指导下进行零拍摄图像操作。然而，由于GAN反演能力有限，其应用于各种真实图像仍然困难。具体地，这些方法通常难以重建具有与训练数据相比的新颖姿态、视图和高度可变的内容的图像，改变对象身份或产生不想要的图像伪影。减轻这些问题本研究得到了由科学部ICT和韩国海关总署资助的韩国国家研究基金会（NRF）的海关管理领域技术开发项目（NRF-2021 M3 I1A1097938）的支持，并得到了韩国政府（MSIT）资助的信息通信技术规划评估研究所（IITP）资助（No.2019- 0-00075，人工智能研究生院计划（KAIST））的支持。并使真实图像的忠实操作，我们提出了一种新的方法，称为DiffusionCLIP，执行文本驱动的图像操作使用扩散模型。基于最近扩散模型的完全反演能力和高质量图像生成能力，我们的方法甚至在看不见的域之间成功地执行零拍摄图像操作，并通过操作来自广泛变化的ImageNet数据集的图像此外，我们提出了一种新的噪声组合方法，允许简单的多属性操作。广泛的实验和人工评估证实了我们的方法与现有基线相比具有 强 大 和 优 越 的 操 作 性 能 代 码 可 在https://github.com/gwang-kim/DiffusionCLIP.git上获得1. 介绍最近，GAN反演方法[1-2427t=0s=1NNθ002.不不θ不不√- -Q√tt|N−√−√Σ[29]已经变得流行，这要归功于它们在文本提示引导下进行零拍摄图像操作的能力[16，28]。尽管如此，由于GAN反演性能有限，其在不同类型图像上的实际应用仍然很棘手具体地说，成功的图像操作应该将图像属性转换为目标的属性，而不会意外地改变输入内容。不幸的是，当前最先进的（SOTA）基于编码器的GAN反演方法[3，32，40]通常无法重建具有新颖姿态、视图和细节的图像。例如，在图1的左侧面板中。1（a）、e4e[40]和具有pSp编码器[32]的ReStyle [3]未能在脸颊上重建意外的手这是因为他们在训练阶段很少看到这样的脸用手。在来自具有高方差的数据集的图像（例如LSUN- Church [46]和ImageNet [35]数据集中的教堂图像）的情况下，这个问题变得更糟如图1（a）的右图所示，对于转换为百货商店，现有的GAN反演方法产生可以被感知为不同建筑物的人工建筑。最近，诸如去噪扩散概率模型（DDPM）[18，36]和基于分数的生成模型[38，39]等扩散模型在图像生成任务中取得了巨大成功[18，19，37，39]。最新的作品[14，39]已经证明了与变分自编码器（VAE）[24，27，30]，流[15，23，31]，自回归模型[26，41]相比更高质量的图像合成性能，和生成对抗网络（GANs）[6，17，21，22]。此外，最近的去噪扩散隐式模型（DDIM）[37]进一步加速了采样过程，几乎可以实现完美的反转[14]。受此启发，我们提出了一种新颖的DiffusionCLIP- CLIP引导的基于扩散模型的鲁棒图像处理方法。这里，首先通过前向扩散将输入图像转换为潜在噪声。在DDIM的情况下，如果反向扩散的分数函数保持与正向扩散的分数函数相同，则可以使用反向扩散将潜在噪 声 几 乎 完 美 地 反 转 到 原 始 图 像 。因 此 ，DiffusionCLIP的关键思想是使用CLIP损失来微调反向扩散过程中的评分函数，该CLIP损失基于文本提示来控制因此，DiffusionCLIP可以成功地在训练的和看不见的域中执行图像操作（图1B）。1（a））。我们甚至可以将图像从一个看不见的域转换到另一个看不见的域（图1（b）），或者从笔划中生成一个看不见的域中的图像（图1（b））。（c）第1段。此外，通过简单地组合从几个微调模型预测的噪声，可以通过一个采样过程同时改变多个属性（图1）。1（d））。此外，DiffsuionCLIP通过操纵来自广泛变化的ImageNet[35]数据集的图像，向通用应用迈出了另一步（图1）。（6）很少由于其反射率较低，因此使用GAN反演进行了探索[5、12]此外，我们提出了一个系统的方法来找到最佳的采样条件，导致高质量和快速的图像处理。定性比较和人工评估结果表明，我们的方法可以提供强大的和准确的图像处理，优于形成SOTA基线。2. 相关作品2.1. 扩散模型扩散概率模型[18，36]是一种由正向扩散过程和反向扩散过程组成的潜变量模型。前向过程是马尔可夫链，其中当对t= 1，···，T的潜在变量xt进行顺序采样时，噪声逐渐添加到数据中。前向过程中的每一步都是一个高斯变换q（xtxt−1）：=（1βtxt−1，βtI），其中βtT是固定的或学习的方差表。得到的潜在变量xt可以表示为：xt=<$α tx0+（1−α t）w，w<$N（0，I），（1）其中αt：=t（1−βs）. R ev e r se过程q（xt−1|xt）由另一个高斯跃迁pθ（xt−1）参数化|xt）：=（xt−1;μθ（xt，t），σ θ（xt，t）I）. μθ（xt，t）可以分解为xt和噪声近似模型μθ（xt，t）的线性组合，其可以通过如下求解优化问题minEx <$q（x），w<$N（0，I），t||w − θ（xt，t）||二、（二）在训练εθ（x，t）之后，使用以下反向扩散过程对数据进行采样：x=1xβt（x，t） +σ z，（3）1−βt1−αt其中z（0，1）。发现DDPM的采样过程对应于基于分数的生成模型[38，39]的采样过程，具有以下关系：<$θ（xt，t）= −<$1 −α t<$xtlog p θ（xt）。（四）同时，[37]提出了一种替代的非马尔可夫噪声过程，其具有与DDPM相同的前向边际，但具有不同的采样过程，如下所示：xt−1=<$αt−1fθ（xt，t）+1−αt−1−σ2<$θ（xt，t）+σ2z，（2428N不θ不θt<$α。（六）五）其中，z（0，I）和fθ（xt，t）是x0在t给定xt和<$θ（xt，t）：f（x，t）：=xt−α<$1−α<$（x，t）不2429αt不该采样允许通过改变噪声σt的方差来使用不同的采样器。特别是，通过将该噪声设置为0，这是DDIM采样过程[37]，采样过程变得确定性，从而能够以显著更少的步骤将潜在变量完全反演为原始图像[14，37]。实际上，DDIM可以被认为是通过重写方程来求解常微分方程（ODE）的欧拉方法。5如下：3. DiffusionCLIP用于图像操作的所提出的DiffusionCLIP的总体流程如图所示二、这里，输入图像x0首先使用预训练的扩散模型x0θ转换为潜像xt0（θ）。然后，在CLIP损失的指导下，对反向路径处的扩散模型进行微调以生成由目标文本ytar驱动的样本。决定性的前进-1αt−1xt−1− .1x=不1αt−1 -1−1α−1n（xt，t）.（七）反向过程基于DDIM [37]。对于看不见的域之间的转换，潜在生成也通过正向DDPM [18]过程完成，如稍后将解释的。有关数学细节，请参见补充章节A。2.2.图像操作CLIP [29]被提出用于在自然语言监督下有效地学习视觉概念。在CLIP中，文本编码器和图像编码器被预训练以识别哪些文本与数据集中的哪些图像匹配。因此，我们使用预训练的CLIP模型进行文本驱动的图像操作。为了有效地从CLIP中提取知识，已经提出了两种不同的损失：全局目标损失[28]和局部方向损失[16]。全局CLIP损失尝试最小化CLIP空间中生成的图像与给定目标文本之间的余弦距离，如下所示：Lglobal（x gen，y tar）=D CLIP（x gen，ytar），（8）其中ytar是目标的文本描述，xgen表示生成的图像，DCLIP返回CLIP空间中编码向量之间的余弦距离。另一方面，局部定向损失[16]旨在缓解全局CLIP损失的问题，例如低多样性和对对抗性攻击的敏感性。局部方向性CLIP损失导致参考图像和生成图像的嵌入之间的方向与CLIP空间中的一对参考文本和目标文本的嵌入之间的方向对齐，如下所示：图2. DiffusionCLIP概述。首先将输入图像转换为潜在通孔扩散模型。然后，在定向CLIP损失的指导下，对扩散模型进行微调，并在反向扩散期间生成更新的样本。3.1. DiffusionCLIP微调在微调方面，可以修改潜在或扩散模型本身。我们发现直接模型微调更有效，如补充部分D所分析。具体而言，为了微调反向扩散模型θ，我们使用由方向CLIP损失L方向和身份损失LID组成的以下目标：L方向。x∈0（θ），ytar;x0，yref∈ 0+Lid（x∈0（θ），x0），（10）L方向（xgen，y tar;x ref，y ref）：= 1−− I=I，I =T=T、（9）其中x0是原始图像，x0（θ）是生成的∥∆I ∥∥∆T ∥从潜像xt0 利用优化的参数θi，哪里T = E T（ytar）− E T（yref），这里，EI和ET分别是CLIP已知由方向CLIP损失引导的操纵图像对于模式塌陷问题是鲁棒的，因为通过将图像表示之间的方向与参考文本和目标文本之间的方向对准，应当生成不同的图像。此外，它对对抗性攻击更具鲁棒性，因为扰动将根据图像而不同[29]。更多相关工作在补充部分A中说明。yref是参考文本，ytar是为图像操作给定的目标文本在此，CLIP损失是监督优化的关键组成部分。在上面讨论的两种类型的CLIP损耗中，由于2.2节中提到的吸引人的特性，我们采用定向CLIP损耗作为指导。对于文本提示，定向CLIP丢失在训练时需要参考文本yref和目标文本ytar例如，在将给定人脸图像的表情改变为愤怒表情的情况下，我们可以使用在本文中，我们经常使用简洁的词语来指代每个文本提示（例如：....Σ2430L√t−1∈t−1θt−1不θ不身份丢失id用于防止不必要的更改并保留对象的身份我们通常使用101损失作为身份损失，并且在人脸图像操纵的情况下，增加了[13Lid（x<$0（θ<$），x0）=λL1<$x0−x<$0（θ<$）<$+λfaceLface（x<$0（θ<$），x0），其中Lface是脸身份损失[13]，并且λL1≥0，将其反转近似为正向扩散过程。具体地，用于获得潜在的确定性正向DDIM过程被表示为：xt+1=<$αt+1fθ（xt，t）+1−αt+1<$θ（xt，t）（12）并且用于从所获得的潜在值生成样本的确定性反向DDIM过程变为：λface≥ 0是每个损失的权重参数。的必要性身份丢失的程度取决于控件的类型为x=<$αf（x，t）+<$1−α <$（x，t）（13）一些控制、像素相似性的保持和人类身份是重要的（例如表情、头发颜色），而另一些控制更喜欢严重的形状和颜色变化（例如艺术品、物种的变化）。图3.梯度流在微调扩散模型期间与跨t的共享架构。现有的扩散模型[14，18，37]通过使用Transformer[42]中使用的正弦位置嵌入来插入t的信息，对所有t采用共享的U-Net[33]架构通过这种架构，DiffusionCLIP微调期间的梯度流可以表示为图3，这是训练递归神经网络的类似过程[34]。一旦扩散模型被微调，来自预训练域的任何图像都可以被操纵成对应于目标文本ytar的图像，如图1B所示第4（a）段。有关微调程序和模型架构的详细信息，请参见补充部分B和C。3.2. 前向扩散与生成过程作为等式中的DDPM采样过程，3是随机的，从相同的潜伏期生成的样本每次都将是即使采样过程是确定性的，DDPM的正向过程，其中随机高斯噪声如等式（1）中那样被添加1，也是随机的，因此不能保证原始图像的重建。为了充分利用扩散模型的图像合成性能进行图像操作，我们需要在正向和反向方向上使用预先训练的扩散模型进行确定性过程，以成功进行图像操作。另一方面，对于看不见的域之间的图像转换，通过DDPM的随机采样通常是有帮助的，这将在稍后更详细地讨论。对于完全反演，我们采用确定性反向DDIM过程[14，37]作为生成过程，并且ODE ap-其中fθ在等式中定义。六、关于ODE近似的推导，参见补充章节A。DiffusionCLIP的另一个重要贡献是快速采样策略。具体地说，我们发现，我们可以通过执行高达t050%）。值得注意的是，在困难的情况下，我们的偏好率都增加了，证明了强大的管理性能。值得注意的 是 ， 在 域 外 操 作 结 果 中 对 StyleCLIP 的 高 正 确 率（ 90% ） 表 明 我 们 的 方 法 在 域 外 操 作 中 显 着 优 于StyleCLIP。定量评价。我们还使用以下质量度量来比较操纵性能：定向CLIP相似性（DIR）、分割一致性（SC）和面部身份相似性（ID）。为了计算每个度量，我们分别使用预训练的CLIP [29]，分割[45，48，49]和人脸识别模型[13]。然后，在CelebA-HQ（化妆，晒黑，灰色头发）[20]和LSUN-Church（金色，红砖，日落）[46]中的三个属性之间的转换过程中，我们的目标是在dir，SC和ID方面获得更好的如Tab.所示3，我们的方法在所有指标上都优于基线，证明了高属性对应性（dir）以及良好的身份保留，而没有意外的变化（SC，ID）。有关更多实验细节和比较结果，请参见补充章节D和E。4.2. 其他数据集图6显示了使用分别在AFHQ-Dog-256 [11]，LSUN-Bedroom-256 [46]和ImageNet-512 [35]数据集上预训练的dif- fusion模型对狗脸，卧室和一般图像进行图像操作的更多示例。结果表明，重建几乎是完美无瑕的，高分辨率的图像可以灵活地操纵超出训练域的边界。特别是，由于ImageNet中图像的多样性，基于GAN的反演及其在ImageNet潜在空间中的操作表现出有限的性能[5，12]。Diffusion- CLIP支持对一般图像进行零拍摄文本驱动操作，向一般文本驱动操作前进了一步有关更多结果，请参见补充章节E。4.3. 图像在不可见域通过使用Diffusion-CLIP的微调扩散模型，我们甚至可以将一个不可见域中的图像转换到另一个不可见域。在这里，我们不需要收集源域和目标域中的图像或引入外部模型。在图7中，我们执行从肖像艺术品和动画图像到其他看不见的领域，皮克斯，由高和尼安德特人的绘画的图像翻译结果。我们还展示了成功的图像生成在看不见的领域从笔划这是粗糙的图像绘画与几个颜色块。当源域和目标域都难以收集足够的图像时，这些应用程序将非常有用。4.4. 噪声组合如图8所示，我们可以在一次采样中改变多个属性。如前所述，为了执行多属性转移，不需要复杂的损失设计以及大量手动工作的特定数据收集。最后图9表明，我们可以通过混合来自原始模型和微调模型的噪声来根据γ控制单个目标属性的变化程度4.5. 超参数依赖在图10中，我们示出了当t0= 500时，依赖于Sfor，Sgen的重建性能的结果。即使Sfor= 6，我们也可以看到重建很好地保留了恒等式。当Sfor= 40时，Sgen= 6的结果丢失了一些高频细节，但这当S_ （for）= 200，S_（gen）= 40时，重建结果非常好，与原始图像的重建结果相差无几。因此，我们只使用（Sfor，Sgen）=（40，6）进行训练，使用（Sfor，Sgen）=（200，40）进行推理。我们还展示了通过改变t0来操纵的结果而固定图中的其他参数11个国家。如果皮肤颜色变化，300就足够了。然而，在具有严重形状变化的变化的情况下，例如Pixar需要在t0= 500或t0= 700时后退更多。 因此，我们根据属性设置不同的t0。超参数和消融研究的附加分析见补充章节F。5. 讨论和结论在本文中，我们提出了DiffusionCLIP，这是一种使用预训练扩散模型和CLIP损失的文本引导图像处理方法由于近乎完美的反演属性，DiffusionCLIP通过微调扩散模型，在域内和域外操作方面表现出出色的我们还提出了几个新的应用，使用微调模型结合各种采样策略。DiffusionCLIP存在局限性和社会风险因此，我们建议用户谨慎使用我们的方法-充分用于适当的目的。有关限制和负面社会影响的更多详细信息，请参见补充部分G和H。2436引用[1] Rameen Abdal，Yipeng Qin，and Peter Wonka.如何将图像嵌入到风格潜在空间？在IEEE/CVF计算机视觉国际会议论文集，第4432-4441页，2019年。1[2] Rameen Abdal，Yipeng Qin ，and Peter Wonka. Im-age2stylegan ++：如何编辑嵌入的图像？在IEEE/CVF计算机视觉和模式识别会议论文集，第8296-8305页，2020年。1[3] Yuval Alaluf ， Or Patashnik ， and Daniel Cohen-Or.Restyle：一个基于残差的stylegan编码器，通过迭代细化。IEEE/CVF计算机视觉国际会议论文集，第6711-6720页，2021年。一、二、六、七[4] David Bau ，Hendrik Strobelt， William Peebles ，JonasWulff，Bolei Zhou，Jun-Yan Zhu，and Antonio Torralba.具 有生 成 图像 先 验 的语 义 照片 处 理。 arXiv预 印本arXiv：2005.07727，2020。1[5] Ashish Bora，Ajil Jalal，Eric Price，and Alexandros GDi- makis.使用生成模型的压缩感知。国际机器学习会议，第537- 546页。PMLR，2017年。二、八[6] 安德鲁·布洛克杰夫·多纳休凯伦·西蒙尼安用于高保真自然图像合成的大规模gan训练。arXiv预印本arXiv：1809.11096，2018。2[7] Andrew Brock、Theodore Lim、James M Ritchie和NickWeston。使用内省对抗网络进行神经照片编辑。arXiv预印本arXiv：1609.07093，2016。1[8] Jooyoung Choi 、 Sungwon Kim 、 Yonghyun Jeong 、Youngjune Gwon和Sungroh Yoon。Ilvr：用于去噪扩散概 率 模 型 的 条 件 化 方 法 。 arXiv 预 印 本 arXiv ：2108.02938，2021。4[9] Yunjey Choi，Minje Choi，Munyoung Kim，Jung-WooHa，Sunghun Kim，and Jaegul Choo.Stargan：用于多域图像到图像翻译的统一生成对抗网络在IEEE计算机视觉和模式识别会议论文集，第8789-8797页，2018年。5[10] Yunjey Choi ， Youngjung Uh ， Jaejun Yoo ， Jung-WooHa.Stargan v2：多领域的多样化图像合成。在IEEE/CVF计算机视觉和模式识别会议论文集，第8188-8197页，2020年。5[11] Yunjey Choi， Youngjung Uh ， Jaejun Yoo ， Jung-WooHa.Stargan v2：多领域的多样化图像合成在IEEE计算机视觉和模式识别会议论文集，2020年。五、八[12] Giannis Daras ， Augustus Odena ， Han Zhang ， andAlexan- dros G Dimakis.Your local gan ： Designing twodimensional local attention mechanisms for generativemodels.在IEEE/CVF计算机视觉和模式识别会议上，第14531-14539页，2020年。二、八[13] 邓健康，贾国，薛念南，Stefanos Zafeiriou。Arcface：用于深层面部识别的附加角裕度损失在IEEE/CVF计算机视觉和模式识别集，第4690四、八[14] 普拉富拉·达里瓦尔和亚历克斯·尼科尔。扩散模型在图像合成中优于gans。arXiv预印本arXiv：2105.05233，2021。二、三、四[15] Laurent Dinh，Jascha Sohl-Dickstein，and Samy Ben-gio.使 用 实 nvp 的 密 度 估 计 。 arXiv 预 印 本 arXiv ：1605.08803，2016。2[16] Rinon Gal，Or Patashnik，Haggai Maron，Gal Chechik，and Daniel Cohen-Or. Stylegan-nada：图像生成器的arXiv预印本arXiv：2108.00946，2021。二三六七[17] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。《神经信息处理系统进展》，2014年第27期。2[18] Jonathan Ho，Ajay Jain，and Pieter Abbeel.去噪扩散概率模型。arXiv预印本arXiv：2006.11239，2020。二、三、四[19] Alexia Jolicoeur-Martineau、Rémi Piché-Taillefer、RémiTa- chet des Combes和Ioannis Mitliagkas。对抗分数匹配和改进的图像生成采样arXiv预印本arXiv：2009.05475，2020。2[20] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.为提高质量、稳定性和变异性而进行的干细胞生长。arXiv预印本arXiv：1710.10196，2017。五七八[21] Tero Karras Samuli Laine和Timo Aila一个基于样式的生成器架构，用于生成对抗网络。在IEEE/CVF计算机视觉和模式识别集，第4401二、七[22] Tero Karras ， Samuli Laine ， Miika Aittala ， JanneHellsten，Jaakko Lehtinen，and Timo Aila.分析和改进了扫描仪的图像质量。在IEEE/CVF计算机视觉和模式识别会议论文集，第8110-8119页，2020年。二、七[23] Diederik P Kingma和Prafulla Dhariwal。Glow：具有可逆1x1卷积的生成流。arXiv预印本arXiv：1807.03039，2018。2[24] Diederik P Kingma和Max Welling。自动编码变分贝叶斯。arXiv预印本arXiv：1312.6114，2013。2[25] 孟晨林，宋扬，宋佳明，吴佳军，朱军燕，和StefanoErmon. SDedit：图像合成和编辑与随机微分方程。arXiv预印本arXiv：2108.01073，2021。4[26] 雅各布·梅尼克和纳尔·卡尔切布伦纳。使用子尺度像素网 络 和 多 维 放 大 生 成 高 保 真 arXiv 预 印 本 arXiv ：1812.01608，2018。2[27] AaronvandenOord 、 OriolVinyals 和 KorayKavukcuoglu。神经离散表示学习。arXiv预印本arXiv：1711.00937，2017。2[28] 或 者 Patashnik ， Zongze Wu ， Eli Shechtman ， DanielCohen-Or，and Dani Lischinski.Styleclip：文本驱动的风格图像处理。arXiv预印本arXiv：2103.17249，2021。二三六七[29] Alec Radford，Jong Wook Kim，Chris Hallacy，AdityaRamesh ， Gabriel Goh ， Sandhini Agarwal ， GirishSastry，Amanda Askell，Pamela Mishkin，Jack Clark，etal.从自然语言监督中学习可转移的视觉模型arXiv预印本arXiv：2103.00020，2021。二、三、八[30] Ali Razavi，Aaron van den Oord和Oriol Vinyals。用vq-fm-2生成多种高保真图像神经信息处理系统的进展，第14866-14876页，2019年22437[31] 达尼洛·雷曾德和沙基尔·穆罕默德。具有正规化流的变分《国际机器学习会议》，第1530-1538页。PMLR，2015. 2[32] Elad Richardson 、 Yuval Alaluf 、 Or Patashnik 、 YotamNitzan、Yaniv Azar、Stav Shapiro和Daniel Cohen-Or。Encoding in style：一个用于图像到图像翻译的风格编码器。在IEEE/CVF计算机视觉和模式识别会议论文集，第2287-2296页，2021年。一、二、六、七[33] Olaf Ronneberger，Philipp Fischer，and Thomas Brox.U-网：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预，第234施普林格，2015年。4[34] David