基于神经元的可微概率树生成器的图像拼贴方法

3729SoftCollage：一个用于图像拼贴的可微概率树生成器清华大学软件学院，清华大学软件2快手科技，北京，中国{yujh21，zmr20} @ mails.tsinghua.edu.cnchenlee@tsinghua.edu.cn limading@kuaishou.com摘要图像拼贴任务旨在为图像集合创建一个信息丰富且具有视觉美感的视觉摘要。虽然最近的一些工作利用基于树的算法来更好地保存图像内容，但它们都采用手工调整规则来优化拼贴树结构，导致无法充分探索拼贴树的结构空间。我们的关键思想是将离散的树结构空间软化为连续的概率传统的基于树的拼贴拼贴空间我们提出了SoftCollage，这是一种新的方法，它采用基于神经元的可微概率树生成器来生成以深度图像特征、纵横比和画布大小为条件的保持相关性的拼贴树的概率分布。可微特性允许我们将基于树的拼贴生成公式化为可微过程，并直接利用梯度以端到端的方式在概率空间水平上优化拼贴布局。为了促进图像拼贴研究，我们提出了AIC，一个大规模的公共可用的图像拼贴评价注释数据集。在引入的数据集上进行的大量实验证明了该方法的优越性能。数据和代码可以在https：//github上找到。com/ChineseYjh/SoftCollage.1. 介绍图像拼贴的目的是为一组图像创造一个信息量大、美学质量高的由于这项任务需要专业的拼贴知识，业余爱好者对自动图像拼贴工具有巨大的需求[16]。因此，许多研究工作都试图自动化图像拼贴的过程。虽然许多作品[4，12，18，19，25，26，33，41]在改善视觉感知方面取得了一定程度的成功，*通讯作者。本研究得到了国家自然科学基金项目（批准号：61972221、62021002、61572274）和清华-快手未来媒体数据研究所的部分资助。我们感谢潘兴佳准备了一些比较结果。图1.传统方法的优化范例和建议的SoftCollage。通过将离散树结构τ软化到概率空间中，我们首次将基于树的拼贴生成表示为一个可微过程该算法不采用手工调整的方法，而是直接利用准则损失的梯度来优化树的概率分布τθ，从而方便了树的结构探索。拼贴结果，它们带来了图像伪影[18，25，26，41]和图像重叠[19，33，36，40]。为了解决这些缺陷，开发了一些基于树的算法[3，8，16，23，37，38一个基于树的拼贴画被编码为一个二叉树，导致画布的递归分区，如图所示。二、在树中，每个叶节点对应于一个图像，每个内部节点对应于一个边界框，其设计为水平（现有的基于树的方法设计了一个两阶段的过程，其中在第一阶段中，图像被布置在标准的拼贴树中，并且在第二阶段中，通过特定的双射映射函数将树映射到拼贴因此，拼贴布局优化被转换为一个最优树结构搜索问题。然而，所有现有的工作都只是诉诸启发式手工调整规则时，寻找最佳的树结构，导致无法充分探索拼贴树的结构空间（图。（3）第三章。深度学习为学习高质量的拼贴树提供了一种很有前途的方法。不幸的是，两个阶段的基于树的拼贴生成过程是不可区分的，因为两个阶段都包括dis-covering。初始化标准手工制作的调整规则图像采集拼贴树软件拼贴树概率分布抽样拼贴集树生成器样品地图准则损失图像采集反向传播3730V水平切割HH 垂直切割V标准拼贴树基于树的拼贴图2.一个从标准拼贴树到基于树的拼贴的映射示例防止反向传播的具体操作。尽管最近的基于树的进展[16，23]利用了学习策略，但他们仅在第一阶段将其应用于产生语义特征这些作品取得了很大的进步，因为将相关的图像放在一起可以促进拼贴信息[18，38，41]。然而，这些方法仍然采用手工制作的方案来细化树结构，并且未能充分探索解决方案空间（图1）。（3）第三章。最近，尽管Panet al. [23]首次引入反向传播来微调纵横比和分裂比，但由于基于树的过程的不可微特性，他们仍然未能将梯度传播回来以优化拼贴树结构。在本文中，我们攻击的关键问题，使整个两阶段的基于树的拼贴画生成过程（图。1）。具体来说，首先，我们提出了一种新的基于神经元的可微概率树生成器来模拟基于树的过程的第一阶段。我们的树生成器利用图像的深度特征和嵌入的信息，包括纵横比和画 布 大 小 ， 构 建 一 个 相 关 性 保 持 的 概 率 拼 贴 树（PCtree），它通过建模节点类型分布来构建概率空间（节点的切割类型为水平（“H”）或垂直（“V”））和 边 连 接 分 布 （ 子 节 点 在 左 边 （ “L” ） 或 右 边（“R”））（图10）。（五）。其次，我们将树生成器优化公式化为一个端到端框架，采用策略梯度技术[30]，自然克服了基于树的过程第二阶段的区分困难。该优化范式直接利用拼贴准则损失的梯度在概率空间层次上优化拼贴树结构，而不是在实例层次上手工调整拼贴树结构，有利于探索最优拼贴结构.此外，该领域缺乏具有足够标签的基准数据集进行定量评估。为了促进图像拼贴研究，我们提出了AIC，一个大规模的公共可用的图像拼贴评价注释数据集。主要贡献概述如下。• 我们提出了一种新的基于神经元的概率树生成器，它构造(a) [23]（b）我们的图3.由于未能充分探索拼贴树的结构空间(a) 仍然包含遭受严重纵横比失真的图像（红色虚线矩形），并且无法将类似的图像放置在一起（蓝色虚线椭圆）。我们的结果（b）较好地保持了纵横比和内容相关性根据图像的深度特征、宽高比和画布大小来保存拼贴树。• 我们制定了基于树的拼贴生成过程作为一个可微的过程，并首次引入了一个端到端的学习策略来执行基于梯度的结构优化。• 我们提供了一个大规模的公共可用的注释基准数据集的图像拼贴方法的评估。• 我们进行了广泛的实验和用户研究，并表明我们的模型优于国家的最先进的方法。2. 相关工作以往的图像拼贴作品主要分为两大类：参数化方法和基于划分的方法。我们的基于树的方法属于后者。参数化方法将拼贴画参数化，变量包括每个图像的位置，比例，方向和层索引，并设计定义良好的目标函数以直接求解最佳变量[4，9，12，19，25这些作品要么通过一个概率图形框架[19，25，26，33，36，40]对问题进行建模，要么以启发式的方式解决拼贴参数[4，9，12，27]。为了保持图像之间的相关性，一些方法利用特征空间来获取相关性，并将图像投影到可视化空间中[1，13，20，21，29，39]。然而，这些方法引入图像重叠和伪影问题。基于分区的方法对画布进行分区，并为每个图像分配相应的区域以组成拼贴[3，8，10，16，18，23，28，31，37，38，41]。 一些作 品 利 用 Voronoi tessellation [31] 和 packing al-tessem[18，41]为每个图像的不规则显著区域分配画布空间，这在混合图像边界时会带来图像伪影。因此，开发了基于树的拼贴以更好地保留图像内容[3，8，16，23，28，37，38]。Atkins [3]首先介绍了基于树的拼贴并解决了束搜索中的树结构3731. - 是的ΣΣ--特征提取器LRLRLR骨干边缘分类器共享共享InfoEmbed重量重量暹罗暹罗FC FC FC共享权重骨干融合模块InfoEmbedAttFusion节点分类器FC共享权重HV骨干共享权重共享权重InfoEmbedAttFusionFC共享权重HV骨干共享权重共享权重InfoEmbedAttFusionFCHV64转发转发通过最近邻策略图4.我们的树生成器的管道。这里的图像集合大小是四个，我们的特征提取器最初提取每个图像的特征。随后，NNP和融合模块以自下而上的方式迭代地选择子节点以产生父特征节点，直到获取概率拼贴树的根特征节点。最后，边分类器和节点分类器分别生成pe和pn。σ是softmax激活。方式Fan [8]通过设计拼贴树的遗传算子，采用遗传算法对[3]进行了Wu和Aizawa [38]以贪婪的方式初始化树结构，并根据手工制作的失真阈值迭代地调整布局。这些基于树的方法都设计了启发式的手工规则来调整树的结构，从而不能充分地探索解空间。最近，Panetal.[23]利用反向传播来细化[38]中区域盒的纵横比和分束比。然而，由于基于树的拼贴生成过程的不可微特性，[23]中的梯度仍然无法回流以与以往工作不同的是，我们通过软化拼贴树的离散结构来解决过程的微分问题，从而使梯度可以直接更新拼贴树的所有结构细节。3. 方法问题表述。根据文献，一个高质量的拼贴画应该满足以下标准：1）紧凑。拼贴要充分利用画布空间，尽量减少空白。2)保持比例拼贴画中的图像应该受到低宽高比失真，以保持美学。3)内容保存。图像内容，特别是显著区域，应防止遮挡。图像重叠降低了拼贴的代表性和美感[23]。4)相关性保持最近的工作表明，将相关的图像放在一起有助于拼贴的信息量[18，23，38，41]。图5. 我们的概率拼贴树软化了标准的颜色-通过将节点类型分布建模为pn，和边缘连接分布作为Pe。因此，给定图像集合Ii，画布宽度w和高度h，我们的目标是设计树生成器G。 该生成器在第一阶段中构造拼贴树τ，并且在第二阶段中经由映射函数g将该树映射到最终拼贴C。假设我们将上述四个准则集成为一个准则函数F，我们的目标是求解最优树生成器G= arg maxGF gG（w，h，{I i}）。概况. 为了以端到端的方式解决上述两个阶段的问题，首先我们提出了一种其次，我们通过反向传播近似准则损失的梯度来优化我们的生成器。这两个步骤分别解决了两个阶段的微分问题在接下来的第3.1条然后，我们介绍了我们的神经发生器的模型架构在第二节。3.2. 最后，我们提出了我们的基于梯度的优化-H VL RVH VH V向前安排HHL RL RH VVL R概率拼贴树图像采集标准拼贴树3732联系我们.Σnnθ我θJ这里，ari是图像Ii的长宽比，我们解-e我 Jn我 nJ θ我θJneEters dw、dh、dar、dbb和dinf是超参数。BBp（1）（n）=pc=“V”|τ（n），τ（n）（二）FINF算法一：树的构建过程输入：w，h，{Ii}1 {i};2fi数据提取器（Ii）3次重复4fnx，fny←NNP（{fi}）;5fnz←FusionModule（fnx，fny）;6pe（nx，ny）←EdgeClassifier（fnx，fny）;7pn（nz）←节点分类器（fnz）;8从{fi}中去掉fnx，fny，并将fnz加到{fi}中;9N←N−1;10 直到N= 1;在SEC的范例。三点三3.1. 概率拼贴树生成可能是拼贴树。 Standard collage tree represents collagelayout using discrete structural parameters includ- ingedge connection and node type [3], while the proposedprobabilistic collage tree (PCtree) softens the parametersvia modeling the node type distribution (the cut type of thenode is designated as horizontal(“H”) or vertical (“V”)) aspnandtheedgeconnectiondistribution(thefirstchildnodein the child list is designated as the left (“L”) or right (“R”)child node) as pe, as shown in Fig. 五、 PCtree和标准拼贴树中的节点一一对应。因此，gi表示具有子节点ni和nj的PC树中的内部节点n，以及标准拼贴树中的节点n、ni和nj（分别对应于n、ni和nj），我们定义pn，pe∈R2为在图4中。特征提取器提取图像的语义特征来学习图像之间的相关性，并嵌入纵横比和画布信息来学习布局调整。融合模块融合子节点的特征，以产生用于自底向上树构造的父节点特征边分类器确定子节点和父节点之间的边连接分布。节点分类器预测内部节点的切割类型分布。树构造算法。为了保持图像之间的相关性，我们采用最近邻策略（NNP）进行树的建设，在贪婪的方式。给定一个特征列表，我们的NNP会找到具有最接近欧几里得距离的特征对树的构造过程在Algo中描述其中fn表示节点的特征n. 该算法使用了优先级队列和哈希表，时间复杂度为O（N2logN），其中N为图像集的大小。3.2. 模型架构在本节中，我们将详细介绍四个生成器组件的网络架构。特征提取器。该组件由两个路径特征提取器组成，如图所示.4.第一章一条路径使用预先训练的骨干网络来提取内容fea，来自每个图像Ii的真实f（i）（θbb），并且在训练期间微调网络参数θbb另一条路径引入信息嵌入edw、edh、edar以注入can-vas大小和图像宽高比信号，这些信号通过全连接层和ReLU激活函数融合[11]，如下所示：p（0）（n）=p.cn=“H”|τθ（n<$i），τθ（n<$j）<$（1）.Σn（i）.Σ=ReLUW1[w·edw，h·edh，ari·edar]T+b1（六）p（0）（n，n）=p. l=n，r=n|τ（n），τ（n）（3）将f（i）和f（i）（θbb）的维数记为dinf和dbbp（1）（n<$i，n<$j）=pln=nj，rn=ni|τθ（n<$i），τθ（n<$j）（4）其中p（i）和p（i）表示第i个（i∈{0，1}）分量分别嵌入行向量中的元素edw，edh，edar都初始化为1，它们都很好-在训练中调整w1和b1也是可学习的参数;eINFBB3733拼贴树的空间和标准的可能性我BB给定PCtreeτθ的拼贴树τ可以计算为INFθ聚变模块。此模块应获取父fea-nenn给定子节点，即， ffus（fn，fn）=ffus（fn，fn）其中Cn是n的割型，ln是p的割型，n的左子节点，rn是n的右子节点，并且τθ（x）表示以节点x为根的PCtreeτθ的子树。通过软化参数，我们建立了一个概率因为来自这两条路径的信号是独立的-dent，图像i的叶节点特征fni通过以下获得：连接这两个特征向量。fn=浓度f（i）（θbb），f（i）<$（7）p（τ|τ）=Yp（1{cn=“V”}）。n≠0×p（0）。中国（5）通过对称不变变换的两个真正的节点3734{·}n∈N（τ）其中，N（τ）是τ的内节点集，n，ln和rn表示分别对应于n、ln和rn的PCtree中的节点，并且1是指示函数（当条件为真时，值为1，否则为0）。发电机组件。为了生成PCtree，我们设计了四个可学习的组件，即.特征提取器、融合模块、边缘分类器和节点分类器，如图所示3735其中ffus表示融合模块。我们的想法是利用两个子特征的自注意加权和3736以满足对称不变性。 为了获得权重vec-tors，我们利用自我关注的嵌入技术[17]，3737设计方程（10），其将添加剂操作注入到宽高比信息融合过程。 此外，我们uti-3738自我注意机制[32]，用于预处理输入用于注入乘性信号的特征（等式1）（9））。Bene-3739←. ΣM...A=softmaxWtanhWfs2s1.Σ∈ ∈∈∈ ∈∈≤2b3θ←θ−α× <$θL（θ）;M我θ我J算法2：我们模型的优化过程输入：w，h，{Ii}损失函数我们定义Eτ<$L（τ;θ，π）[F（g（τ））]为：Fθ（τ;π），并将梯度近似为1 随机初始化θ;2t0;3次重复Fθ（τ;π）1MMi=1F.g（τi）对数p（τ |τθ）（十六）4根据Algo算法，通过θ和π构造概率拼贴树τ θ。1个;5样本{τ i}M来自p（τ |τ θ）;6通过方程计算L（θ）（17）;7其中M是样本τi的数量。因此，我们将损失函数定义为L（θ）= −1<$F。g（τ）log p（τ |τ）（17）i=18t←t+ 1;9 直到t≥Tm;融合模块通过两阶段的变换，能够记忆多种子树结构模式，增强了模型的学习能力。f（i，j）= [fn，fn]T（8）在映射函数g方面，我们首先利用一种有效的映射算法[8]生成具有画布空白损失rb的拼贴，即：画布的空白空间比例，我们拉伸整体拼贴，以适应画布在后处理过程中。我们的方法避免了画布空白空间，通过引入小的长宽比失真。真正的-因此，画布空白损失具有显著更差的IM-'（i，j）注意。f（i，j）WQ，f（i，j）WK，f（i，j）WV（9）比纵横比损失对用户视觉体验的影响更大'（i，j）'中国（10）小了此外，我们的映射函数在防止图像内容遮挡方面受益于[8]关于准则F，我们主要关注比率fnp=Ws3flattenAf（i，j） +b2（11）这里，WQRd×dQ，WKRd×dK，WVRd×dV，Ws1Rd1×dV，Ws2Rd2×d1，Ws3Rd×d2dV，b2都是可学习的参数，其中d是保存标准，因为我们的NNP和映射函数已经考虑了其他三个标准。对于这一部分，我们为画布空白损失rb设计了一个奖励整形函数R，节点特征的尺寸。dQ，dK，dV，d1和d2都是超参数。当量（9）是标度的点积注意力R（rb）=−R0，r3rbR0（rb−r2），r rrPI−Pc<$2，其中N是集合我其中，PI是图像I的位置向量，PcI是图像I的位置向量。图像类别标号cI的质心位置向量I. 所有位置坐标均由w和h归一化。• 显著性损失Ms。该度量衡量显着性保持能力。拼贴掩模是通过用相应的显著性掩模替换拼贴中的每个图像来获得的。我们定义Ms= 1其中S1是图像I，IS I是拼贴面具，|·|操作者表4.在AIC测试集上对该方法进行了推广研究当没有预先训练时，模型直接在测试集上训练。‘用类别、主题和显著性掩模对ICSS中的图像集进行标记，从而支持Mn和Ms的计算。有了五重交叉的想法-验证，我们将图像以4：1的比例划分，计算蒙版的显著区域。4.1. 带注释的图像收集数据集未标记图像集合的拼贴结果不能支持Mn和Ms的计算。为了鼓励该领域的研究工作公平竞争，我们基于显着性检测数据集DUTS [34]收集了一个带注释的图像收集数据集，即AIC，该数据集部分收集自ImageNet[7]，具有较高的泛化能力[35]。首先从DUTS中选取3402幅图像构建图像采集采样源ICSS，ICSS覆盖72个类别，每个类别下至少有10幅图像。随后，我们将72个类别手动分为11个主题（Tab.1）。ICSS中图像的纵横比范围为0.4625至1.9048。ICSS中的每个图像都是分类为训练集和测试集，两个集都有一个近似相同的分布。最后，我们开发了一个图像采集采样框架，用于从ICSS生成AIC。该框架要求一个集合中的每个图像都是从ICSS的一个相同主题中采样的此外，为了获得有效的Mn值，每个集合应包含至少两个类别的图像，并且集合中的每个此外，ICSS中每个集合的类别分布符合均匀分布，并且不受先前类别分布的影响。该框架从ICSS的训练集和测试集中抽取AIC的训练集和测试集。因此，AIC包括大小为10，15，20，25，30 50和100。火车集有562个图像集我们✓’1.155 0.273美元我们✓✓<1.311 0.251我们✓✓>1.164 0.254我们✓✓1.091 0.256我们’✓1.083 0.249美元3742五标度优秀（4）第1003章好（三）第1102章边缘（二）差（1）坏（0）评分KappaSHP [6]百分之十七点五百分之五十点八27.5%百分之四点二百分之零点零2.8160.82CLT [2]百分之十六点七51.2%百分之二十八点八百分之三点三百分之零点零2.8130.80[23]第二十三话百分之二十九点二百分之五十二点九15.4%百分之二点五百分之零点零3.0880.76我们34.2%百分之五十一点七12.0%二点一厘百分之零点零3.1800.80Side-by-side赢得同样好同样的边界共同贫穷的损失∆Kappa我们的vs. SHP [6]60.6%百分之二十八点一百分之十一点三百分之零点零百分之零点零60.6%0.75我们的vs. CLT [2]63.1%百分之二十六点三百分之十点六百分之零点零百分之零点零63.1%0.71我们的vs. [23]第二十三话百分之二十六点九百分之五十七点五百分之九点四百分之零点零6.2%百分之二十点七0.67表5.5级人工评估以及AIC上拼贴结果的并排人工评估5级评价中的得分是加权平均数。在并排评估中，获胜率和失败率之间的差距表示。方法召回精确度准确度F1评分沪公网安备31010502000115号2006年12月31日[23] 0.808 0.703 0.618 0.745我们的表6.信息传递测试结果。我们考察了四个指标，即：用查全率、查准率和F1分数来评价拼贴画的信息传达能力。包括18535个图像，并且测试集具有包括1260个图像的62个图像集合。补充材料中详细介绍了该框架。4.2. 实验设置实验数据我们使用AIC的训练集*进行基线比较实验和消融分析，并使用测试集进行泛化研究。在AIC的训练集上进行了用户研究实作详细数据。 我们使用PyTorch工具箱[24]在一个GeForce RTX 3090 GPU上实现了所提出的框架。我们采用在ImageNet [7]上预训练的ResNet-50 [14]作为特征提取器的骨干网络，并使用Adam优化器[15]为每个图像集合训练我们的模型。其他实施细节见补充材料。4.3. 定量实验与基线方法的比较。与基线方法相比，我们的方法在AIC上实现了类似或更好的Mr，Mn和Ms度量结果，如表1所示。二、至于Mc和Mo，由于树结构的优点，基线方法和我们的模型都能达到最优的零值2为简洁。图7示出了一些比较结果。更多结果见补充材料。消融分析。 为了显示模型中组件的详细贡献，我们对AIC进行了消融实验（表1）。（3）第三章。仅展示了Mr和Mn度量，因为其他度量在*我们在训练集中的每个图像集合中分别学习特定的生成器。因此，我们的训练集与传统深度学习背景下的训练集定义不同。图6.用特征平均操作代替发生器的融合模块，得到了只有垂直切割的拼贴画。消融结果表明，特征提取器中的骨干网络和信息嵌入分别在保持相关性和减小比率失真方面是有效的结果还表明，融合多尺度对我们的模型的学习能力至关重要，没有它，我们的模型只能产生拼贴中的垂直切割（见图1）。（6）结果不好。此外，自注意机制改善了我们的模型，由于注入的乘法运算的纵横比信息。泛化研究。与以往的工作不同，我们的生成器可以在优化过程中学习布局知识，并推广到其他集合，而无需训练。为了研究影响模型泛化能力的瓶颈数据因素，我们通过控制主题和集合大小的变量进行了分析，4.第一章预训练的集合是随机选择的，只要它们满足相应的条件。选项卡. 结果表明，预训练集的大小对模型泛化能力的影响比主题对模型泛化能力的影响更显著4.4. 用户研究除了定量措施，我们进行了两个用户研究，以评估我们的方法的有效性我们为这个阶段选择了16个图像集合，涵盖了AIC中所有大小和主题的集合。每个用户研究都是通过不同的问卷对不同的参与者进行的，每个问题中的拼贴画都是随机排序的，以避免偏见。人类评估。 首先进行了5个量表的评价。为了测量我们的方法在基线上的增益，我们还进行了并排评估。这种比较任务比人类的5级评级任务更容易此外，Fleiss Kappa评分用于衡量评价者之间一致性的可靠性。这些评估的详细信息见补充材料。的3743[23]第23话我的世界，我的世界，我的世界图7. AIC上不同方法生成的拼贴结果比较。我们可以看到SHP [6]和CLT [2]都在拼贴中的图像中引入了内容遮挡（红色虚线矩形）。尽管VSM [23]避免了这一缺陷，但结果仍然包含遭受高纵横比失真的图像（红色虚线矩形），特别是当图像采集大小很大时。然而，我们的方法利用概率空间产生更接近全局最优的结果。值得注意的是，采用损失函数，而不需要等式Fp。（19）训练我们的模型导致拼贴中图像区域分配的严重不平衡。结果，如表中所示5，表明我们的方法在从人的角度产生高质量拼贴方面实质上优于所有基线高Kappa分数意味着评估者之间存在主要一致性信息传递测试。 我们进一步通过根据[22，23]的信息传递测试验证了我们的NNP的有效性。20名受试者参加了测试，他们被平均分为四组。每组对应一种拼贴方法。对于每个图像集合，我们向参与者展示相应的拼贴画20秒，然后要求他们进行二元分类测试，即选择他们在拼贴画中看到的图像，包括五个地面实况图像和五个负面样本（与地面实况共享相同的主题选项卡. 6显示了测试结果。我们的Collage受益于NNP，因此优于其他基线。我们发现，参与者选择的图像约占72%，这意味着部分-被试倾向于选择更多的图像作为记忆，导致召回率高于准确率。5. 结论在本文中，我们提出了SoftCollage，一种新的基于树的拼贴方法。我们的关键思想是将离散树结构软化到概率空间中。通过建立拼贴树生成器的拼贴概率分布模型，将拼贴树的生成过程描述为可微过程，用准则损失梯度代替手工调整方案来优化布局我们通过在大规模数据集AIC上的大量实验证明了该方法的有效性 . Currently, the GPU memory consump- tion of ourmodel is high when the size of image collec- tion is large.由于我们的方法在模型架构设计上的可扩展性，未来我们将探讨我们的模型的轻量化设计和知识提炼3744引用[1] 基于片段的web搜索结果的相似性保持可视化。IEEEtransactions on visualization and computer graphics，20（3）：457-470，2014。2[2] 拼贴画。在线， 2019年。https ： //www.collageitfree.com/. 六七八[3] C布莱恩·阿特金斯。阻止递归图像合成。第16届ACM多媒体国际会议论文集，第821-824页，2008年。一、二、三、四[4] 西蒙·比安科和吉安路易吉·乔卡。用户偏好建模和学习的喜悦照片拼贴生成。ACM Transactions on MultimediaComputing，Communications ，andApplications（TOMM），12（1）：1-23，2015. 一、二[5] JaneBromley，JamesWBentz，Le´onBottou，IsabelleGuyon，YannLeCun，CliffMoore，EduardS¨ckinger，andRoopakShah.使用“连体”时间延迟神 经 网 络 的 签 名 验 证 International Journal of PatternRecognition and Artificial Intelligence，7（04）：669-688，1993. 5[6] V. Cheung。形状拼贴。online，2013. http：//www.shapecollage.com/的网站。六七八[7] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。2009年IEEE计算机视觉和模式识别会议，第248-255页。Ieee，2009年。六、七[8] 简帆。一种用遗传算法快速评价照片版面的方法. 2012年IEEE多媒体和博览会研讨会国际会议，第308-313页。IEEE，2012。一、二、三、五[9] 袁干，张燕，孙正兴，张浩。四重奏分析与主动学习的定性照片拼贴。计算机图形，88：35-44，2020。2[10] J. Geigel，A.Loui和E.路易利用遗传演算法于电子影集之自动版面设计Proceedings of SPIE - The InternationalSociety for Optical Engineering，pages 79-90，2001. 2[11] 泽维尔·格洛罗特安托万·博德斯和约舒亚·本吉奥。深度稀疏整流神经网络。机器学习研究杂志，15：315-323，2011。4[12] Stas Goferman，Ayellet Tal，and Lihi Zelnik-Manor.像拼图一样的拼贴画。在计算机图形论坛，第29卷，第459-468页Wiley Online Library，2010。一、二[13] E. Gomez-Nieto，W. Casaca，D.莫塔岛Hartmann，G.Taubin和L. G.诺纳托处理几何排列中IEEE Transactionson Vi- sualization Computer Graphics，22（3）：1223-1235，2016。2[14] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。六、七[15] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的方法。在Yoshua Bengio和Yann LeCun，编辑，第三届学习表征国际会议，ICLR 2015，美国加利福尼亚州圣地亚哥，2015年5月7日至9日，会议跟踪会议，2015年。7[16] Yuan Liang，Xiting Wang，Song-Hai Zhang，Shi-MinHu，and Shixia Liu.照片编辑器：交互式照片重组-裁剪 。 IEEE transactions on visualization and computergraphics，24（10）：2728-2742，2017。一、二[17] Zhouhan Lin ， Minwei Feng ， C 'ıcero Nogueira dosSantos ， Mo Yu ， Bing Xiang ， Bowen Zhou ， andYoonge Bengio.一个结构化的自我关注的句子嵌入。在第五届国际学习表征会议上，ICLR 2017，法国土伦，2017 年 4 月 24 日 至 26 日 ， 会 议 跟 踪 程 序 。OpenReview.net，2017年。4[18] Lingjie Liu，Hongjie Zhang，Guangmei Jing，YanwenGuo，Zhonggui Chen，and Wenping Wang.保留相关性的 照 片 拼 贴 。 IEEE transactions on visualization andcomputer graphics，24（6）：1956-1968，2017。一、二、三、六[19] Tie Liu，Jingdong Wang，Jian Sun，Nanning Zheng，Xiaoou Tang ，and Heung-Yeung Shum. 拼贴画。IEEETrans-actions on Multimedia， 11（ 7 ） ： 1225-1239，2009. 一、二[20] G. P. Nguyen和M.担心使用基于相似性的可视化交互式访 问 大 型 Journal of Visual Languages Computing ， 19（2）：203-224，2008. 2[21] E. G. 涅托湾卡萨卡湖G. Nonato和G.陶宾混合整数优化排样方法。 在图形学中，Patterns Images，2013. 2[22] 奥德·奥利瓦和安东尼奥·托拉尔巴对场景的形状进行建模：空间