侵蚀边界对拼图问题的求解的影响

3526用侵蚀边界Dov BridgerTechnion，以色列db@campus.technion.ac.il多夫·达农以色列特拉维夫大学dovdanon@post.tau.ac.ilAyellet TalTechnion，以色列ayellet@ee.technion.ac.il输入[27]图1：用侵蚀边界解决谜题。 每个拼图块周围的黑色像素代表丢失的数据。 没有一个拼图块邻居有一个共享的边界，然而我们的方法能够放置这些拼图块。摘要拼图求解是计算机视觉中一个有趣的问题，本文重点介绍了一个特定的变种的问题解决puz- zles侵蚀边界。这种侵蚀使得问题变得非常困难，因为大多数现有的求解器只利用边界处的信息。然而，这个变量是重要的，因为侵蚀和丢失的数据往往发生在边界。我们提出的方法的关键思想是修复拼图块之间的侵蚀边界，然后利用修复区域的质量将一对拼图块分类为“相邻或不相邻”。我们的架构的一个有趣的特点是，相同的GAN引擎用于修复和分类;第二个任务的训练仅仅是第一个任务训练的继续，从它停止的点开始。我们表明，我们的方法优于其他SOTA方法。1. 介绍拼图解决在许多应用中都很重要，包括图像编辑[5]，生物学[25]，考古学[3，4，23]和恢复破碎的文档或照片[4，22，26]等等。该问题被证明是NP-完成[8]。然而，已经提出了算法来解决各种类型的难题。本文重点研究的情况下，我们提供了一个无序的非重叠的正方形图像片段的集合。我们的目标是找到正确的位置来重建图像。已经提出了各种解决方案[6，11，27，29，31，33，36]，取得了很好的效果。这一成功导致人们试图处理更多的棘手案件，其中基本问题是放松的。例如，[27]研究了缺失棋子和混合谜题的情况，而[15]则允许棋子是最近处理了边界被侵蚀的谜题在[28]中。他们的方法适用于3×3的谜题，并在这种情况下给出了很好的结果。 它不能扩展到处理更大的谜题归因于其指数级的复杂性和它对学习棋子绝对位置的依赖。我们也来看看后一种变体。目标是从照片的正方形碎片重建2D图像，其中碎片的边缘被损坏，如图1所示。因此，两个相邻的片之间不具有连续的边界。侵蚀的边界可以在各种现实世界的应用中找到我们的解决方案是通用和可扩展的。以前解决大型拼图游戏的方法不能被利用，因为它们只依赖于来自3527边界来衡量一对作品的兼容性。事实上，上述方法都没有使用距离片的边界超过2个像素的任何像素中的因此，在仅从每个部分的边界移除单行/列像素的情况下，这些方法可能失败。我们的方法基于以下关键思想。首先，对于每一对拼图块，我们使用已知像素以便沿着它们的连接边界在间隙中产生丢失的像素。这是通过一个定制的和训练的基于GAN的修复算法来完成的。第二，我们的核心假设是，我们的修复结果之间的相邻件将明显优于那些非邻居。这允许我们训练一个邻居分类器，评估任何两个片段之间的修复质量，并计算它们是邻居的概率。我们新的成对相异性度量与该概率成反比。最后，像以前的大多数作品一样，我们使用基于成对相异性分数的贪婪放置方法来解决难题。我们的模型的一个引人注目的组成部分是，从修复任务的学习转移到邻居/非邻居分类任务，使用相同的我们表明，在前者中学习的权重显着提高了后者的结果。我们展示了常用数据集的最新结果[6，29]。因此，我们的贡献是三方面的。 首先，我们提出了一种新颖的和有效的拼图求解器的情况下，件已侵蚀的边界。其次，关键思想是当信息缺失时，我们可以生成它;然后，基于生成信息的质量，我们可以得出关于相似性的结论。在推理时使用判别器的这种想法可以用于其他应用，例如图像重定向或面部生成，以进一步改进所生成的图像。最后，但并非最不重要的是，我们提出了国家的最先进的结果的情况下，拼图磨损的边界。2. 相关工作拼图问题在计算机首次解决之前很久就已经存在了第一个计算拼图求解器于1964年提出，能够处理九件问题[9]。文[8]证明了该问题是NP-完全的。因此，对于非平凡大小的谜题，不可能精确地解决正方形拼图解决。计算机视觉中的大多数作品都假设输入由图像的相等大小的正方形片段组成。第一个求解器由[6]引入，其中提出了贪婪算法和基准。[36]中讨论的算法通过使用粒子滤波器改进了结果在[29]第一个全自动求解器出台它是基于一个贪婪的砂矿和一个新的预测为基础的相异性。该方法由[11]通用，用于处理未知方向的部件。在[33]中，通过向[ 11 ]中添加“循环约束”，证明了未知方向情况下的显著改进而不是追求一个贪婪的求解器，[31]提出了一种能够解决大型难题的遗传算法。 在[27]中，相容性函数利用了片段之间的相似性和这种相似性的可靠性。此外，在放置过程中，选择最小化出错可能性的工件，而不管其位置如何。研究了基本问题的变体。[27]的方法可以处理缺少棋子的谜题，也可以同时解决多个棋子混合在一起的谜题。在[15]中，该问题被扩展到考虑可以沿着其邻接边缘以任意偏移彼此相邻放置的矩形件在[28]中，所处理的变体是这里研究的变体：解决边界磨损的难题建议的al-出租m管理，以准确地解决39%的9件puz- zles。这是通过预测图像片段相对于3×3网格的全局定位来完成的这种方法是指数的，因此不可扩展，因为它测试了9个片段的所有可能位置。此外，依赖于学习每个片段的位置，而不是片段之间的不相似性，使解决方案适用于数据集图像的特定结构（例如，相对于背景的居中对象的图像）。其他类型的谜题。有些作品假定一般形状的自然图像块.在[39]中，提出了一种基于图的优化框架，利用片段的几何形状及其颜色。在[18]中，重点是碎片之间的间隙然而，用户提供了一个近似的初始放置，并且算法通过同时对齐所有碎片来细化配准在这两种情况下，零件的数量相当少。[13]中研究了基于几何的2D图形拼图，其中引入了“类人方法”，识别角和框架块，并从拼图的外部框架向内部进行贪婪放置。在[17]中，欧几里德签名[16]用于匹配曲线，同时放松具有四个明确定义的边和矩形拼图的块的约束最后，找到一种方法使被毁坏的古代文物复活，多年来激发了科学家的想象力[35]。一些工作集中在基于3D几何特征的碎片匹配上，而不是执行完整的重新组装[10，34]。这些3D几何特征在[32]中用于基于遗传算法的全局重新组装，其中解决了一个极具挑战性的考古学示例。3528图2：模型架构。我们的模型包括四个阶段：间隙填充、相邻分类、成对相异性和放置。左边的两个方块仅用于训练，而解谜则从第三个方块开始。网络中颜色的变化（从黄色到绿色，或从绿色到蓝色）表示训练，而恒定的颜色（绿色或蓝色）仅表示推理发电机和整流器网络从一个块到另一个块。虚线表示其中的所有图像都是相同类型的，如左侧文本中所解释的。3. 模型我们给出了一组无序的正方形图像片段与侵蚀的边界。我们假设（1）像以前的作品一样，每个片段具有相同的大小;（2）已知受损区域的最大范围;（3）方向未知（可选）。我们的目标是重建图像，即来找到每一片的正确位置和方向我们的模型（如图2所示）基于以下三个关键思想。首先，为了确定两个部分成为邻居的可能性，我们填补了它们之间的空白。如果这种填充是我们分两步实现这个想法我们首先学习如何在我们的特殊情况下执行修复。这是使用GAN设置完成的，其中生成器学习如何修补间隙。一个训练器帮助它使用相邻邻居的例子进行训练，这些邻居之间有间隙和没有间隙。第4节提供了详细信息。然后，我们学习如何区分真正的邻居从非邻居的基础上修复质量。我们表明，我们可以使用相同的生成器在这个分类任务中进一步训练相同的神经元（在架构和权重方面），只需向它提供邻居和非邻居的修复示例。与前一步只使用真邻居不同，在这一步中，使用了更广泛的非邻居示例域的相等表示。机器人将学习区分相邻块之间的修补间隙和非相邻块之间的修补间隙。我们希望它能成功地这样做，因为相邻的区域应该以合理的方式填充，而非相邻区域之间的间隙应该具有不切实际的内画结果。在完成训练之后，判别器在给定两个拼图块的输入时，将输出这两个拼图块在拼图解决方案中是邻居的概率。第5节详细阐述了这一步骤。第二个想法是，我们可以使用前面提到的计算值来计算表示两个片段之间的成对相异性的连续值。我们将给定方向上的不相似性设置为与从邻接输出的概率（即邻接的可能性）成反比。详情见第5最后，给定所有成对片段之间的成对相异性得分，我们应用[27]的贪婪放置。简而言之，以迭代的方式放置碎片。在每次迭代中，放置者从候选池中选择最佳棋子，以实现其与棋盘上现有棋子之间的最大兼容性相容性有利于彼此相异性低但与所有其他人相异性高的配对。每个放置的块将其最兼容的邻居添加到候选池中。4. 填充间隙给定一对棋子，我们的目标是以逼真的方式在它们之间的未知像素间隙中填充缺失的像素稍后，我们将根据此修补的质量识别真正的邻居图像修复存在各种方法[7，20，38，24，37，19，40，2，12]。最先进的冰毒3529ODS使用某种形式的生成对抗网络（GAN）[14]。我们已经尝试了几种方法[7，20，37，38]，发现虽然它们的结果对于修复完整图像非常好，但在我们的情况下，它们的效果并不好（见图3）。这可能是因为我们的图像很小（拼图部分），因此全局判别器，例如[20]中使用的，没有可靠的连接来学习。相反，我们引入了一个适合我们的输入类型的模型-一个矩形图像由两个小的相邻的正方形图像，代表两个相邻的拼图块。受[21]的启发，我们训练了一个GAN模型;不同的是，我们使用单个矩形掩码，描绘要修复的间隙在下文中，我们详细介绍了架构，培训和损失。架构 给定任意两个 相邻谜题的输入我们的GAN模型将学习生成一个合理的解决其边界上缺失像素的间隙。我们将生成器限制为仅更改间隙中的像素发电机：我们的发电机是一个U-Net[30]编码器-解码器结构，在每个层的对称对，并且在编码器和解码器之间没有瓶颈。输入图像进入编码器，并且在空间维度上以因子2减小，直到其退出并传送到解码器中。在解码器中，该过程是相反的，除了每个层还通过跳过连接被馈送来自编码器中的对应层的输出层的数量被设置为使得在从编码器到解码器的过渡处，最小尺寸将为1（在我们的情况下为6）。输入由两个相邻的拼图块组成，并排放置，中间有一个缺失像素的间隙。在进入模型之前，垂直相邻的邻居将旋转90度生成器生成整个图像，重写所有像素。为了不改变我们已经知道的像素，输出层是通过直接从输入复制所有已知像素来形成的，而其余的是通过网络生成的。基于该输出，计算稍后将定义的损失（等式1）。鉴别器。输入图像的宽度居中裁剪为大小的一半。根据我们的关键思想，使用间隙的修复质量来确定碎片是邻居的可能性，我们将双片图像的中心作为焦点。我们使用马尔可夫鉴别器与3层编码器（类似于生成器的编码器）。最后一层包含6×6个补丁，每个补丁具有单个概率值，将其平均以给出最终概率-放。这种方法捕获了局部斑块中的高频率[21]，这解释了结构的更好的保守性(a) 投入（b）[20]（c）[38]（c）我们的图3：修复结果。对于局部固定掩码，我们的修复方法可以更好地保留结构和边缘。 在所有的例子中，我们的修复连续-无缝地使用整个修复边界的结构，而[20，38]为了控制难度而改变我们希望生成器的损失函数同时考虑重建区域的准确性和图像的真实性。因此，损失函数由两个部分组成，每个部分满足一个要求。设GI是生成的图像，D（GI）是图像处理器受[21]的启发，发电机损失函数定义为：G损失=BCE（D（GI），1）+ λ L1（OB，GB）。（一）第一项，处理现实主义，衡量二进制交叉熵（BCE）之间的预测，这是因为在训练过程中，训练器学习区分真实图像和生成图像。所以，如果我们想问生成的图像有多真实在第二项中，L1（x，y）是生成的像素和原始像素之间的平均L1在这个方程中，λ是一个超参数，用于平衡两个损失分量，在我们的模型中设置为100我们定义的第二个损失函数是用于训练神经网络的。它表示原始图像和修复图像的预测误差。设OI为在边界像素被移除之前相邻拼图块的原始图像，删除.损失函数定义为：我们实现的目标。训练 一个训练样本由两个相邻的puz-D损失BCE（OI，1）+BCE（GI，0）=.（二）2zle片段是从一些训练图像中剪切出来的，去除每一片的边界像素要删除的边界的宽度是一个参数，BCE（OI，1）的目标是确保区分-nator将原始图像分类为“真实”;类似地，BCE（GI，0）的目标是将生成的图像分类为“假”。3530而不是提供完整的图像，年龄，我们发现，获得更好的结果时，使用输入的裁剪版本，集中在图像的中心生成的像素及其周围。这一观察结果与我们的关键思想一致，即使用间隙的修复质量来确定碎片是邻居的可能性关于执行情况的说明：我们在45，000个样本中训练了48个时期的GAN模型，这些样本是从DIV2K数据集中随机选择的157个图像中剪切出来的[1]。我们使用 批 量 大 小 为 1 ， 学 习 率 为 0 。 0002 为 生 成 器 ，0.0001，是一个。5. 正/负近邻分类在完成填补空白后，我们进入第二个训练阶段-学习邻居分类。我们的目标是将任何给定的拼图块对分类为正对（真正的邻居）或负对（不是neighbors），基于它们之间执行的修复的质量。此外，我们不满足于二进制分类，而是旨在计算每对拼图的连续得分这是因为分数应该代表配对的相异性，这将是放置的基础。在这个任务中，我们使用了与第4节中用于训练修复网络相同的训练器。此外，我们在修复结束时准确地拾取网络停止的地方，加载学习的权重。这背后的原因是，预先了解拼图块之间的间隙应该和不应该被填充的方式，可以作为学习邻居分类的一个很好的初始化点。图4提供了支持这一观点的经验证据它表明，当给定正邻居示例作为输入时，来自修复阶段的预训练的判别器产生比从头开始训练的新判别器更高的概率输出。此外，一个新的判别器被训练来对邻居进行分类，而没有首先修复训练和测试示例中的间隙，这会产生低得多的输出。就负邻居而言，我们的判别器和新的判别器都能够很好地识别它们，对于这些例子，平均输出约为2%。一个新的训练分类邻居没有修补的差距完全失败，平均输出43。百分之五这证明了我们解决方案中的修复阶段是多么的关键。由于我们将使用这些概率来计算连续的离散度分数，因此必须使输出尽可能接近对于正邻居可能为100%（对于负邻居为0%）并且不稳定于二进制（即高于/低于50%）结果，图4：分类表我们的迭代器产生的平均概率输出为87。11000个阳性邻居的样本中，有9%的人死亡一个新鲜的鸡蛋能卖83. 7%，如果训练与修补对，或75。如果直接跳过内画阶段，则为9%。这表明，在绘画中，为了计算它们的相邻概率，片之间的间隙是至关重要的。此外，使用来自修复阶段的相同图像增强结果。在它们的边界像素被移除之后，并且假设GI是给定图像I作为输入的预训练生成器的输出。假设IP表示图像I是一对正邻居，类似地，IN表示非邻居，使得其中一个块与IP中的块相同，但另一个块是从拼图中的其他块中随机选择的。在每次训练迭代中，我们提供了两个示例：GIP和GIN。正例（GIP）将被标记为1（真邻居），负例（GIN）将被标记为0。请注意，当在前一个（修复）阶段中训练时，例如GIP的示例被标记为0。这是因为现在，当生成器经过训练并能够真实地完成错过时，在真正的邻居之间的差距，我们希望测试人员认为这些例子是请注意，即使非邻居对的数量远大于真正的邻居对的数量，但通过在每次迭代中提供每种类型的一个来保持训练数据的令D（GI）是最小化训练中的损失由两个标准分量BCE（D（GI p），1）和BCE（D（GI n），0）组成，其中第一个分量负责检测正邻居，第二个分量负责检测负邻居。它被定义为BCE（D（GI p），1）+BCE（D（GIn），0）这对于普通的分类任务是足够的训练 让我成为两块拼图的原始图像D损失2=.2（三）3531(a) Ground Truth（b）[27]图5：定性结果。即使侵蚀程度只有7%的块大小，我们的结果表现出更接近的相似性，地面真理（88件）。在实现方面，我们在这个阶段使用0的学习率训练了40个epoch。0002.训练样本是从DIV2K数据集中随机选择的127张图像中剪切出来的[1]。它们与GAN修复阶段中使用的不同，因为我们希望修复器处理使用unseen-before输入创建的生成（修复）图像。鉴别器性能。表1显示了我们经过充分训练的神经网络对来自3个谜题数据集（70、88、150块，见第6节）的正邻居和负邻居示例的性能。当侵蚀深度增加时，我们看到性能下降正如预期的那样，这种退化与解谜结果一致。阳性配对负对侵蚀占7%百分之十四占7%百分之十四70件92.3%百分之八十二点六百分之四百分之五点七88件89.3%83.2%百分之三点五百分之五点八150件87.9%84.3%百分之二点三百分之四点二表1：平均电功率输出。侵蚀越大，结果越差。计算成对相异性。在训练完成后，我们使用该算法计算每对拼图块在四个方向（上、下、右、左）上的成对相异性。关键的想法是表达两个不同的部分在一定的边界上是如何相互作用的。也就是说，我们对某对邻居的预测越低，它应该产生的相异度值就越高。设Ixyd是拼图块x和y的联合图像，它们的边界被移除，在方向d上彼此相邻放置。 设G（I）为生成器并且D（G（I））是所述第一节点的相邻概率预测。在生成的图像G（I）上进行插值。在方向d上x和y之间的相异度值被定义为：- logD（G（I xyd））。在这个等式中，取−log来转换概率将范围[0，1]中的值转换为范围[0，∞]中的逆相关相异度值，同时避免不必要的陡峭变化。一旦计算了相异度值，应用布局算法来解决该问题。6. 结果我们应用我们的方法来解决三个常用数据集[6，29]中所有图像的难题，每个数据集包含20张图像。每幅图像都被切成64×64大小块，产生含有70，88和150块的拼图我们注意到，在没有间隙的情况下，可以使用更小的块，但是这在我们的情况下是禁止的，因为这些片段将缺乏有意义的信息。由于之前没有解决碎片之间存在间隙的大型拼图的工作，因此将我们的结果与[27]的结果进行比较，[27 ]对于规则的正方形碎片和缺失碎片的拼图来说是最先进的。我们调整他们的解算器，将每一片中最外面的已知像素视为实际边界。图5显示了拼图重建结果，其中间隙中的侵蚀程度为碎片大小的7%可以看出，我们的总体结果非常好，在人类观察者的眼中几乎是相同的尽管如此，也有错位的光滑天空片以及沙子片。然而，[27]的错误要明显得多;完全打乱了沙人水天的秩序。图6-7说明了较大的差距对重建的影响，显示拼图的侵蚀程度是7%-14%的补丁大小。正如预期的那样，随着侵蚀的加剧，结果会变得更糟。同样，在[27]中，增加间隙大小的负面影响要显著得多。表2和表3报告了使用三种常用测量方法的定量结果（每个数据集的平均值）[6]。平均近邻测度被认为是最重要的测度。它计算正确的成对邻接的分数。直接测量考虑处于正确绝对位置的碎片的分数。这种方法被认为是不太有意义的，因为它不能处理轻微移动的谜题。最后，完美列表示算法产生完美重建的谜题数量。表23532邻居直接完美件数[27日] 我们[27日] 我们[27日]我们70件百分之六十八点四84.6% 百分之四十二点九百分之八十六14邻居直接完美件数[27日] 我们[27日] 我们[27日]我们70件41.4% 57.1% 12.1% 百分之五十点五01(a) Ground Truth（b）[27]70件侵蚀=7%侵蚀=14%88件侵蚀=7%侵蚀=14%图6：定性结果（侵蚀程度为7%，14%的工件尺寸）。差距越大，结果越差。然而，在所有例子中的负面影响在[27]表2：定量评价（侵蚀程度为7%）。我们的方法优于[27]的结果表明，我们的方法在所有3个数据集和所有3个指标中的表现都比[27]好得多在表3中，由于难度增加，两种方法的结果均下降（与表2相比）。我们的方法始终优于[27]运行时间。我们的测试使用NVIDIA GeForce GTX 1080TiGPU运行。解决一个70块拼图大约需要62秒，解决88块拼图需要98秒，解决286块拼图需要286秒。表3：定量评价（侵蚀程度为14%）。这两种方法的结果下降，差距较大然而，我们的方法仍然优于[27]150个零件。这个时间包括计算每对拼图块之间的成对相异性。局限性。图8说明了一个例子，其中的难题是不正确的解决了我们的方法，作为多片灌木丛和天空是零星错位下方的摩托车。我们的解决办法仍然是可取的。3533(a) Ground Truth（b）[27]70件侵蚀=7%侵蚀=14%150件侵蚀=7%侵蚀=14%图7：定性结果（续）。差距越大，结果越差。然而，与我们的结果相比，[27](a) [27]图8：限制。在一个150块拼图的解答中，灌木丛和天空的碎片被放错了位置.7. 结论提出了一种新的正方形拼图拼接算法，解决了拼图拼接中边界被侵蚀的问题。我们首次展示了深度学习如何在计算竞争中发挥优势，被侵蚀的拼图碎片之间的能力。关键的想法是将学习者的注意力集中在侵蚀间隙的修复尝试上。我们引入了一种基于GAN的修复方法，该方法为我们的任务提供了比一般SOTA方法更好的结果 。 Then, the qual- ity of the inpainting served forneighbor classification. 当信息缺失时，我们可以生成它并根据生成质量得出结论，这一核心思想可能会找到不同的应用。我们的综合方法被证明优于所有常用的指标的最先进的正方形拼图游戏求解器。即使犯了错误，在我们的解决方案中，它们也不太容易被人眼注意到。鸣 谢 ： 我 们 衷 心 感 谢 以 色 列 科 学 基 金 会 （ ISF ）1083/18 、 PMRI- Peter Munk Research Institute-Technion 和 EU 2020-REFLECTIVE-7-2014 Re-下的GRAV- ITATE项目的支持。搜索和创新行动，批准号。6651553534引用[1] AGustsson，E.，和特莫夫特河。 Ntire 2017挑战单幅图像超分辨率：数据集和研究。在IEEE计算机视觉和模式识别会议（2017年7月）。、[2] BAEK，S.，乔伊岛，和KIM，M.具有空间结构传播的多视点图像完成。在CVPR（2016），pp. 488-496.[3] BROWN，B. J.， TOLER-FRANKLIN，C.， NEHAB，D.，伯 恩斯，M.，D. Obkin，D.，五拉 乔普 洛 斯，一、DOumas角，R. USINKIEWICZ，S.，WEyrich，T.一种用于大量采集和匹配壁画碎片的系统：重新组装Theran壁画ACM Transactions on Graphics 27，3（2008）.[4] CAO，S.，刘，H.，和Yan，S.从多张照片中自动组装碎片。在IEEE国际会议上多媒体和博览会（2010年），pp。358-363. 、[5] CHO，T.，AVIDAN，S.，和FReeman，W。补丁变形。PAMI 32，8（2010），1489[6] CHO，T.，AVIDAN，S.，和FReeman，W。一个概率图像拼图解决方案。在CVPR（2010）中。，，[7] 阿拉伯， 美国，赫克曼， E、巴内斯， C.，G·奥德曼，D. B、和S EN，P.图像融合：使用基于块的合成来组合不一致的图像。ACM Transactions on Graphics（TOG）31，4（2012），82：1-82：10。、[8] DEmaine，E.，和DEmaine，M。拼图、边匹配和多角包装 ： 联 系 和 复 杂 性 。 Graphs and Combinatorics 23（2007），195、[9] F. Reeman，H.，和GArdner，L. Apictorial jigsaw puz- zles：模式识别中一个问题的计算机解法。IEEE Transactionson Electronic Computers 13，2（1964）.[10] FUNKHOUSER，T.，SHIN，H.，TOLER-FRANKLIN，C.，CASTANEDA ，A.G. 、BROWN ，J. 、DOBKIN ，D. RUSINKIEWICZ，S.，WEyrich，T.学习如何匹配壁画碎片。JOCCH 4，2（2011），7.[11] G. 阿 拉 格 尔 ， A. 方 向 不 明 的 拼 图 。 载 于 CVPR（2012）。、、、[12] 吉尔伯特， 一、 COLLOMOSSE， J.， JIN， H、和P大米，B. L.解开结构和美学的风格感知图像完成。在CVPR（2018），pp。1848-1856年。[13] GOLDBERG，D.，MALON，C.，和伯恩，M。拼图游戏自动 解 的 全 局 方 法 。 在 Symposium on ComputationalGeometry（SOCG）（2002），pp.82比87[14] 古德 费 洛岛， Pouget-一个 巴 迪，J。，MIRZA，M.，XU ， B. ，WARDE-FARLEY ， D. ，OZAIR ， S. ，COURVILLE， 一、和BENGIO，Y。生成性对抗网。在神经信息处理系统（2014），pp。2672-2680[15] 古尔，S.，和本-斯哈哈尔岛。从方块到砖墙：解决拼图游戏的下一个挑战在ICCV（2017年10月）。、[16] 霍夫，D.，和OLVER，P.对象识别的不变签名的扩展。Journal of Mathematical Imag-ing and Vision 45（2013）.[17] 霍 夫 ， D. ， 和 OLVER ， P. 自 动 解 决 拼 图 。 Journal ofMathematical Imaging and Vision 49（2014）.[18] 黄，H.，YIN，K.， 龚先生，LISHANSKI，D.，COHEN-OR，D.，ASCHER，U.，和CHEN，B.《Mind the Gap》：用于结构驱动图像完成的远程配准。ACM Transactionson Graphics 32，6（2013年11月），174：1-174：10。[19] 黄，J. B.，Kang，S. B、AHuja，N.，和KOPF，J.使用平面结 构 引 导 的 图 像 完 成 。 ACM Transactions onGraphics33，4（2014）.[20] IIZUKA，S.，SIMO-SERRA，E.， 和我Shikawa，H。 全局和局部一致的图像完成。ACM Transactions on Graphics36，4（2017），107：1-107：14。，，[21] ISOLA，P.，ZHU，J.，ZHOU，T.，和E.弗罗斯，A.使用条件对抗网络的图像到图像翻译。在CVPR（2017），pp.5967-5976.、、、[22] JUSTINO，E.，奥利韦拉湖，和FREITAS，C.通过特征匹配重 构 碎 片 文 档 . Forensic science international 160 ， 2（2006），140[23] KOLLER，D.，还有我，M。计算机辅助检索和新的比赛在 罗 马 城 市 。 Bullet-tinoDellaCommissioneArcheologica Comunale di Roma 15（2006），103[24] LIU，G.，REDA，F.一、 SHIH，K。 J.， 王，T.- C.，陶，A.，和CAtanzaro，B.使用部分卷积的不规则孔图像修复 。 在 欧 洲 计 算 机 视 觉 会 议 （ ECCV ） （ 2018 年 9月）。[25] MARANDE，W.，和BURGER，G。 线粒体DNA是一个基因组拼图。Science（2007），318[26] M.ARQUES，M.，和FREITAS，C.利用颜色作为特征匹配重 建 条 状 碎 片 文 档 。 In In ACM Symp. 应 用 计 算（2009），pp。893-894。[27] PAikin，G.，和TAL，A.解决多个正方形拼图与失踪件。在CVPR（2015），pp. 4832- 4839号。、、[28] PAUMARD，M.，PICARD，D.，和塔比亚，H。结合深度学习和最短路径问题的图像重组。在ECCV（2018），pp。155-169. 、[29] POMERANZ，D.， SHemesh，M.，和BEN-SHAHAR，O.一个完全自动化的贪婪广场拼图求解器。载于CVPR（2011）。、、、[30] RONNEBERGER，O.，P.FISCHER，BROX，T.U-网：用于生物医学图像分割的卷积网络在医学图像计算和计算机辅助干预（MICCAI）（2015），卷。9351 LNCS，Springer，pp. 234-241.（可在arXiv：1505.04597 [cs.CV]上获得）。[31] SHOLOMON，D.，DAVID，O.，和NETANYAHU，N.一个遗传 算 法 为 基 础 的 求 解 器 非 常 大 的 拼 图 。 在 CVPR（2013）中。、3535[32] SIZIKOVA，E.，和FUNKHOUSE，T。基于遗传算法的壁画重构。J.计算机邪教。赫里特11，1（2017年12月），3：1-3：17。[33] SON，K.，HAYS，J.，和COOPER，D。 用循环约束解正方形拼图.在ECCV（2014年）。、[34] TOLER-FRANKLIN，C.，BROWN，B.，WEYRICH，T. ，FUNKHOUSER，T.，和R.USINKIEWICZ，S.壁画碎片的多特征匹配。在亚洲SIGGRAPH会议上（12月12日），2010年）。[35] WILLIS，A.，和COOPER，D。古代文物的计算机再现。IEEE Signal Processing Magazine 25，4（2008），65[36] 杨，X.，ADLURU，N.，和拉特克湖。 基于状态置换的粒子滤波器解图像拼图。载于CVPR（2011）。、[37] 是 的 ， R. ， CHEN ， C. ， 林 ， T. ， 总 检 察 长 美 国 ，HASEGAWA-JOHNSON，M.，和DO，M。基于深层生成模型的语义图像修复。在CVPR（2017）中。、[38] 你，J。，LIN，Z.，杨，J.， SHEN，X.， LU，X.， 和黄，T。S. 自由形式的图像修复与门卷积。在IEEE计算机视觉国际会议（ICCV）（2019年10月）。、、、[39] 张，K.，以及LI，X。一种基于图的碎片图像重组优化算法。Graphical Models 76，5（2014），484[40] ZHU，Z.， 黄，H. Z.， TAN，Z.， XU，K.， 和 HU，S.-M.忠实地完成图像的风景名胜使用- ing互联网图像。IEEE Trans.Vis. Comput. Graph. 22，8（2016），1945-1958.