多注册提高图像拼接效果

多配准Charles Herrmann1，Chen Wang1，2，Richard Strong Bowen1，EmilKeyder2，Michael Krainin3，Ce Liu3，and Ramin Zabih1，21Cornell Tech，New York，NY 10044，USA2Google Research，New York，NY 10011，USA3Google Research，Cambridge，MA 02142，USA{cih，chenwang，rsb，rdz}@ cs.cornell.edu，{wangch，emilkeyder，mkrainin，celiu，raminz}@ google.com抽象。 全景创建是最广泛部署的技术之一在计算机视觉中。除了谷歌街景等行业应用外，它还被数百万消费者用在智能手机和其他相机中。传统上，问题被分解为三个阶段：配准，其挑选每个源图像的单个变换以将其与其他输入对齐，接缝查找，其为最终结果中的每个像素选择源图像，以及混合，其修复轻微的视觉伪影[1，2]。在这里，我们观察到，使用一个单一的注册往往会导致错误，特别是在场景中具有显着的深度变化或对象运动。相反，我们建议使用多个regis- trations，允许在不同深度的图像区域，以更高的精度被捕获。MRF推理技术自然延伸到多个注册的接缝查找，我们在这里表明，他们的能量函数可以很容易地修改与新的条款，阻止重复和撕裂，常见的问题，加剧了使用多个注册。我们的技术与基于层的立体声[3，4]密切相关，并将图像拼接更接近于外显场景建模。实验证据表明，我们的技术往往产生显着更好的全景时，有大量的运动或视差。1图像拼接和视差误差图像拼接或从一组重叠图像创建全景图的问题是具有广泛应用的良好研究的主题[5，6，7]。大多数现代数码相机都包括全景创建模式，iPhone和Android智能手机也是如此。谷歌街景为用户提供了从移动车辆拍摄的图像拼接在一起的全景图，谷歌和微软的地图应用程序中显示的俯视图也是从卫星图像拼接在一起的尽管这种普遍性，缝合是远远没有解决。特别地，即使在具有不同深度的对象的静态场景或具有移动对象的动态场景中，拼接算法也经常产生视差误差。运动误差的示例如图1所示。拼接问题传统上被视为独立优化的一系列步骤[6，7]。在第一步中，算法计算单个配准2C. 赫尔曼角，澳-地Wang，R.S.Bowen，E.Keyder，M.克赖宁角Liu和R.扎比赫(a) 输入图像(b) 我们的结果（c）Autostitch [8]图1：运动误差示例。具有数字的纸条已经在输入图像之间进行我们在1b中的结果显示了多重注册的使用。绿色：参考，红色：配准对齐数字条，蓝色：对准对准字母条。1c中的自动缝合结果在数字条上有可见的重影以将它们对准到公共表面。4然后将扭曲的图像传递到接缝查找步骤;在这里，算法确定它应该从中提取每个像素的配准图像最后，在合成图像上运行混合过程[9]以校正视觉上不愉快的伪影，例如轻微的未对准，或由于不同曝光或其他相机特性而导致的颜色或亮度在本文中，我们认为，目前现有的方法不能捕捉到所需的视角变化的视差或运动的场景在一个单一的注册，接缝查找不能弥补这一点时，接缝必须通过内容丰富的地区。单配准基本上不能同时捕获场景的背景和前景。这在图1中演示，其中配准背景会导致前景中的错误，反之亦然。几篇论文[1，2]已经通过创建设计用于产生高质量针迹的单个配准来解决这个问题。然而，正如我们将展示的，由于单配准固有的限制，这些在大运动或视差的情况下仍然失败。相反，我们提出了一个端到端的方法，其中多个候选注册的接缝查找阶段作为替代源图像。然后，接缝寻找阶段可以自由地为合成输出图像的不同区域选择不同的配准。注意，由于任何配准都可以作为我们方案下的候选，因此它代表了试图找到单个良好配准用于拼接的方法不幸的是，当给定多个配准时，经典的接缝查找方法[5]不自然地起作用首先，传统的接缝查找平等地对待来自扭曲图像的每个像素。然而，根据我们的多重配准算法的性质4我们使用术语配准用于任意（潜在非刚性）图像变换，并且单应性用于线保持图像变换。我们有时会将配准过程称为翘曲或产生翘曲。多配准3它们中的每一个仅为图像中的特定区域提供良好的对准因此，我们需要在接缝查找阶段考虑这种像素级对齐质量。其次，通过设置MRF来局部执行接缝查找，该MRF尝试将接缝放置在视觉上不明显的地方。图1示出了常见故障;最佳接缝可导致对象被复制。使用多重注册使这个问题变得更糟。在传统的图像拼接中，像素来自两个图像中的一个，因此在最坏的情况下，对象重复两次。然而，如果我们使用n个注册，则对象可以重复多达n+ 1次。我们解决这个问题，通过添加几个额外的条款的MRF处罚常见的拼接错误，并鼓励图像的准确性。我们的信心项encour年龄的像素，以选择其值从注册对齐附近的像素，我们的duplication-阳离子长期惩罚标签集，选择相同的对象在不同的位置从不同的输入图像，最后我们的眼泪项惩罚破坏相干区域。虽然我们的术语旨在应对多个注册的挑战，但它们也对经典的单注册框架进行了改进。我们的工作可以被解释为基于层的图像拼接方法，其中每个配准被视为一个层，并且接缝查找阶段同时解决层分配和图像拼接[3]。在这种观点下，本文代表了一个温和的步骤，明确的场景建模图像拼接。1.1激励的例子图2展示了多重配准的威力。植物、地板和墙壁各自经历非常独特的运动。我们的技术捕获所有3个动作。图3中示出了另一个具有挑战性的示例。Photoshop计算单个配准来对齐背景建筑物，这复制了交通锥和左起第三辆车。我们的技术正确地处理了不同深度的所有这些对象。1.2问题表述和我们的方法我们采用图像拼接的常见公式，有时称为透视拼接[12]或平面全景图[6，§6.1]，它以一个图像I0为参考，然后将另一个候选图像I1扭曲到参考坐标系中，并将其内容添加到I0。代替提出单个扭曲ω 1（I1）并将其发送到接缝查找阶段，我们提出了一组扭曲ω1（I1），. . .，ω N（I1），其中每个ω i（I1）将I 1中的区域与I0对齐。我们将在第3.1节中详细介绍多次注册的方法。然后，我们将形式化的多标签MRF问题的接缝查找。我们有标签集L ={0，1，. . . .，N}中的像素p，使得标签x p= 0指示最终拼接的像素p中的像素p。result将从I0中获取其颜色值，并且当xp>0时，从ωxp（I1）中获取其颜色值。我们将得到通过最小化具有新提出的项的能量函数E（x）来解决我们之前介绍的挑战我们将在第3.2节中描述我们的找缝能量E（x）。最后，我们采用泊松混合[9]在生成最终结果时平滑拼接边界上的过渡。4C. 赫尔曼角，澳-地Wang，R.S.Bowen，E.Keyder，M.克赖宁角Liu和R.扎比赫(a) 输入图像（b）NIS [10]（c）我们的结果图2：多个注册的激励示例即使是NIS [10]的复杂的单注册方法也会产生严重的重影。(a)输入图像（b）Photoshop [11]（c）我们的结果图3：多个注册的激励示例最先进的商业软件包，如Adobe Photoshop [11]复制了交通锥和其他物体。2相关工作由于视差和其他效应而存在的可见接缝是图像拼接中的长期传统上，有两种方法来消除或减少这些伪影：通过允许更多的自由度来改进配准，或者通过选择更好的接缝来隐藏未对准。我们的算法可以被视为采用这两种策略：多重配准的使用允许我们更好地将每个配准调整到全景的特定区域，同时我们的新能量项提高了最终接缝的质量。2.1登记大多数以前的作品采取单应性作为起点，并执行额外的扭曲，以纠正任何剩余的错位。[13]描述了一个过程，其中每个特征都向其在其他图像中的匹配的平均位置移动APAP算法将图像划分为网格单元并估计每个单元的单独单应性，并对全局单应性进行正则化[14]。另一条工作线明确考虑到配准步骤的最终目标是产生可以容易地缝合在一起的图像，而不是独立地解决配准和接缝查找例如，ANAP可以通过限制没有重叠的区域中的透视失真来改进，否则将被限制在没有重叠的区域中。多配准5使其产生更自然的马赛克[15]。另一种方法是将扭曲限制在输入图像的最小区域，该区域仍然足够大以进行接缝选择和混合，这允许算法处理更大量的视差[2]。更进一步，可以交错配准和接缝查找阶段，如在SEAGULL系统[1]中。在这种情况下，可以修改基于网格的扭曲，以优化靠近当前接缝的特征对应关系。2.2找缝和其他组合技术接缝寻找阶段需要针对每个像素确定两个源图像中的哪一个贡献其颜色。[5]观察到这个问题可以自然地表述为马尔可夫随机场，并通过图切割来解决。这种方法倾向于给出强有力的结果，特别是图切割方法通常产生的能量在全局最小值的百分之几以内[16]。该领域的进一步工作集中在考虑能量函数中的边缘或颜色梯度的存在，以避免可见的不连续性。[17 ]第10段。接缝查找的替代方案是在配准[8]之后立即使用多波段混合[18]阶段该步骤混合大空间范围上的低频和短范围上的高频以最小化伪影。2.3与我们的技术我们的工作清楚地概括了优化单个配准的工作线，因为当仅使用一个候选经线时，这是一种特殊情况。更有用的是，现有的注册方法可以作为候选生成器在我们的技术。单个配准算法可以在使用不同参数运行时提出多个候选，或者在随机化算法（例如RANSAC）的情况下运行若干次。类似地，我们的算法可以被视为隐式地定义单个配准，在每个像素处通过与候选配准相关联的扭曲ωi给出，在最终输出中从在理论上，这种分段定义的翘曲足以获得这里报告的结果，但在实践中，找到它是困难的。沿着这些路线的先前工作集中在迭代方案上，以便计算图像的不同区域中所需的变化的扭曲[10，15]，但这通常是一个非常具有计算挑战性的问题，并且所使用的扭曲技术可能不足以产生良好的最终结果。我们的技术允许使用多个简单的注册。3我们的多重注册方法我们使用经典的三阶段图像拼接流水线，包括配准、接缝查找和混合阶段[6，7]。在注册阶段，我们提出了多个注册，其中每一个试图注册的一些部分的图像之一与其他。与之前的方法相比，其仅将单个建议的配准传递到接缝查找阶段，我们的方法允许使用所有这些建议的配准请注意，在此阶段，我们建议的注册集是多样的，这一点很重要。6C. 赫尔曼角，澳-地Wang，R.S.Bowen，E.Keyder，M.克赖宁角Liu和R.扎比赫在接缝查找阶段，我们解决了MRF推理问题，以找到将各种建议缝合在一起的最佳方式我们观察到，由于我们在第1节中提到的原因，使用传统的MRF能量缝合多个配准会产生很差的结果。为了解决这些挑战，我们提出了改进的MRF能量，通过添加（1）一个新的数据项，描述我们在像素p处的不同扭曲建议之间的置信度，以及（2）几个新的平滑度项，试图防止重复或撕裂。虽然这种新的能量主要是针对多个注册的拼接问题提出的，但它也解决了在传统方法（单注册）中观察到的问题，并且在任一框架中提供了最终全景质量的显著改进最后，我们采用泊松混合[9]来在生成最终结果时平滑拼接边界上的过渡。3.1生成多个注册有两种常见的配准方法[7]：全局变换，由整个图像上的单个运动模型隐含，例如单应性;和空间变化的变换，隐含地由非均匀网格描述。我们产生的候选注册是空间变化的非刚性变换。与[2]类似，我们首先获得与图像的某些部分匹配良好的单应性，然后细化其网格表示。我们有一个三步的过程：单应性发现、过滤和细化。在单应性查找步骤中，我们通过对从两个输入图像获得的特征之间的稀疏对应集运行RANSAC来生成候选单应性。我们通过过滤步骤来确保单应性集合是多样的，该过滤步骤移除质量差的单应性和重复。在细化步骤中，我们求解二次规划（QP）以获得通过过滤步骤的每个单应性的改进的局部扭曲网格。单应性查找步骤。 给定两个输入图像I0和I1，我们首先计算一个集合的稀疏对应C ={（p〇，p1），. . . ，（p0，p1）}，其中每个p0∈ I0，p1∈ I111nn i i并且（p0，p1）是一对匹配像素。我们运行τH迭代的修改RANSAC我我算法来生成一组潜在的单应性H。在每次迭代中，我们运行-通常选择像素p并考虑距离rH内的对应关系;如果存在足够的附近对应关系，以允许我们估计单应性Ht，我们将其添加到我们的候选集合使用OpenCV [19]中实现的最小平方中值来估计单应性Ht过滤步骤。为了简化接缝寻找步骤，期望限制候选单应性的数量。我们采用两种策略来实现这一目标：筛选，一旦发现单应性，就将其从考虑中移除，以及重复数据删除，其在筛选后剩余的全单应性集合上运行。筛选过程消除了两种单应性：那些不可能产生逼真的图像，以及那些太接近身份变换而不能用于最终结果的图像。通过考虑两个性质来消除第一类型的单应性：（1）从同一组种子点获得的相似性运动之间的差异是否超过固定阈值[2，§3.2.1]，以及（2）单应性的缩放参数的幅度是否超过多配准71+exp（−（T−t））（不同）固定阈值。直觉是，真实世界的视角变化通常接近于相似性，并且可拼接的图像可能在尺度上彼此接近。通过检查原始图像覆盖的区域和变换图像覆盖的区域之间的重叠是否超过95%来消除太接近I的单应最后，我们拒绝单应性，其中任一对角线短于原始图像的对角线长度的一半。为了确定彼此近似重复的单应性集合，并且其中除了一个之外的所有单应性因此可以被安全地丢弃，我们为通过筛选的每个Ht计算一组内点对应性Dt。t迭代地构造，从其中所有对应（p0，p1）∈C′，其中C′是i i t t- 在迭代t中选择，对于迭代t，重投影误差低于阈值TH。修正-然后，添加包含位于已经在Dt中的某个点的距离rD内的点的响应，直到达到固定点。这个步骤是[ 2，§3.2.1]中引入的策略的推广。给定针对每个Ht计算的集合Dt，我们定义在以下之间的相似性度量：单应性sim（Ha，Hb）= cos（Va，Vb），其中cos表示余弦距离，并且Va表示Dt的0-1指示符向量。 然后按降序考虑单应性|D t|并且如果它们与已经添加到集合H的所有元素的相似度低于阈值θ H，则将它们添加到集合H。我们还对所考虑的单应性的数量强制执行上限NH，在以下情况下提前终止该过程：达到该极限精炼步骤。我们的最后一步是由我们的过程有时产生单应性，导致几个像素的重投影误差这甚至可能发生在大的平面对象，例如建筑物的侧面，其应该通过单应性精确拟合。我们对单应性做最后的调整，然后加上空间变异为了调整单应性，我们定义目标函数f（H）=Σci∈CS（eci;H），其中eci;H是对应ci在H下的重投影误差，S是平滑函数S（t）=1−1。为了生成一个定义的homo g raphyHi，H输入Hi，我们使用Ceres [20]最小化f，初始化为Hi。所得的Hi为在某种意义上接近H1的更好拟合的单应性。平滑函数S被设计为在正确方向上为接近于内点的对应关系提供梯度，同时忽略那些因为它们是不正确的匹配或者因为它们由一些其他单应性更好地解释而成为离群点的对应关系。单应矩阵Hi∈H在对齐I0和I1时常常做得不完美。大部分地区都是平坦的。为了解决这个问题，我们使用内容保持warp（CPW）技术为每个Hi计算更细粒度的非刚性约束ωi，该技术能够更好地捕获两个图像之间的变换[21]。我们从Hi（I1）上的均匀网格Midra wn出发，尝试使用CPW来得到一个新的网格Mi以捕获I0和Hi（I1）之间的细粒度局部变化。最后，我们用ωi（I1）表示应用了M i的经包装的候选图像I13.2改进的MRF能量用于焊缝查找配准阶段的最终输出是一组建议的线程束{ωi（I1）}，（i= ωi（I1））。1、2、. . .，N）。为了符号简单，我们写{IS}，其中IS=I0，IS=ωi（I1）i0i8C. 赫尔曼角，澳-地Wang，R.S.Bowen，E.Keyder，M.克赖宁角Liu和R.扎比赫XpSMMXpXQ是接缝查找阶段中的源图像。这些图像被用来建立一个马尔可夫随机场（MRF）推理问题，以决定如何结合不同的图像，以获得最终的拼接图像的区域。该MRF问题的标签集由L={0，1，. . .，N}，并且其目的是分配标签xp∈ L到拼接空间中的每个像素p，这指示该像素的值是从IS复制的。这将是自然的期望，我们可以使用标准的MRF拼接引擎函数Eold（x）=pEold（xp）+p，q∈NEold（xp，xq）由[5]引入（其中N是4个相邻的邻居）。然而，我们观察到这个能量函数不是适用于多个注册的情况。在该公式中，当像素p在IS中具有有效颜色值时，数据项Eold（xp）= 0，否则为λm。这意味着我们将对掩模外像素施加惩罚λm，但平等地对待所有掩模内像素（它们都具有成本0）。然而，我们发现，即使是最先进的单配准算法[1，2]，也无法对齐每个像素。相比之下，我们的多个配准被设计为仅捕获每个扭曲的单个区域我们提出了一个新的掩模数据长期多次注册和翘曲数据长期来解决这个问题。传统的平滑项是Eold（xp，xq）=λs（IS（p）−IS（p）+IS（q）−s xpx qx pIS（q）），否则为0。它仅在缝合接缝上强制局部相似性，以使其不太可见，而没有任何其他全局约束。注意对于这个基本思想有许多很好的扩展，可以改进平滑项;例如[6，p.62]描述了几种挑选更好的接缝并避免撕裂的方法。然而，由于视差或运动，我们仍然可以利用单个配准来复制拼接结果中的内容。这个问题在多个注册的情况下可能更严重，因为我们可能将内容复制N+ 1次而不是仅仅两次。因此，我们提出了一个新的成对项来明确惩罚重复。Σ总之，我们通过最小化能量函数E（x）=pEm（xp）+ pEw（xp）+ p，q∈NEs（xp，xq）+Ed（x）.我们现在描述我们的掩模数据项E_m、扭曲数据项E_w、平滑度项E_s和重复项Ed依次。多个配准的掩码数据术语。在存在多个配准的情况下，标准的基于掩码的数据项 当一个输入显著大于其他输入时，MRF将针对其掩码为1且其他扭曲掩码为0的像素选择该扭曲。更糟糕的是，由于MRF本身施加了空间相干性，因此输入的这种选择将被传播到图像的其他部分我们通过在像素上施加mTask惩罚λm来处理这种情况。当分配时，不处于所有候选扭曲iωi（I1）的交集中的将它们映射到候选图像（即，xp/= 0）。位于参考图像内部的像素（xp= 0）是正常处理的，因为它们与引用没有掩码损失。图像掩模和λm掩模损失。注意，该掩码惩罚是软约束：可以为交点iωi（I1）之外的像素分配强度从候选图像，如果它是有前途的足够我们的其他标准。多配准9我W形式上，我们可以将掩码数据项写为.λ m（. 1-掩码0（p）），Σxp= 0，Em（xp）=λmQNi=1 掩码i（p），xp（一）I= 0，其中，掩码i（p）= 1指示IS在p处具有有效像素，否则掩码i（p）= 0。曲速数据项。在存在多个注册的情况下，我们需要一个数据项，该数据项在不同的建议线程束之间做出显著的区分。有两种自然的方式来确定特定扭曲ω是否是像素p处的良好选择。一是可以确定我们对ω实际上表示场景在p处的运动的置信度。第二，对于参考图像中的像素，我们可以检查I〇（p）和ω（I1）（p）之间的强度/颜色相似性。由于我们的偏差是使用特征和RANSAC计算的，因此当重投影误差小于参数TH时，我们可以识别ωi（I1）中的内围特征点。将这些inli e r表示为Ii，我们将Gaussi aΣn权重G（. ）在每个内围r上，并定义针对IS中的像素p的运动质量，如Qi（p）=G（p-q）。这使得像素imq∈Ii更接近内点的人对偏差具有更大的置信度对于颜色相似性，我们使用pix elp周围的thΣe局部块之间的L2距离在参考IS和我们的扭曲图像IS中：Qi（p）=IS（p）−IS（p），0icq∈Br（p）0i其中Br（p）是在到像素p的距离r内的像素的集合。所以图像质量更好的像素内容对齐在翘曲中变得更有信心。把它们放在一起，我们有ei（p）= −Qi（p）+λc Qi（p）作为我们的质量分数w m c对于扭曲ωi的像素p（越低意味着越好，因为我们想要最小化能量）。然后，我们对每个包装图像有一个归一化得分e{i（p）∈[-1，1]，并定义XWwarp数据项为：当x p / = 0时，Ew（xp）=λwe（p），否则Ew（xp）=0。平滑度术语。 我们采用了一些标准的光滑性条款中使用的国家的最先进的MRF拼接。在[6，7]之后，这些术语包括：1. 局部补丁的基于颜色的接缝惩罚（在[5，17]中引入），以鼓励在源图像之间引入不可见过渡的接缝，2. 在[17]中引入的基于边缘的接缝惩罚，以阻止接缝切穿边缘，因此减少3. Potts术语，以鼓励当地标签的一致性。避免重复术语。对于具有大视差或运动的拼接任务，很容易在拼接结果中复制场景内容我们解决这个问题，明确正式的重复避免长期在我们的能源。如果来自参考图像IS的像素p和来自候选图像IS的像素q形成真正的对应关系，则它们0i指的是相同的点（即，场景元素）在现实世界中。因此，我们惩罚a包含它们两者的标记（即，xp= 0，xq=i），如图4所示。由于我们的对应关系是稀疏的，因此我们也将该想法应用于像素p和q的半径r内的局部区域。我们通过高斯G重新加权惩罚，因为我们离这些对应的像素越远，对应关系越不确定。形式上，我们的重复项Ec定义为1−10C. 赫尔曼角，澳-地Wang，R.S.Bowen，E.Keyder，M.克赖宁角Liu和R.扎比赫理想的缝合接缝pQ候选图像参考图像不良缝合接缝pQ候选图像参考图像(a) 候选图像（b）参考图像(c) 缝得好(d) 针脚不好图4：重复术语的说明图4c提供了一个错误的拼接结果，其中绿色三角形被复制。像素p和q之间的特征点对应表明重复，并且我们引入惩罚这种情况的术语。ΣNEd（x）=λdΣΣer（xp+δ，xq+δ;δ，i）（2）i=1（p，q）∈Ciδ∈Br其中Ci是IS和IS之间的像素对应，并且Br={（dx，dy）∈I2|0i（dx，dy） er（xp+δ，xq+δ;δ，i）=G（<$δ<$）当xp=0，xq=i，否则为0。4实验结果和实施细节实验装置。我们的目标是执行拼接图像的程度parallax和运动导致以前的方法失败。理想情况下，会有一个标准的图像数据集，这些图像太难缝合，以及一个评估指标。不幸的是，情况并非如此，部分原因是难以定义图像拼接的地面实况。因此，我们不得不依靠自己收集具有挑战性的图像，尽管我们发现了一个合适的例子（图5），其拼接失败在社交媒体上被广泛分享。我们实现或获得了许多替代方法的代码，如下所述，并在我们所有的示例中运行它们，以及使用单个参数设置的技术。由于我们的图像是如此具有挑战性，因此竞争方法不返回任何输出（“缝合失败”）并不罕见。在我们检查的整个图像语料库中，我们发现许多情况下，竞争技术产生了戏剧性的伪影，而我们的算法几乎没有任何错误。我们还没有发现任何示例图像，其中我们的技术产生了戏剧性的伪影，而竞争对手没有。然而，我们发现了一些不太具有挑战性的图像，这些图像被竞争对手处理得很好，但我们产生了小的伪影。这些例子，连同其他数据，图像，和其他材料省略在这里可以在线获得，5由于空间的原因，我们在这里集中在图像，提供有用的见解。然而，这里包含的图像代表了我们在收集的整个具有挑战性的图像语料库上观察到的性能我们遵循[2]的实验设置，[ 2 ]（非常像我们的工作）描述了一种拼接方法，该方法可以处理先前技术视差过大的图像。最强大的整体竞争对手原来是AdobePhotoshop 20185见https://sites.google.com/view/oois-eccv18。多配准11Photomerge [11].虽然[2]中报告的实验结果将他们的算法与Photoshop 2014进行了比较，但2018年的版本要好得多，并且在拼接具有太多运动的图像方面做得非常出色因此，我们将Photoshop在数据集上的失败视为该数据集特别具有挑战性的信号; 在 本节 中 ，我 们 将展 示 几个 成功 拼 接此 类 数据 集 示例 。 除了Photoshop，我们还下载并运行了APAP [14]，Autostitch [8]和NIS [10]。为了从APAP产生拼接结果，我们遵循[2]的方法，其用接缝查找扩展了APAP。来自所有方法的结果示于图9和图10中。实作详细数据。对于特征提取和匹配，我们使用DeepMatch [23]。相关的DeepFlow求解器用于为基于光流的扭曲生成流。我们使用Ceres求解器[20]来处理生成多个配准时出现的QP问题，如第3.1节所述。目视评价。下面[2]我们回顾了来自我们的测试集的几个图像，并强调了我们技术的优点和缺点，以及文献中各种方法的优点和缺点我们所有的结果都显示为一组参数。我们观察到两类拼接误差：扭曲误差，其中算法未能生成与参考图像良好对准的任何候选图像;以及拼接误差，其中尽管存在良好的候选扭曲，但MRF不产生良好的输出。图9e中示出了我们的技术产生翘曲误差的示例，其中我们的算法没有发现翘曲继续停车位线，从而导致可见的接缝。图10e给出了拼接错误的一个例子，其中汽车车轮的其余部分在我们的错误可以表现为许多不同种类的伪像，诸如：图5b中的臂）;错误的视角（例如，图9 b中的褐色背景建筑物）;或复制（例如，7b中的停止符号图6b）中的护柱，或省略（例如，图10c中的汽车的前门）的场景内容。定量评价。以前的缝合纸使用的唯一定量指标是接缝质量（MRF能量）。然而，正如我们所示，局部接缝质量并不代表针脚质量。此外，这种技术需要用户知道接缝位置，这使得它无法在像Photoshop这样的黑盒算法上运行。在这里，我们试图定义一个度量来解决这些问题。我们首先观察到，拼接可以被看作是一种形式的视图合成与较弱的假设有关的相机的位置或类型。考虑到这一点，我们重新定义的角度拼接的参考图像，年龄使用候选图像中的信息扩展的视野这种重新定义自然会导致一种评估技术。我们裁剪参考图像的一部分，然后将裁剪后的图像与候选图像拼接在一起。该裁剪区域用作地面实况，我们可以将其与缝合结果中的适当位置进行比较。注意，在透视拼接中，参考图像的大小不改变，因此我们知道裁剪区域应该在的确切区域。然后我们计算MS-SSIM [24]或PSNR。我们在表1中报告了针对2个示例的该评估：在停止标志（图7的第一图像的左侧）和格拉夫菲蒂建筑物（图8的第一图像的右侧）中，从参考图像裁剪图像的拼接结果与整个图像的拼接结果几乎相同最好成绩12C. 赫尔曼角，澳-地Wang，R.S.Bowen，E.Keyder，M.克赖宁角Liu和R.扎比赫(a) 输入图像(b) Photoshop [11]（c）我们的结果图5：Photoshop撕裂了人和围栏。我们的针脚使栅栏突然停止，但使人们保持原位。请注意，候选项没有提供允许我们扩展围栏的信息。(a) 输入图像(b) Autostitch [8]（c）我们的结果图6：“自行车壁画”数据集。自动缝合在汽车、桥梁和电线杆上有重影。我们的算法缩短了卡车并删除了一个杆，但没有可察觉的重影或对象的撕裂。(a) 输入图像(b) Photoshop [11]（c）我们的结果图7：“停止标志”数据集。Photoshop复制停止标志。在我们尝试的所有实现中，我们的是唯一视觉上可行的结果，成功地避免了前景的重复。(a) 输入图像(b) APAP [14]（c）我们的结果图8：APAP删除了大量的红色涂鸦，并引入了明显的曲率。我们的结果不会产生撕裂、重影或重复。多配准13(a) 输入图像（b）APAP [14](c) Photoshop [11](d) NIS [10]（e）我们的结果图9：自动缝合失败。APAP复制了汽车Photoshop复制了汽车的前半部分。NIS有大量重影。我们的结果切掉了停车位线的一部分，但避免了复制汽车。(a) 输入图像(b) [11]第十一届全国人大代表选举(d)NIS [10]（e）我们的结果图10：自动缝合失败。APAP和Photoshop缩短了汽车。APAP还将大量曲率引入背景建筑物中。NIS有实质性的重影和缩短汽车。我们的结果删除了引擎盖和前轮的一部分，但是，这是唯一的结果，产生一个无伪影的车身。(a) 输入图像（b）我们的结果图11：通过我们的方法产生的撕裂和复制的示例。14C. 赫尔曼角，澳-地Wang，R.S.Bowen，E.Keyder，M.克赖宁角Liu和R.扎比赫表1：不同算法的评估分数图像比较度量我们亚太地区[14]Photoshop [11]停车标志地面实况区MS-SSIM 0.68510.65730.6861PSNR19.494317.707318.9996未裁剪参考MS-SSIM 0.93540.89810.9108PSNR23.000620.353320.9238涂鸦大厦地面实况区MS-SSIM 0.46360.37470.1250PSNR14.998313.12699.6520未裁剪参考MS-SSIM 0.92530.57370.8541PSNR24.763714.829818.7102以粗体显示。“Ground Truth” compares only the ground truth region to the appropri-ate location, while “Uncropped Reference” compares the uncropped请注意，对于停止标志，所有算法都在地面真值区域中合理执行。但是，APAP和Photoshop都包含停止符号的副本，该副本会降低其“未裁剪引用”的值。5结论、局限性和未来工作我们已经证明了一种新的配方中使用多个候选人注册我们已经将MRF接缝发现推广到这种设置，并提出了新的术语来打击常见的工件，如对象重复。我们的技术在大视差和运动场景中优于现有算法。我们的方法自然推广到其他拼接表面，如圆柱体或球体通过修改的扭曲功能。三个或更多个输入图像可以 通过提出每个候选图像的多个配准，并让接缝查找器合成它们来处理。一个潜在的问题是存在未检测到的稀疏对应，这可能导致重复或撕裂（图11）。密集对应的使用可以解决这个问题，但我们的初步实验表明，光流不能很容易地捕捉运动的输入图像与大的差异，并没有产生足够的质量对应。第二个问题是，当仅存在来自单个候选图像的数据时，是否填充输出马赛克的区域是不清楚的，因为这里的候选的受约束选择可能与在马赛克的其他区域中做出的选择冲突。这在某种程度上可以通过修改数据项来处理，但是与传统方法相比，场景内容可能会丢失。这种情况的一个示例发生在图10中，其中汽车的前轮在最终输出中被省略这些问题仍然是令人兴奋的挑战，为未来的工作。致 谢 本 研 究 得 到 了 NSF 资 助 IIS-1161860 和 IIS- 1447473 以 及 Google FacultyResearch Award的支持。我们感谢Connie Choi帮助收集图像。多配准15引用1. Lin，K.，Jiang，N.，Cheong，L.F.，做，M.，Lu，J.：Seagull：用于视差容忍图像拼接的接缝引导局部对齐。In：ECCV.（2016）3702. 张福，Liu，F.：视差容忍图像拼接。在：CVPR中。（2014）32623. Willis，J.，Argawal，S.，Serge，B.：什么去了哪里。在：CVPR中。（2003年）374. 王杰，Adelson，E.：用层表示运动图像。TIP3（5）（1994）6255. K w atra，V.， Schoüdl，A.，埃萨岛 Turk，G. Bobick，A.：Graphcuttextures：使用图切割的图像和视频SIGGRAPH22（3）（2003）2776. Szeliski，R.：图像对齐和拼接：教程。计算机基础与趋势Graphics and Vision2（1）（2007）17. Szeliski，R.：计算机视觉：算法与应用。Springer（2010）1，5，6，98. 布朗，M. Lowe，D.G.：使用不变特征的自动全景图像拼接。IJCV74（1）（2007）599. Perez，P.，Gangnet，M.，布莱克，A.： 泊松图像编辑。 SIGGRAPH（2003）313三、六10. Chen，Y.S.， Chuang Y.Y. ：基于全局相似 性先验的自然图像拼接In ：ECCV.（2016）18611. Adobe：使用photomerge创建全景图像。https://helpx.adobe.com/in/photoshop/using/create-panoramic-images-photomerge.html.2018-07-25. 四十一十二十三十四12. Adobe ： 创 建 和 编 辑 全 景 图 像 。 https://helpx.adobe.com/photoshop/using/create-panoramic-images-photomerge.html. 2018-07-25. 313. 沈惠英Szeliski，R.：全局和局部对齐的全景图像拼接构造。在：全景视觉。（2001年）22714. Zaragoza，J.，阿成TJ Brown，M.S.，Suter，D.：移动dlt的尽可能投影图像拼接。在：CVPR中。（2013）233915. Lin，C.C.，Pankanti，S. U.，Natesan Ramamurthy，K.，Aravkin，A.Y.：自适应尽可能自然的图像拼接。在：CVPR中。（2015）115516. 塞利斯基河扎比河Scharstein，D.，Veksler，O.，Kolmogorov，V. Agarwala，A.，Tappen，M. Rother，C.：马尔可夫随机场能量最小化方法的比较研究。TPAMI30（6）（2008）106817. Agarwala，A.，Dontcheva，M.，Agrawala，M.，Drucker，S.，Colburn，A.，Curless，B.，销售D、Cohen，M.：交互式数字照片蒙太奇。SIGGRAPH23（3）（2004）29418. Burt，P. Adelson，E.：多分辨率样条及其在图像拼接中的应用。第2卷第4期（1983年）21719. Bradski，G.：OpenCV库。Dr. Dobb20. Agarwal，S.，Mierle，K.，其他：谷神星解算器。http://ceres-solver.org网站。2018-07-25. 七、十一21. 刘芳，Gleicher，M.，Jin，H.，Agarwala，A.：用于3D视频稳定化的内容保留扭曲。第14集9.1 The Fighting（2009）22. Boykov，Y.，Veksler，O.，Zabih，R.： 通过图切割的快速近似能量最小化。TPAMI23（11）（2001）122223. Weinzaepfel，P.，Revaud，J.，Harchaoui，Z.Schmid，C.：Deepflow：深度匹配的大排量光学In：ICCV.（2013年）138524. 王志，Simoncelli，E.，Bovik，A.：图像质量评价的多尺度结构相似性。AsilomarConference on Signals，Systems and Computers（信号、系统和计算机会议）（2004年）1398