四元数秩1对齐的彩色图像自动拼接

19720基于四元数秩1对齐的彩色图像自动拼接李佳雪和周奕聪*澳门大学计算机与信息科学系网址：lijiaxue7@gmail.com，yicongzhou@um.edu.mo摘要彩色图像拼接在现实世界中是一项具有挑战性的任务本文首先提出了一种四元数秩1对齐（QR1A）模型，用于高精度的彩色图像对齐。针对QR1A的优化问题，在复值交替方向乘子法的框架下提出了一种嵌套迭代算法为了定量评估图像拼接性能，我们提出了一个感知接缝质量（PSQ）的措施来计算，晚沿接缝线局部区域的错位利用QR 1A和PSQ，我们进一步提出了一个自动彩色图像拼接（ACIS-QR 1A）框架。在这个框架中，自动策略和迭代学习策略的发展，同时学习最佳的接缝线和局部对齐。在具有挑战性的数据集上进行的大量实验表明，所提出的ACIS-QR 1A能够在包括大视差、低纹理、移动物体、大遮挡或/和它们的组合在内的几种困难场景下获得高质量的拼接图像。1. 介绍彩色图像拼接是指从多幅部分重叠的彩色图像生成具有更宽视场的大图像。作为图像处理的基本任务，它在各种应用中起着至关重要的作用，例如遥感中的摄影测量[17]，虚拟现实中的立体拼接[6]和自动驾驶中的全景拼接[28]。然而，生成高质量拼接图像仍然是一个具有挑战性的问题，特别是在存在大视差、低纹理、移动对象、大遮挡或/和它们的组合的情况下。传统的图像拼接过程包括三个步骤：首先，估计对齐模型，将输入的图像扭曲到一个公共坐标系上;其次，检测重叠区域中的不可见接缝;第三，沿着该接缝使用图像混合技术进行拼接*通讯作者。将图像对齐成更大的图像。根据第一步中的对齐方法，图像拼接工作可以大致分为基于特征的拼接和基于像素的拼接。在基于特征的方法中，图像拼接技术的发展遵循两个主流：设计最佳的全局对齐和搜索能够实现最佳接缝线的局部对齐。在第一个主流中，提出了空间变化翘曲方法来提高全局对准精度[8，12，22，30]。他们在整个重叠区域上计算了多个局部自适应变换，以尽可能地对齐图像。为了保持图像的自然性，通过将单应性与相似性变换相结合来开发形状保持方法[3，15，20]。受内容保持变形（CPW）[23]的启发，网格变形方法也被用于对对齐精度和图像自然度进行局部调整[5，6，11，32]。然而，他们的基本假设是，相邻对象之间的空间它们的估计局部变换是连续变化的，因此它们仅在存在小或中等视差的情况下表现得非常好。为了处理大视差，在第二个主流中引入了接缝驱动策略。接缝驱动方法首先估计局部对齐方案，然后选择具有最佳接缝质量的最佳方案以创建最终拼接结果[9，21，32]。值得注意的是而接缝质量的评价直接决定了最终拼接图像的质量。然而，这些方法将主要精力放在生成局部对准建议上，而对接缝线建议的考虑有限。因此，用于接缝线计算和评估的简单方法可能隐含地降低其最终此外，大多数方法都将接缝质量作为选择现成对准模型的度量，而不是指导对准模型估计过程。因此，从这些局部路线建议中生成的最佳接缝不能保证实现19721最佳的缝合性能。有趣的是，我们进一步观察到一个矛盾的事实，即通常鼓励合理的接缝穿过平坦区域（例如，天空、墙壁和道路），而基于特征的对准方法不能相应地提供像素级在低纹理环境中，特征量不足可能导致其对齐模型的有偏估计这种有偏估计也可能发生在动态场景中，其中由于移动对象或遮挡，特征不均匀地分布。为了缓解这个问题，一些作品探索了线特征来补充点特征对应[11，16]。然而，估计的模型仍然表现出良好的有限的场景，其中足够的线段应该被捕获。为了充分利用图像信息，开发了基于像素的图像对齐方法[18，19，26]。他们使用低秩矩阵对齐图像背景，并将前景中未对齐的差异得益于这种分解方式，这些方法对运动物体和遮挡具有很强的鲁棒性与使用特征对应相比，当拟合相同的对准模型时，它们实现了更高的对准精度然而，当对齐彩色图像时，它们直接将彩色图像转换为灰度图像，忽略了颜色通道之间的关系，导致性能下降。针对上述缺陷，本文提出了一种彩色图像自动拼接方法，可以在各种复杂场景下生成高质量的拼接图像iOS.我们的主要贡献总结如下：1. 提出了一种四元数秩1对齐（QR1A）模型，用于四元数域上的彩色图像对齐QR1A算法采用四元数表示，能够充分利用彩色图像信息，获得高精度的彩色图像配准结果。2. 本文在复值交替方向乘子法的框架下，提出了一种求解QR1A优化问题的嵌套迭代算法。3. 为了定量评估图像拼接性能，我们提出了一种感知接缝质量（PSQ）的措施来计算沿接缝线的局部区域的错位。4. 利用QR 1A和PSQ，我们进一步提出了一个自动彩色图像拼接（ACIS-QR 1A）框架。在此框架中，自动策略和迭代学习策略的开发，同时学习最佳的接缝线和局部对齐。这使我们的ACIS-QR1A能够自动执行高质量的彩色图像拼接。5. 在不同的挑战性数据集上进行的大量实验表明，ACIS-QR 1A能够当面对大视差、低纹理、移动物体、大遮挡或/和它们的组合时，创建高质量的拼接图像。本文的其余部分组织如下：第2节回顾了相关的工作。第三节提出了QR1A模型，并推导出其最优解。第4节提出了PSQ措施。第5节详细介绍了ACIS-QR 1A框架第6节介绍了实验和比较。最后，第7节给出结论。2. 相关工作基于特征的方法在特征检测和匹配技术发展的推动下，目前的研究大多是基于特征的。Gao等人提出了一种双单应性模型来对齐包含两个主要平面的图像[8]。Lin等计算仿射拼接场，其从全局仿射的解是平滑变化的[22]。考虑到仿射模型无法实现透视变换，Zaragozaet al.提出了一种移动直接线性变换来估计由空间加权单应性组成的尽可能投影（APAP）扭曲[30]。Li等提出了一种鲁棒弹性（鲁棒ELA）翘曲模型，将图像变形公式化为薄板样条[12]。在低纹理环境中，Liet al.提出了一种双特征方法，使用特征点和线段来估计翘曲模型[16]。为了进一步保持宽视差条件下的图像结构，Jiaet al.提出了利用线点一致性（LPC）测量的联合匹配策略[11]。Nie等提出了一种无监督的深度图像拼接方法，以处理具有少量手工特征的低纹理图像[24]。与强调全局比对质量相反，Gaoet al.首先提出了接缝驱动策略，以使用具有最佳接缝质量的局部对准来对准图像[9]。考虑到对齐的图像重叠将被该接缝切断，实际上不需要在整个重叠区域上进行完美的全局对齐基于这一观察结果，Zhang和Liu开发了一种视差容忍方法（视差容忍），该方法首先找到能够实现最佳拼接的局部对准，然后应用CPW方法来改善全局对准质量[32]。为了提高接缝质量，Lin等人设计了一种接缝引导方案（SEAGESTRA），该方案迭代地重新加权特征对应以修改其局部对齐建议[21]。基于像素的方法理论上，同一场景的对齐良好的图像是线性相关的，因此可以提取低秩结构。Peng等通过将变换后的图像分解为低秩矩阵加上稀疏矩阵来寻求最佳的对准模型集合[26]。然而，他们通过凸松弛解决了秩最小化问题，并将其应用于完全重叠的批量图像。在图像拼接应用中19722ΣΣ∈拉克什茨∈i=1i=1i=1◦∈不i=1∈∈--∈联系我们阳离子，输入图像通常是部分重叠的，并且图像的数量很少，使得他们的方法执行（C0，C1）唯一地决定Q阶如下所示很糟糕为了适应图像拼接的最佳几何变换，Li等人。首先粗略对齐图像以提取重叠区域，然后低秩矩阵近似于χQstec =C0C1C2m×2n。（三）−C1 C0在非凸约束条件下进行模拟[18]。作为扩展，他们进一步提出了一种捆绑鲁棒对齐和拼接（BRAS）算法，其中低秩分量被替换为精确秩约束以优化其对齐模型[19]。然而，他们转换QstecandχQstecar eisomorphic[31].定义2给定一个四元数向量qstec=c0+c1jHm，设q为xqstec，i的第一列. 例如， q=χqstec（：，1）=[c0; −c1] ∈ C2m. 运算符ψ（q）定义为：将彩色图像转换为灰度图像，从而丢失了RGB通道之间的相关颜色信息。考虑到这一问题，我们提出了QR1A模型，（q）=不0C2×m1.（四）nion表示，以充分利用彩色图像信息进行高精度彩色图像对齐。 据我们所知，在四元数域中直接对齐彩色图像到目前为止还没有解决。3. 四元数秩1对齐本节提出了用于鲁棒彩色图像对齐的QR1A模型。首先简要介绍了四元数代数和彩色图像的四元数表示然后，我们描述了QR1A模型，并给出了它的最优解。3.1. 预赛四元数代数作为复x空间C的四维扩张，一个四元数（qH）由一个实部和三个虚部组成[10]。一般表示为：qstec=a0+a1i+a2j+a3k，（1）其中{a0，a1，a2，a3} ∈ R且i，j，k为以下虚基 ： ij=−ji=k ， jk=−kj=i ， ki=−ik=j ，i2=j2=k2=ijk=−1。当a0=0时，qstec=定义3（四元数秩[29]）四元数矩阵Q的秩是r当且仅当Q有r非零奇异值，且当且仅当它的复伴随矩阵χQ的秩是2r.彩色图像的四元数表示给定彩色图像I，其四元数表示Istec被定义为：Ist ec（x，y）=Ir（x，y）i+Ig（x，y）j+Ib（x，y）k，（5）其中Ist e c（x，y）是位于图像坐标系中的（x，y）处的彩色像素的四元数表示，Ir、Ig和Ib表示彩色像素图一，分别。四元数表示的优点包括：（1）彩色图像的所有颜色分量在四元数域中一起编码;（2）它们能够被同时和整体地处理，使得不同通道之间的相关颜色信息可以被充分利用。3.2. QR1A型给定具有部分重叠区域的n个彩色图像，它们的四元数表示被表示为{Isteci}n-是的Wea1i+a2j+a3k是纯四元数。四元数加法只是分量加法，在复杂的空间。但四元数乘法是非线性的，即。例如， qstecpstecpstecqstecp. 因此，直接多-假设存在n个相应的几何变换，这样，来自其原始坐标系的彩色图像可以被扭曲到公共参考坐标系以用于对准。设{Fsteci}n对准四元数向量或矩阵的拼接是难以处理的，它的非交换性。[31]将四元数矩阵转换为复数矩阵对，并在复数域中求解它们。在这里，我们介绍了本文中使用的几个定 义 1 （ 复 伴 随 形 式 ） 给 定 一 个 四 元 数 矩 阵Qstec=A0+A1i+A2j+A3kHm×n，它可以用一个有序的复矩阵对来刻画彩色图像，然后Fsteci（x，y）=（Isteciτi）（x，y），（6）其中τ i R 8×1表示图像的扭曲，τ iR8×1与一个8参数单应性有关。随后，我们提取n个重叠的彩色图像区域，并将它们矢量化为列，堆叠成一个大的四元数矩阵。该过程在数学上描述如下：Qstec=C0+C1j，（2）其中C0=A0+A1i，C1=A2+A3i，以及C0，C1∈ Cm×n.的复伴随形式D_（stec）τ=[v_ec（F_（stec1），v_ec（F_（stec2），···，v_ec（F_（stecn））]∈H_m×n，（7）哪里F表示重叠上的对齐图像，vec（）表示将矩阵元素线性化为C19723···∈△n△△我◦nk+1·SJ·2S.T.χ˙χ stecRe（△ τeieT）=χstec+ χstec，DτJI˙L˙S˙Lk+1=Γ1{Dτ+JiRe（△ τeiei）−Sk+ρ}。（十∂ξ我我i=1i=1我ρρJJΣSΣ最小ρS- R+Za vector，Dtec表示构造的大四元数矩阵其中Tr（·）表示矩阵的迹，Y∈C2m×2n为通过原始图像重叠，τ=[τ1，τ2，，τ n]R8×n而m表示重叠区域中的像素数本文提出了一种四元数秩1对齐（QR1A）彩色图像拼接模型。QR1A模型用公式表示为以下优化问题：最小工作时间1拉格朗日乘子，ρ>0是惩罚参数。这里，我们令L=χLstec，S=χSstec，Y=χYstec，J=χJstec，并且Dτ=χDstecτ用于br evit y。 为了最小化Eq.（10），我们迭代更新每个变量对其他固定变量下，复杂的ADMM框架[13]。交替最小化方案如下所示：Lstec，Sstec，τS.T.D◦ τ=Lstec+Sstec，rank（Lstec）=1，（八）Lk+1=argminL：等级（L）=2Lρ（L，Sk，△τk，Yk），（11）其中四元数秩-1矩阵Lstec表示图像重叠（列）之间的相同四元数稀疏矩阵S_stec表示它们的前景之间的差异它代表部分伪像，Sk+1=argminLρ（Lk+1，S，τk，Yk），（12）Sτ k+1=argminLρ（Lk+1，Sk+1，τ，Yk），（13）△τkYk+1=Yk+ρ[Dτ+ΔJiRe（△τk+1eieT）−Lk+1−Sk+1]。移动物体、遮挡和其它不可避免的未对准。i=1（十四）直接求解方程组中的优化问题。（8）是相当困难的，主要是因为约束D τ=Lstec+Sstec是非线性的，四元数的乘法是非线性的。可交换的为了解决这个非线性四元数优化问题，我们在复空间中重新表达它：上述方案中的每一步都涉及到求解某个变量的特定子问题。在下面，我们详细说明每个子问题的封闭形式的解决方案。更新Lk+1：我们定义一个四元数秩-1投影算子Γ 1：H m × n → H m × n为：minχLstec，χSstec，△τjΓ1{Qstec}=Ustec1σ1Vstec1σ，（15）其中σ1是Q空间的最大奇异值DτJI我LSi=1且Ustec1∈Hm，r an k（xLstec）=2。其中χstec，χstec，χstec和χstec是等价的复伴随˙˙˙地址：˙˙Σ˙TstecYsteck矩阵Dτ，Ji，L和S。 为简洁起见，Dτ=Dτ，i=1Jsteci=vec（Isteci）|τ=τ∈Hm×8是四元数Ja-第i个彩色图像的cobian矩阵w.r.t. 其变换参数τ i，△τ=[△τ1，△τ2，. . .，△τ n]∈R8×n表示电流τ的局部变化，{e}n是在完备x空间[4]上构造了xL变换来更新Lk+1.更新Sk+1：我们通过优化其Re（）是约束内部变量为实值的算子。Sstecj代表四元数矩阵Sstec的第j列，并且Sj是对于复伴随形式，我们仅优化矩阵的前半部分的列：2χSstec第一列3.3. 优化Sj=argmin（Sj）<$2，1+ρ<$Sj−Rj<$2对于 j = 1，2，. - 是的- 是的 ，n.（十七）为了解决方程中的优化问题（9）提出了一种嵌套迭代算法。具体来说，我们首先形成方程的增广拉格朗日函数。（九）：L（L，S，△τ，Y）=（S）n这里，R=Dτ+nJiRe（△τkeieT）−Lk+1+Yk. 为了将Sj与算子Z（）分离，我们利用变量分裂技术[2]通过引入辅助变量Z=Z（Sj）来如下求解它：+Re（Tr（YH[Dτ+JiRe（△τeieT）−L−S]））jj2J二、一（十八）ρ+ CITD我i=1n+（九）Vstec1∈Hn是相应的左、右四元数奇异向量，关于ively。得到了最优Lsteck+1我们执行四元数奇异值分解，独立列向量Sj。由于冗余结构，二、一.J19724n2+<$JRe（△τeeT）−L−S<$2S.T.Z=π（Sj）。为了解决Eq中的子问题（18），我们进一步形成其相应的增广拉格朗日函数：2τi ii Fi=1Lµ（Sj，Z，y）=ρ<$Sj−Rj<$2+<$Z<$2，1S.T.rank（L）= 2，（十）+Re（yH<$Sj−<$−1（Z）<$$>）+<$S−<$−1（Z）<$2，µ22（十九）J19725·→·∈ΣΣ−y=y+µS−ς(Z).（二十二）J←△2Z∈J--Zt+1=argminLµ（St+1，Z，yt），（21）rk+1=Dτ+i=1JiRe（△ τk+1eiei）−Lk+1−XFd（p）=minmaxP（k）−minP（k）JΣn△阿罗普河+的Σς−(Z)−关于我们不Σ其中yC2m是拉格朗日乘子，μ >0是惩罚参数，并且<$−1（）表示<$（）的逆算子：C2×mC2m。然后，子算法的复ADMM迭代设计如下：St+1=argminLµ（Sj，Zt，yt），（20）S其中表示复矩阵Ji的Moore-Penrose逆。更新Yk+1：我们根据等式（1）固定当前优化的Lk+1、Sk+1和 τk+1以更新Yk+1。（14）。该交替最小化算法继续进行，直到则满足停止标准。我们计算原始残差-Jual，即，不ZJSk+1，当Frobe-t+1t+1 1t+1j将等式的d e r iv设置为iv。 （20）W. r.tSj为零，我们更新St+1如下：rk +1的nius范数趋于零。最后，我们得到所有封闭形式的解决方案，以方程。（十）、 值得注意的线性化方程（9）只在本地有效 为了学习最终的最优变换，我们将在中提出的ACIS-QR 1A框架下迭代地更新τ τ + τ。HJSt+1=µ1t2ρ+µHH很好（二十三）第5款.4. 感知接缝质量测量Eq。（21）可以简化为：最小值Z=2，1为了有效地区分不同的接缝线和精确地评估图像拼接性能，本节提出了PSQ度量。首先，对于接缝线上的每个像素，+Re（（yt）H<$St+1−<$−1（Z）<$）+µ<$St+1−<$−1（Z）<$2一个本地补丁（像素）以它为中心。自从×J1t+12Jyt21215 15图像组成，每个补丁的位置对应=minZ 2<$Z−<$（Sj+ µ）μF+《古兰经》2，1。（二十四）从输入图像中提取两个重叠的块，即，参考-事件和目标图像补丁。然后，我们计算这些重叠补丁之间的可见误差，以量化损失-接下来，我们应用引理1[2，13]中的软阈值方法更新Zt+1引理1设XC是问题的复值变量：校准误差。受文献[14]的启发，我们基于人类视觉系统来估计这些误差，其中研究了人类具体地，考虑具有较高显著性值的像素min12X−B.（二十五）用户吸引更多的视觉注意，我们计算显着性地图的每对重叠的补丁的基础上的快速存在最优X射线，满足. <$B（：，i）<$2 −λB（：，i），<$B（：，i）<$2> λ最小屏障距离（FastMBD）变换[33]。图像块P中的像素p处的FastMBD的值被定义为：X（：，i）=B（：，i）0，否则。（二十六）ΣnnΣ在Eq。（22）、我们可以直接更新 yt+1使用固定ϕ∈Φk=0k=0St+1和Zt+1。 一旦前n列向量被优化，Sj（j=n+1，.-是的-是的 ，2n）可以从复伴随形式的结构推导出来。从而完成了对Sk+1的优化。更新△τk+1：我们计算最佳值如下：ρn△ τ=arg min∥JRe（△τe e）+DJ2二、一、（二十八）19726我Σ。ρi其中，n=n（0），n（1），. . . Φ是将像素p分别连接到其左相邻像素和上相邻像素的边界像素的路径集合。然后，对色差进行加权。对应的像素显著性。 也就是说，颜色差异将在显著区域中被突出，而在非显著区域中被抑制对人类k+1△τk2i iiτi=1 Yk2眼睛，只有当刺激大于阈值时才能注意到颜色差异。此外，敏感性-Lk+1−Sk+1+ρFn=ReJi<$（Lk+1+Sk+1−Dτ−i=1Yk）eeT，（二十七）感知的色差非线性地改变。随着刺激的增强，视觉辨别力下降。我们将这种非线性感知过程描述为S形曲线。在上述模型的基础上，我们定义了一个新的模型--19727△图1. ACIS-QR 1A框架。焊缝的实际质量如下：gion，我们学习使用QR1A优化算法的对齐建议。接下来，缝切割技术[14]MN，以相应地生成接缝线建议。E=11，我们使用PSQ测量来评估感知缝合-PSQMNi=1j=11+exp（−β（Wij|Pij−Qij|−α））（二十九）所有接缝建议的质量选择一套衣服-其中Wij值为=d（Pij）+d（Qi、j）的情况。Wij、PijQij是能够进行拼接的局部区域，我们选择对齐亲，使用最佳PSQ进行校准，并将其作为初始校准显著性矩阵的第i块中的第j像素参考图像块和目标图像块。M、N分别表示总块的数目和每个块所包含的像素。α和β分别是控制识别色差的阈值和由该辨别刺激的灵敏度的常数。我们使用Ostu算法[ 25 ]计算α和βEPSQ的值已被归一化到[0，1]的范围。通常，较小的值表示接缝质量和缝合性能较好。5. 彩色图像自动拼接框架如图1的基础上，利用QR 1A模型和PSQ测度，进一步提出了一个彩色图像自动拼接框架ACIS-QR 1A。我们的框架的本质是准确地对齐一个合适的局部区域，这样一个高质量的接缝线生成的彩色图像拼接。为此，我们开发了该框架的自动学习策略和迭代学习策略。与传统流水线顺序独立地计算对齐和接缝线不同，该自动化策略将对齐估计和接缝线检测的过程合并在一起，同时，设计了迭代学习策略，以迭代的方式同时学习最佳接缝线和局部对齐。具体来说，我们首先使用初始全局单应性来粗略对齐图像[7]。然后，重叠区域被提取并利用分割技术[1]被划分成单独的局部区域。在每一个地方，for the next下一个iteration迭代.在PSQ的指导下，QR1A朝着最佳拼接性能的方向优化以下迭代中的分段建议同时，对接缝线方案的PSQ值也进行了优化在每次迭代中，都自适应地更新当前的迭代继续进行，直到优化的接缝线满足预定的PSQ标准（直方图中的红点）或两个连续迭代之间的PSQ值的相对差低于阈值（10- 4）。6. 实验我们首先进行了一个消融研究，以证明QR 1A模型和ACIS-QR 1A框架中的迭代学习策略的有效性。然后，我们将ACIS-QR1A的整体彩色图像拼接性能与最先进的公共数据集拼接方法进行了定量和定性比较。在QR1A优化算法中，我们设置初始变量L0，S0，Z0，τ，Y0，y0，k和t等于0，ρ和μ等于1 .一、二十五停止阈值根据经验设置为10−56.1. 消融研究我们在009数据集上进行消融实验[32]，其中存在视差和移动的孩子。在ACIS-QR 1A中，我们将重叠区域分割成五个局部区域。相应地，在每次迭代中生成五个局部对准建议和五个接缝线建议。为清楚起见，接缝线颜色表示图像是根据不同的局部对齐方案拼接的。为了探索ACIS-QR 1A的迭代学习过程，我们给出了每次迭代的中间缝合结果为了比较，初始19728将全局对齐结果直接合成为基线。然后，我们按照传统的分步流水线构建了一个实验，其中图像首先由QR1A迭代对齐，然后依次合成。如图2、由于沿着接缝线的局部未对准区域，容易产生伪影拼接结果使用图中的初始全局对齐2（a）在许多局部区域中遭受明显的伪影通过在图2（b）中引入QR1A，严重的伪影在很大程度上得到缓解，但是仍然存在在存在视差的情况下不能精确对准的微小误差在图2（c）中，示出了ACIS-QR 1A的迭代过程，并且变化的接缝线颜色表示局部对准在PSQ的指导下被动态优化。从这些放大的区域，可以观察到，这些圈出的伪影被迭代地矫正，直到它们沿着接缝线完全消失。即使在天空中，轻微的重影伪影也可以被检测和纠正。6.2. 性能比较将ACIS-QR 1A的整体彩色图像拼接性能与全局单应性（基线）和最先进的方法进行比较，包括APAP[30] 、 鲁 棒 ELA [12] 、 LPC [11] 、 松 弛 容 忍 [32] 、SEAG-ELA [21]和BRAS [19]。定性和定量结果均来自论文或由其发布的代码生成。为了比较公平，我们统一采用基于感知的接缝切割[14]和泊松混合技术[27]来组成它们的对齐图像。定性评估为了全面评估彩色图像拼接能力，我们对四个典型的具有挑战性的数据集进行了不同算法的比较。1) 大视差：典型的例子是025数据集[32]其中卡车、烟囱和树的空间关系在输入图像之间是不同的。在图3中，可以观察到，APAP和鲁棒ELA由于这种不一致的空间分布而使图像失真，尽管精确地建立了每个特征的对应关系。除了LPC和ACIS-QR1A之外，其他方法也会产生轻微的失真和未对准。2) 移动对象：在071数据集[32]中，十字路口的车流干扰了特征的均匀分布，也可能导致匹配特征的空间分布不一致。从图4中，我们可以观察到APAP和鲁棒ELA都严重扭曲了中间和右边的建筑物。在其他基于特征的结果中，将输入图像中的原始三个车道复制为四个车道。BRAS遭受轻微的路线错位的道路。ACIS-QR 1A没有这些伪影。3) 低纹理：如图5所示，拼接纹理很少的图像是困难的，特别是对于基于特征的方法。在BRAS中，阴影中的轻微错位被放大。相比之下，ACIS-QR 1A能够将这些（一）（b）第（1）款（c）第（1）款图2.使用（a）初始全局比对，（b）QR 1A，（c）ACIS-QR1A的迭代学习策略拼接结果区域精确的彩色图像拼接。4) 大遮挡：在catabus数据集中[19]，背景被移动的19729公共汽车遮挡，使得大多数特征对应关系在移动的公共汽车之间建立。也就是说，如果基于特征的方法依赖于运动特征和静态特征两者，则容易产生失真和我们可以观察到APAP和鲁棒ELA都严重扭曲图像。输入图像中的原始一棵树在所有基于特征的结果中被复制。BRAS和ACIS-QR 1A能够实现良好的性能。定量评估为了精确地比较图像拼接性能，不同的算法同样使用相同的PSQ度量进行评估。表1记录了PSQ19730图3. 025数据集上不同算法的比较[32]：大视差的情况。图4. 071数据集上不同算法的比较[32]：移动物体和视差的情况。图5. 货架数据集上不同算法的比较[16]：低纹理和视差的情况。不同算法在20个具有挑战性的数据集上的值。最好的分数以粗体突出显示我们可以观察到，我们的ACIS-QR 1A优于其他方法几乎一致。同时，对沿接缝线的高精度局部对准11不15例（低纹理和视差）。请注意，虽然鲁棒ELA获得了更好的PSQ中没有。18箱，缝合图6. catabus数据集上不同算法的比较[19]：具有大遮挡和视差的情况。由于运动物体和大视差，图像遭受严重的失真我们在补充资料中提供了相应号数据集基线[14]亚太地区[30][12]第十二话LPC[11]BRAS[19]ACIS-QR1A1[8]0.13880.18460.12420.16140.10890.00042069[32]0.14180.06910.08490.06480.06090.0191305[21]0.06250.06030.12780.04360.04170.03524十三[二十一]0.03450.08720.07060.05160.02870.01585二十四[二十一]0.09230.12760.14540.1810.07240.03266025[32]0.08230.06920.04850.06470.01770.01377053[32]0.09840.10920.0990.11110.07030.05638059[32]0.11340.03740.15390.03080.0290.01079073[32]0.08480.08520.1350.10730.08950.044810001[32]0.00440.00210.00220.00910.00430.001011[第16话]0.14520.37780.32320.00610.12680.000412屋顶[16]0.16770.15330.10460.01620.12570.000213四个[16]0.21400.09740.42140.10130.11510.074214内阁[16]0.54000.56850.49420.29430.45260.0000315窗口[16]0.22790.41480.37110.26120.36640.0000316009[32]0.07190.10000.05610.06920.04130.025317第071章【32】0.09680.12320.07560.09760.05280.046818十二[二十一]0.07760.08160.01850.08470.04050.02071917[21]0.02000.01840.03340.09980.02590.011520[第19话]0.01040.01590.01430.03920.00020.0001表1.使用PSQ测量比较拼接质量。号1到否5：视差小。号6不。10：大视差和遮挡。号11不15：低纹理和视差。号16不20：移动物体，大视差和遮挡。7. 结论本文首先提出了四元数域上高精度彩色图像配准的QR 1A模型。为了解决QR1A的优化问题，我们在复ADMM框架下开发了一种嵌套迭代算法。我们还提出了PSQ测度来精确地评估图像拼接性能。使用QR 1A和PSQ，我们进一步提出了ACIS-QR 1A框架，以同时学习最佳接缝线和局部对齐。在具有挑战性的数据集上进行的大量实验表明，所提出的ACIS-QR 1A能够在包括大视差、低纹理、移动物体、大遮挡或/和它们的组合在内的几种困难情况下创建高质量的拼接图像。19731引用[1] Radhakrishna Achanta ， Appu Shaji ， Kevin Smith ，Aurelien Lucchi，PascalFua和SabineSüsstrunk。切片超像素与最先 进 的 超 像 素 方 法 的 比 较 。 IEEE Transactions onPattern Analysis and Machine Intelligence，34（11）：2274-2282，2012。6[2] 斯蒂芬·博伊德尼尔·帕里克和埃里克·朱通过交替方向乘法器的分布式优化和统计学习。Now Publishers Inc，2011. 四、五[3] 张哲汉，佐藤洋一，庄永玉用于图像拼接的保形半投影变形在IEEE计算机视觉和模式识别会议上，第3254-3261页1[4] 陈勇勇，肖晓林，周毅聪彩色图像处理的低秩四元数近似。IEEE Transactions on Image Processing，29：1426-1439，2019。4[5] 陈玉生和庄永玉基于全局相似性先验的自然图像拼接欧洲计算机视觉会议，第186-201页施普林格，2016年。1[6] Fan Xiaoting ， Jianjun Lei ， Yuming Fang ， QingmingHuang，Nam Ling，and Chunping Hou.立体图像拼接，通过几何约束的扭曲和混合。IEEE Transactions onMultimedia，22（3）：655-665，2019。1[7] Martin A Fischler和Robert C Bolles。随机样本一致性：模 型 拟 合 与 图 像 分 析 和 自 动 制 图 应 用 范 例 。Communications of the ACM，24（6）：381-395，1981.6[8] Junhong Gao，Seon Joo Kim，and Michael S Brown.利用双单应性变形构造图像灰度图在IEEE计算机视觉和模式识别会议上，第49-56页IEEE，2011年。一、二、八[9] Junhong Gao ， Yu Li ， Tat-Jun Chin ， and Michael SBrown.图像拼接。在Eurographics（Short Papers）中，第45-48页，2013年。一、二[10] 威廉·罗恩·汉密尔顿。论四元数;或论代数中的一种新的代数系统。伦敦，爱丁堡和都柏林哲学杂志和科学杂志，33（219）：58-60，1848。3[11] Qi Jia，ZhengJun Li，Xin Fan，Haotian Zhao，ShiyuTeng，Xinchen Ye，and Longin Jan Latecki.利用线点一致性来保留宽视差图像拼接的结构。在IEEE计算机视觉和模式识别上，第12186-12195页，2021年。一、二、七、八[12] Jing Li ， Zhengming Wang ， Shiming Lai ， YongpingZhai，and Maojun Zhang.基于鲁棒弹性变形的容忍视差图 像 拼 接 。 IEEE Transactions on Multimedia ， 20（7）：1672-1687，2017。一、二、七、八[13] 陆离，王星宇，王国强。复变实函数可分凸优化的乘子交替方向法工程中的数学问题，2015，2015。四、五[14] 李南，廖天利，王超。用于图像拼接的基于感知的信号，图像和视频处理，12（5）：967-974，2018。一、五、六、七、八[15] 李南，徐一方，王超。图像拼接中的准单应性扭曲IEEE Transactions on Multimedia ， 20 （ 6 ） ： 1365-1375，2017。1[16] 李世伟、陆渊、孙坚、龙泉。基于双特征变形的运动模型估计。在IEEE International Conference on ComputerVision，第4283-4291页，2015年。二、八[17] Xinghua Li ， Ruitao Feng ， Xiaobin Guan ， HuanfengShen，and Liangpei Zhang.遥感图像拼接：成就与挑战。IEEE Geoscience and Remote Sensing Magazine，7（4）：8-22，2019。1[18] 李跃龙和Vishal Monga。Siasm：基于稀疏性的图像对齐和拼接方法，用于鲁棒的图像拼接。在IEEE图像处理国际会议上，第1828-1832页二、三[19] Yuelong Li，Mohammad Toyani，and Vishal Monga.基于 精 确 秩 约 束 的 全 景 拼 接 的 立 体 对 齐 . IEEETransactions on Image Processing ， 28 （ 10 ） ： 4730-4745，2019。二三七八[20] Chung-ChingLin ， SharathchandraUPankanti ，Karthikeyan Natesan Ramamurthy ， and Aleksandr YAravkin.自适应尽可能自然的图像拼接。在IEEE计算机视觉和模式识别会议上，第1155- 1163页，2015年。1[21] Kaimo Lin，Nianjuan Jiang，Loong-Fah Cheong，MinhDo，and Jiangbo Lu. Seagull：用于视差容忍图像拼接的接缝引导局部对齐。欧洲计算机视觉会议，第370施普林格，2016年。一、二、七、八[22] Wen-Yan Lin，Siying Liu，Yasuyuki Matsushita，Tian-Tsong Ng，and Loong-Fah Cheong.平滑变化的仿射缝合。在IEEE计算机视觉和模式识别会议上，第345-352页，2011年。一、二[23] Feng Liu ， Michael Gleicher ， Hailin Jin ， and AseemAgar-wala.用于3d视频稳定的内容保持扭曲。ACM Transactions on Graphics，28（3）：1-9，2009. 1[24] 聂浪，林春雨，廖康，刘帅成，赵耀。无监督深度图像拼接：将拼接特征重建为图像。IEEE Transactions onImage Processing，30：6184-6197，2021。2[25] 大津信之一种基于灰度直方图的阈值选取方法。IEEETransactions on Systems ， Man ， and Cybernetics ， 9（1）：62-66，1979. 6[26] Yigang Peng ， Arvind Ganesh ， John Wright ， WenliXu，and Yi Ma. Rasl：通过稀疏和低秩分解对线性相关图 像 进 行 鲁 棒 对 齐 。 IEEE Transactions on PatternAnalysis and Machine Intelligence ， 34 （ 11 ） ： 22