基于可变形多样性相似模板匹配方法的文件分析

1可变形多样性相似模板匹配伊塔马尔·塔尔米（titamar@campus.technion.ac.ilRoey Mechrez，以色列理工学院roey@tx.technion.ac.ilLihi Zelnik-ManorTechnionlihi@ee.technion.ac.il摘要基于目标图像窗口与模板之间特征匹配的多样性，提出了一种新的模板匹配测度--变形多样性相似性。我们依靠局部外观和几何信息，共同导致一个强大的ap-proach匹配。我们的主要贡献是一个相似性度量，这是强大的复杂的变形，显着的背景杂波，和闭塞。最新的基准测试结果表明，我们的方法在提高计算复杂度的同时，在检测准确率方面优于当前最先进的方法。1. 介绍模板匹配在目标检测、跟踪、监视、医学成像和图像拼接等计算机视觉应用中是一个关键环节。我们的兴趣在于模板匹配当在目标图像上没有可用的先验信息时。一个示例应用是在监控系统的不同摄像机中识别相同的对象[1]。另一个用例是视频跟踪，其中模板匹配用于检测漂移并在丢失对象后重新定位对象[9]。当模板和图像中的目标之间的转换复杂、非刚性或包含遮挡时，这是一项具有挑战性的任务，如图1所示。传统的模板匹配方法，如距离平方和或归一化互相关，不能很好地处理这些复杂的情况。这在很大程度上是因为它们惩罚模板的所有像素，这导致当发生遮挡或大变形时的错误检测。为了克服这一限制，在[4，18]中提出了最佳伙伴相似性（BBS）度量。BBS是基于目标特征和模板特征之间的最近邻（NN）匹配的性质。它只依赖于模板中的点的子集，因此希望锁定模板和目标之间对应的相关特征。这使得BBS比以前的方法更强大。*作者平均贡献图1：模板匹配挑战：模板匹配结果的建议变形多样性相似性（DDIS）。(Top)勒布朗·詹姆斯球衣上的迈阿密热火队标志（底部）DDIS在四个目标图像中找到的最佳匹配（以字体显示）。不同的挑战是显而易见的：球遮挡了标志，勒布朗的移动是非刚性的，带有平面外的旋转和衬衫的复杂变形。在本文中，我们采用了基于特征的，无参数，BBS的方法，并提出了一种新的相似性度量模板匹配命名DDIS：变形多样性相似性。DDIS基于目标窗口和模板的点之间匹配的最近邻字段的两个属性。 第一个是，的NN匹配形成用于模板匹配的强线索。这个想法得到了[11]中的观察结果的支持，其中补丁多样性用于匹配纹理合成的对象。我们提出了用于测量NN场多样性的公式，并进一步提供了理论分析和实证评估，这些措施的强度。DDIS背后的第二个关键思想是明确考虑NN场隐含的变形。正如[7]关于可变形零件模型的开创性工作所示，允许变形，同时在175176∈i=1j=1∈Q→P匹配测量对于目标检测是非常有利的。DDIS结合了类似的想法模板匹配导致显着改善模板检测精度相比，国家的最先进的。DDIS相对于BBS [4，18]的优点是降低了计算复杂度。这两种措施都依赖于NN匹配，然而，BBS是以需要更重计算的方式制定的。DDIS更有效，同时提供类似于BBS的统计属性。总之，在本文中，我们介绍了DDIS，这是一种依赖于两个观察结果的野外模板匹配方法：（i）模板点和目标点之间的NN匹配的多样性指示它们之间的相似性。(ii)NN场所隐含的变形应该被明确地解释。DDIS是鲁棒的和无参数的，它运行在无约束的环境中，并显示出提高的精度相比，以前的方法在一个真正的挑战 性 的 数 据 集 。 我 们 的 代 码 可 在https://github.com/roimehrez/DDIS上获得2. 相关工作模板与目标图像的子窗口之间的相似性度量是模板匹配的核心部分。在[19]中给出了一个很好的评论。通常使用的方法是逐像素的，例如，平方差之和（ SSD ） 、 绝 对 差 之 和 （ SAD ） 和 归 一 化 互 相 关（NCC），所有这些都假设模板和目标之间仅存在平移。它们可以与色调映射结合以处理照明变化[8]或与不对称相关性结合以处理噪声[6]。为了增加对噪声的鲁棒性，已经提出了逐像素测量，例如M估计器[2，23]或基于汉明的距离[22，20]。更一般的几何变换，如仿射，由[27，12]解决。在[13]中，通过近似参数模型的全局最优值来处理参数变换。在[26]中，通过对失真的参数估计来处理非刚性变换所有这些方法在其基本的几何假设成立时都工作得很好，然而，它们在存在复杂变形、遮挡和混乱时失败第二组方法考虑模板的全局概率属性。例如，在[3，21]中使用颜色直方图匹配（用于跟踪）。这并不限制几何变换，然而，在许多情况下，颜色直方图不是良好的表示，例如，在存在背景杂波和遮挡的其他方法将几何提示与外观提示相结合。例如，在[16]中提出了一种概率解决方案Oron等人[17]通过在xyRGB空间中测量一对一的距离来扩展这个想法。这些方法都做了各种假设，在复杂的场景中不成立。最近在[4，18]中提出了一种更稳健的方法，可以处理复杂的情况。他们的方法，称为最佳伙伴相似性（BBS），是基于[24]的双向相似性（BDS）概念。它们通过考虑补丁之间的匹配来计算模板和目标窗口之间的相似性在两个方向上计算匹配，提供对离群值的鲁棒性。在[5]中提出了类似的想法，将Hausdorff距离的最大算子[10]替换为求和。BBS的[4，18]导致模板匹配精度比现有方法显著提高。在本文中，我们提出了一个不同的措施，分享BBS的鲁棒性，同时产生更好的检测结果。3. 多样性作为相似性度量为了测量目标窗口和模板之间的相似性，我们首先在模板中为每个目标补丁找到其最近邻（NN）。我们的核心思想是，目标和模板之间的相似性是由隐含NN字段的两个属性捕获的。首先，如图2d所示，当目标和模板对应时，大多数目标块在模板中具有唯一的这意味着NN字段是高度多样化的，指向模板中的许多不同的补丁。相反，如图2e所示，对于任意目标，大多数补丁都没有很好的匹配，并且NN收敛到少量模板点，这些模板点恰好与目标补丁有点相似。其次，我们注意到，任意匹配通常意味着大的变形，如图2e中的长箭头所示。接下来，我们提出了两种方法来量化NN场的多样性和变形量。第一个更直观，允许优雅的统计分析。第二个稍微复杂一些，也更健壮一些。3.1. 多样性相似性（DIS）设点p i，q jR d代表TEM的碎片-板和目标，分别。我们的目标是测量两组点（模板点）之间P={pi}N和目标点Q={q j}M。我们需要对每个点q∈Q，s.t.，NN（q，P）=argminp∈Pd（q，p），对于给定的距离函数d（q，p）. 我们的测量所基于的第一个属性是作为NN发现的点p P的多样性衡量多样性的一种直观方法是计算唯一NN的数量。我们将多样性相似性（DIS）定义为：DIS=c|{pi ∈P：<$qj∈Q，NN（qj，P）=pi}|其中c = 1/min {M，N}是归一化因子，并且|{·}|177J∈∈--∈∀ ∈∈(a)（b）第（1）款每一个补丁，并分别对待他们。其次，我们提出了一种不同的方式来衡量多样性，使考虑变形量。设pa表示外观，pl表示面片p的位置（对于q也是如此）。我们发现基于NN p i ，对于每个点q js.t. pi=NNa（q j，P ）=argminp∈Pd（q a，pa）对给定的距离d（q a，pa）.点q j和它的NNa之间的位置距离是de-记为r j= d（q l，p l）。为了量化多样性的J I（c）第（1）款（d）其他事项（e）作为NN域的函数，我们将κ（pi）定义为NNa为pi的补丁q∈Q的数量：κ（p i）=|{q∈Q：N Na（q，P）=p i}|（2）最后，定义了可变形多样性相似度（DDIS），以高多样性和小变形为目标图2：可变形多样性：在目标图像（b）中搜索用绿色（a）标记的面部模板（c）。脸部经历了复杂的变化：背景CLUT-DDIS =cQ→PΣqj∈Q1rj+1·exp.Σ1−κ（NNa（qj，P））（三）ter，脱离平面旋转和非刚性变形。我们放大一个坏的目标窗口（e）和最好的目标窗口（d），两者都在（b）中用颜色标记。蓝色箭头是NN字段的样本：它们的起始点标记目标片，而结束点标记其NN在模板中的位置。坏目标（e）示出具有大变形的NN补片的低因此，最佳靶标（d）显示高多样性和小变形（短箭头）。最好在屏幕上观看。表示组大小。为了提供关于DIS捕获两组点之间的相似性的原因的进一步直观性，我们在图5中提供了2D的图示。图5a表明，当P和Q中的点的分布相似时，大多数点q Q具有唯一的NNp P，这意味着高DIS值。相反，当P和Q分布不同时，如图5b所示，DIS较低。这是因为在Q稀疏而P密集的区域中，P中的大多数点都不是任何q的NN。此外，在Q密集而P稀疏的区域中，Q中的大多数点共享相同的NN。在这两种情况下，由于点数有限，对综合安全分遣队的总体贡献很低。3.2. 可变形多样性相似性在捕获井多样性的同时，DIS没有明确考虑变形场。考虑变形量是重要的，因为虽然应允许非刚性变换，但它们也应受到限制，以优先考虑真实对象的合理变形。为了整合对大变形的惩罚，我们对测量多样性的方式进行了两次修改。首先，为了获得变形场的显式表示，我们区分外观和位置，其中c=1/minM，N是归一化因子。这个定义可以看作是贡献在点Qj上。当点qj具有唯一NN时，则κ（NNa（qj，P））=1并且指数达到其最大值1。相反，当qj的NN被许多其他点共享时，则κ（NNa（qj，P））较大，指数值较低，并且qj对相似性的总体贡献较低。此外，每个点的贡献由其隐含变形向量的长度rj反加权DDIS具有几个使其具有吸引力的特性(1)它主要依赖于匹配的子集，即，具有不同NN的点。共享NN的点对分数的影响较小。(2)DDIS不需要任何关于数据或其潜在变形的先验知识。(3)DDIS分析NN字段，而不是使用实际距离值。这些特性使DDIS能够克服背景杂乱、遮挡和非刚性变形等3.3. DIS作为简化的DDISDIS和DDIS以两种不同的方式捕获多样性。DIS简单地计算P中的唯一匹配，而DDIS指数地测量Q中补丁的每个NN匹配的独特性。尽管如此，我们接下来表明DIS和DDIS高度相关。我们首先通过在（3）中设置rj= 0来忽略变形，并通过假设M = N来简化（不失一般性）。我们用1/k表示点p P中至少有一个点是NN的部分。当k=1时，DIS和DDIS都达到它们的最大值1，即，当κ（pi）=1piP.当k=N时，即，所有q Q共享一个NN时，两个分数都达到最小值，DIS=1/N，DDIS=exp（1-N）。178- -∈图3：DIS作为简化的DDIS：DIS和DDIS（其中rj=0，M=N）作为k的函数的图，其中P中的N/k个点是具有某个q的NN，并且对于所有这些点，κ（pi）=k。DIS和DDIS都在k = 1时最大，并单调下降，当k=N时达到其最小值。(a) （b）E[BBS]（c）E[DIS]进一步的直观可以从NN匹配的均匀分布的情况中导出，即， 当P中只有N/k个点是某个q的NN，且对所有的点都有κ（pi）= k时.(d) E[DDIS]小变形(e) E[DDIS]大变形(f) E[DDIS]忽略变形在 这种情 况 下 ， DIS= （ N/k ） /N=1/k ， 并 且DDIS=1/Nqj∈Qexp（1k）=exp（1k）。这两个度量值共享极值点，它们在极值点之间单调下降，k的函数，DDIS由于其指数性质而下降得更快。这在图3中示出。3.4. 统计分析为了进一步巩固我们的断言，即多样性捕获了两个分布之间的相似性，我们提供了统计分析，类似于[4，18]中的分析。我们的目标是表明，DIS和DDIS的期望是最大的点在两个集合中从相同的dispensing，并急剧下降的两个分布之间的距离我们通过一个简单的1D数学模型来实现，其中图像窗口被建模为从一般分布中绘制的一组点。附 录 A 给 出 了 从 两 个 给 定 分 布 中 抽 取 点 时E[DIS]E[DIS]的表达式没有封闭形式的解，但可以针对选定的底层分布进行数值求解。因此，我们采用与[4]相同的设置，其中P和Q被假设为高斯分布，其通常用作图像块的简单统计模型。然后，我们使用Monte-Carlo积分来近似参数μQ和σQ离散选择的期望。对于BBS和SSD，我们采用[4]中的推导，其中E[BBS]也通过Monte-Carlo积分近似，E[SSD]被归一化。图4显示了得到的近似预期值。可以看出，当分布相同时，DIS可能最大化，而当分布彼此不同时，DIS可能迅速下降。此外，很明显，DIS和BBS呈现出高度相似的行为。最后，类似于[4]，可以证明这也适用于多维情况。对于DDIS，我们无法导出其期望E[DDIS]的良好表达式。相反，我们使用模拟来近似它。模拟还需要考虑位置图4：1D高斯情况下的预期行为：在[4]之后，通过分别从N（0; 1）和N（μ Q; σ Q）中采样N = M = 100个点 ， 使 用 [μ Q ， σ Q] [0 ， 10] 生 成 两 个 点 集 P 和 Q 。(Top)SSD（a）、BBS（b）和DIS（c）作为µQ和σQ的函数的近似期望值表明，BBS和DIS具有相似性，并且随着分布的远离，它们比SSD下降得更快。（底部）当平均变形小（d）、大（e）和忽略（f）时DDIS的近似期望（（d）和（e）是共同按颜色缩放的）。可以看出，小变形场对应于期望的更尖锐的峰，而对于大变形，相似性总是低的。以量化（3）中的变形量rj 当rj=0时，其期望值与BBS和DIS的期望值相似.对于rj0，我们模拟两种情况：（i）小变形：我们根据它们的外观坐标对每个集合中的点进行排序，并将它们在排序列表中的索引作为位置。当分布不同时，多样性很低。但是当分布相似时，排序导致点及其NN具有相似的索引，这对应于小变形。(ii)大变形：我们将一个集合中的点按降序排序，另一个集合中的点按升序排序，再次将它们在排序列表中的索引作为位置。当分布相似时，排序导致点及其NN具有不同的索引，这对应于大变形。图4显示，对于小变形，E[DDIS]随着分布变得更加不同而急剧下降。对于大的变形，它总是低的，如所期望的，因为即使当外观相似时，如果几何变形大，则点集之间的总体相似性低。4. 与BBS比较我们的措施与BBS非常相似然而，179∈∈∈∈∈∈(a)相似分布（b）不同分布图5：DIS和BBS的直觉：对于每个点qQ，我们画一个指向其NN p P的红色箭头。如果q和p也是最佳伙伴对（BBP，见4.1节），我们将红色箭头改为绿色线条。DIS计算由红色箭头或绿色线指向的蓝色三角形。BBS计数绿线。(a)P和Q的分布类似，因此，许多p这里DIS=BBS=8。(b)P和Q具有不同的分布。稠密p中的单个q或稠密q中的单个p有时，Q和P之间存在唯一的NN匹配，而不是BBP。由于P和Q的分布不同，DIS和BBS都相对较低，DIS=3，BBS=2。两个关键区别：（i）测量两个集合之间的相似性的方式，以及（ii）对空间变形量的惩罚接下来，我们分析这些差异的含义4.1. 你只需要一个方向[4，18，24]的双向相似性方法背后的关键思想是鲁棒匹配需要双向特征对应。我们单方面的措施与这一主张相矛盾。事实上，我们观察到，多样性提供了一个很好的近似BBS。我们提出的分析是DIS，因为它比DDIS简单，不包括变形，使比较BBS更公平和直接。回想一下，BBS计算目标和模板之间双向NN匹配的数 量 。 一 对 点 pi∈P 和 qj∈Q 被 认 为 是 最 佳 双 点 对（BBP），如果pi是qj的近邻，qj是pi的近邻.BBS计算BBP的数量作为P和Q.显然，双边性质的BBS是浪费的计算方面，相比，单边DDIS和DIS。DIS和BBS的定义不同，但是，由于目标和模板中的补丁的数量是有限的，DIS提供了一个很好的近似BBS。如图5a所示，当P和Q中的点的分布相似时，许多NN关系是双向的。这意味着BBS和DIS的值非常相似。在模板和目标相同的极端情况下，每个点q都有一个唯一的NNp=q，它们形成了一个BBP。在这种情况下，DIS=BBS。当分布不同时，DIS和BBS的行为也类似，如图5b所示。的地区P是稀疏的，Q是稠密的，我们得到多个点，它们共享同一个NN。它们中最多有一个形成BBP，它们对DIS和BBS的联合贡献为1。由于P和Q中的点的数量是有限的，这意味着存在其他区域，其中P是密集的而Q是稀疏的。在这些区域中，P中有许多点不是任何q Q的NN，并且对DIS和BBS都没有贡献。我们的观察结果与图4的预期分析一致。此外，我们的实验（第7节）表明，DIS和BBS实现了相当的TEM-印版匹配精度。4.2. 显式与隐式变形建模在[4，18]中指出了惩罚大变形的必要性。这是通过在搜索NN时将xy坐标添加到特征向量来隐式地完成的。一对点之间的距离被视为它们的外观和位置差的加权线性组合这与DDIS不同，DDIS仅考虑NN匹配的外观，并显式惩罚所获得的NN场中的变形。我们的方法有两个好处：（i）改进的运行时间，（ii）更高的检测精度。仅使用外观进行NN匹配显著减少了运行时间，因为虽然每个图像块由许多子窗口共享，但其xy坐标在每个子窗口中是不同的。这意味着NN字段需要针对每个图像子窗口单独计算。相反，在外观空间中工作允许我们对每个图像块执行单个NN搜索。在第6节中，我们分析了计算复杂性方面的好处。分离外观和位置也导致更准确的模板定位。具有非常相似外观的重叠目标窗口可能导致非常相似的相似性得分。DDIS选择意味着较少变形的窗口。我们的实验表明，这是重要的，提高了定位精度。5. 执行为了利用DDIS进行图像中的模板匹配，我们遵循传统的光栅扫描方法。我们的算法得到作为输入的目标图像S和模板T。它的输出是一个将T放置在S中的框架。我们将T的宽度记为Tw，高度记为Th，S也是如此。将每个模板大小的子窗口WS与T进行比较。 我们从T和W特征向量中提取，如下所述，分别产生集合P和Q。我们使用欧氏距离（L2）来比较外观特征pa和qa.变形长度rj是xy坐标pl和ql之间的欧几里德距离。我们的实施包括4个阶段：0. 特征提取：我们尝试了两种形式的外观特征，颜色和深度特征。作为颜色特征，我们将pa和qa设置为3×3重叠块的矢量化RGB像素值。为了获得深层特征，180·×|||·|·×----|真理就是真理|≈我我√√√√√使用流行的VGG-Deep-Net [25]。更具体地说，我们从层conv1 2，conv3 4和conv4 4中获取特征图（类似于[14]中的对象跟踪建议）。我们放弃了更高的层，因为我们发现低空间分辨率不准确。将特征图归一化为零均值和单位标准差，然后通过双线性插值进行放大，以达到原始图像大小。1. NN搜索：我们为S中的每个特征向量找到它在模板T中的近似NN 。 我们使用TreeCANN [15]，PCA降维到9维，kd树近似参数k=2，密集搜索（gS=g T=1），窗口参数w S=3，w T= 5。2. 相似度图计算：对于每个目标图像像素（忽略边界像素），我们计算相似度在其周围的子窗口W和模板T. 对于每个W，我们首先计算κ（p），3. 目标定位：使用O（L）中的积分图像有效地完成了相似性图的平均。为了找到最大值位置，需要在图像上进行另一次滑动，这需要O（L）。把所有这些放在一起，我们得到DDIS模板匹配的整体复杂度是O（d′llogl+Ll），其中我们省略了O（L（d+logl）），因为对于小T，d和l期望是相同的顺序，而对于大T，d是相同的顺序。DDIS相对于BBS的好处之一是它只需要单方面的匹配。现在可以清楚地说明复杂性方面的好处根据[18] ， 使 用 深 度 特 征 的 BBS 复 杂 度 平 均 为 O（Ll4d），对于颜色特征，平均为O（Ll2d）。后一种情况使用重缓存，其消耗O（l2L）内存（假设Sw=S h= L）。在（2）中。 由于后续窗口有许多重叠，κ的计算仅需要更新关于先前子窗口的被移除和被然后，我们按照（3）中的定义计算DDIS。3. 目标定位：最后，模板位置是具有最大分数的位置。在取最大值之前，我们使用大小一致的核来平滑相似性图7.实证评价我们的实验设置遵循[18]的设置，该设置通过从视频序列中采样帧来创建基准，并使用边界框进行对象跟踪[28]。这些视频提出了各种挑战：复杂变形、亮度变化、比例差异、平面外TwTh3×3，以去除杂散孤立峰。6. 复杂性集合P和Q分别由来自T和W中所有位置的特征组成。这意味着P=Q=T wT h，l。可能的子窗口1的数量是Sw，Sh，L。重新调用d表示特征向量的长度。对于颜色特征，d等于块3的大小，而对于深度特征，其由特征图维度确定。接下来，我们分析步骤（1-3）的复杂性1. NN搜索：TreeCANN由两个阶段组成。第一种方法是在O（dl）的时间内将所有模板点的维数从d降到d′，并在O（d′llogl）的时间内建立k-d树。第二阶段执行查询。每个查询包括降维O（d）、k-d树中的搜索O（logl）（平均）以及利用空间相干性O（d）的传播阶段。为目标图像S中的所有特征找到近似NN的总体复杂度平均为O（d′llogl+L（d+logl））。内存消耗为O（1）。2. 相似度图计算：为了简单起见，假设T w=T h=l，κ（p）的更新需要O（l）op。除第一个W外，任何其他W都是第一个。然后，DDIS用O（1）运算来计算。因为所有的。子节点数量。当w 为L时，该步骤的复杂度为O L（l + l）<$OLl。此操作的内存消耗stage的时间复杂度为O（l），这是一个包含κ（p）的表的大小。1在实践中，我们排除了不完全在模板或子窗口内的补丁，但这些补丁对于我们的复杂性分析来说可以忽略不计旋转、遮挡等等。 基准由三个数据集组成，通过以恒定帧（时间）差dFrame=25、50、100对270、270、254对帧进行采样而生成，从而产生越来越多的数据集，并且总体上是模板匹配的具有挑战性的基准对于每对帧，一个用于将模板定义为带注释的地面实况框，而第二个用作目标图像。如在目标跟踪中通常所做的那样，检测结果与目标的地面实况注释之间的重叠被视为准确度的度量准确度=|真理就是真理|哪里|·|进行计数像素在一个区域中，Rtruth和Rest是地面实况和估计的矩形，在S中定位T。定量评价：我们比较了DDIS和DIS与BBS、BDS、SSD、SAD和NCC的颜色和深度特征。对于BBS和DIS，我们使用与[18]中完全相同的设置，即在xyHSV空间中表示3 3个不重叠的补丁。在图6中，我们为每个数据集和方法绘制了成功率曲线。从表6d中的曲线下面积（AUC）评分可以看出，DDIS比所有先前的方法显著更成功。此外，DDIS与我们的简单的颜色特征优于所有其他方法的颜色或深度功能。当使用深度特征时，DDIS在BBS上改进，三个数据集的裕度为11%，15%，8%。当使用颜色特征时，10%，16%，21%。定性评价：图8显示了对挑战性示例的几个检测结果，181∈--∈方法数据集25 50 100是说DDIS -D0.6790.583 0.5710.611DDIS -C0.6500.590 0.5400.593DIS-D0.6300.549 0.5180.566BBS -D0.5980.514 0.5320.548SSD -D0.5840.512 0.5190.538SAD -D0.5820.507 0.5130.534NCC -D0.5810.509 0.4910.527BBS -C0.5900.505 0.4450.513DIS-C0.5610.501 0.4460.503BDS -C0.5640.471 0.4250.486BDS -D0.5130.447 0.4010.454SAD -C0.5160.412 0.3650.431NCC -C0.4830.398 0.3590.413固态硬盘-C0.4270.363 0.3080.366(a) dFrame= 25（b）dFrame= 50（c）dFrame= 100D=深特征C=颜色空间(d)AUC结果图6：模板匹配精度：在[ 18 ]的基准上进行评估：使用dFrame的270个模板图像对2550100DDIS优于竞争方法，如可以在ROC曲线（a）-（c）中看到的，其显示了具有准确度>阈值[0，1]的图像对的分数。相应的曲线下面积（AUC）评分见表（d）。对于所有方法，D代表深度特征，而C代表颜色。具有深度特征的DDIS提供最佳结果。具有颜色特征的DDIS排在第二位，即使在使用深度特征时也优于其他方法。web，包括遮挡、显著变形、背景杂乱和模糊。我们比较DDIS和DIS BBS -当前的最先进的。从检测可能性图中可以明显看出，DIS和BBS具有相似的行为，这支持了我们的建议，即单边匹配足以捕获相似性。另一方面，DDIS也考虑了变形，因此，它提供了更清晰的地图，具有更少的干扰。我们的实现是在MATLAB/c++中进行的，所有实验都是在32 GB RAM，Intel i7四核机器上进行的。在基准测试中，使用颜色特征的图像对的平均（标准）运行时间为0. 86s（0. 59），取决于模板的大小。相比之下，BBS的平均（std）时间要长几个数量级：三十五47s（80. （第36段）。DDIS的最大和最小运行时间为3 。 44 秒 和 0 。 06s ， BBS 为 493s 和 0. 14S ， 分 别 。dFrame=25的详细结果见图7。这与我们的复杂性分析相匹配，该分析表明DDIS受模板的影响较小大小，而BBS对l的依赖是多项式的。8. 结论我们介绍了一种新的方法，在野外的模板匹配我们的方法不仅在检测精度方面有所提高，而且在计算复杂度方面也有所提高。我们的算法的一个缺点是不处理对象的显着规模变化。这可以通过计算多个尺度上的可能性图来解决。一个未来的研究方向是探索考虑超过第一个神经网络的每个补丁。这可能有利于处理重复纹理。我们的分析得出的一个重要观察结果是，不一定需要双向匹配来计算相似性。这就提出了关于著名的双向相似性方法的问题，该方法提供了极好的结果，但计算量很大。致谢本研究得到了以色列科学基金会1089/16和Ollen-dorf基金会的支持。A. 附录：DIS预期期限在本附录中，我们开发的数学表达式的期望DIS在R1。我们首先以便于推导的形式重写DIS：图7：dFrame：散点图中的每个点标记数据集中270个图像对之一的运行时间（dFrame = 25）。对于DDIS，运行时总是很小DIS=1Q→PNΣN·i=1disi（ Q，P）而对于BBS，随着模板和图像尺寸的增加，它变得很长。disi（Q，P）=I[{qj∈Q：NN（qj，P）=pi}=N]182p∈联系我们我我/我图8：定性评估：使用三种模板匹配方法在目标图像（b）中检测到标记为绿色的模板（a）：BBS、DIS和DDIS（均使用RGB功能）。(c-e)相应的检测似然图表明，DDIS产生更多的峰值图，更鲁棒地识别模板。从上到下看一行(1) BBS更喜欢背景与模板匹配的目标位置，而不是摩托车所在的位置。这是因为摩托车变形，因此在其模板外观和目标外观之间几乎没有双向对应。DIS和DDIS使用更多的信息-它们考虑了所有的单向对应。因此，他们正确地定位摩托车。(2)乐队One Direction赢得的奖杯在模板中完全可见，但在目标中被遮挡。尽管如此，DDIS还是找到了它（正如第4.1节所说，我们只需要一个方向）。(3)复杂的变形加上遮挡会混淆DIS和BBS，但不会混淆DDIS。其中I是指示函数，并且disi（Q，P）指示pi是否被选择为NN匹配至少一次。我们继续期待：证明：给定一组已知的样本P，样本q=Q的NN匹配不是pi的概率为：Σ ΣEDIS =Q→P1ΣNNE[ disi（ Q，P）]= E[ disk（ Q，P）]Pr{NN（q，P）pi|P}=∫∞I[NN（q，P）=pi]fQ（q）dq−∞i=1（四）∫−∫我其中最后一步是因为样本Q和P是独立绘制的，所以所有索引的行为都是一样的，我们可以选择Q（q）dq+−∞fQ（q）dq+我任意的指数k。 继续期待指标函数，我们有：E[ disk（ Q，P）]= Pr{ disk（ Q，P）= 1}=1−Pr{disk（Q，P）=0}（5）=FQ（p−）+1−FQ（p+）（8）其中我们将R分为两个范围，其中指标不为零。由于Q由N个独立采样点组成，因此当Q被采样并且P已知时，pi不是任何q Q的NN匹配的概率为：声明：Pr{disi（Q，P）= 0}=（6）Pr{dis i（Q，P）=0|P}=Σ ΣNPr{NN（q，P）/= p i|P}∫∫=···YN（FQ（p−）+1−FQ（ p+））N·fP（ pk）dpk（九）我p1pN我k=1最后，由于所有点都是独立采样的，我们有：其中F Q（x）= Pr qx 和FP（x）=Prp x是the p+，p−定义为：Pr{disi（Q，P）= 0}=（10）p+=pi+ minpk∈P<${+∞}pk>pi我|P K我-p i|/2∫∫p∞183···=p1pNYNPr{dis i（Q，P）=0 |P}·k=1fP（ pk） dpkp−= pi−min|第二章（7）|/2(7)将等式（8）和（9）代入等式（10）得到等式（6）。□ipk∈P<${−∞}pk pi184引用[1] S. M.阿萨里，H. Idrees和M. Shah.使用个人、社会和环境约束在人群视频中重新识别人。在欧洲计算机视觉会议上，第119-136页。施普林格，2016年。1[2] J. - H.陈春S.陈和Y.- S.尘基于m-估计的鲁棒模板匹配IEEE Transactions on Signal Processing，51（1）：230-243，2003. 2[3] D.科马尼丘河谷Ramesh和P.米尔利用均值漂移对非刚性物 体 进 行 实 时 跟 踪 。 在 The IEEE Conference onComputer Vision and Pattern Recognition（CVPR），第2卷，第142-149页，2000中。2[4] T. Dekel，S.Oron，M.Rubinstein，S.Avidan和W.T. 自由人。最好的伙伴相似性强大的模板匹配。在IEEE计算机视觉和模式识别会议（CVPR），第2021-2029页，2015年。一、二、四、五[5] M. P.Dubuisson和A. K.贾恩。一种用于目标匹配的修正Hausdorff距离。第12届IAPR模式识别国际会议集，第1卷，第566-568页，1994年10月2[6] E. Elboher和M.沃曼非对称相关性：一种抗噪声的模板匹配相 似 性 度 量 方 法 。 IEEE Transactions on ImageProcessing，22（8）：30622[7] P. F. 费尔岑斯瓦尔布河B. Girshick，D.McAllester和D.拉玛南。用有区别地训练的基于部分的模型进行目标检测。IEEE Transactions on Pattern Analysis and MachineIntelligence，32（9）：1627-1645，2010. 1[8] Y.赫尔-奥尔，H。Hel-Or和E.大卫通过色调映射进行匹配：光度不变模板匹配。IEEE Transactions on PatternAnalysis and Machine Intelligence，36（2）：317-330，2014。2[9] Z.洪，智-地Chen C.，马缨丹属Wang，X. Mei，D. 普罗霍罗夫，以及D. 涛. Multi-store tracker（muster）：一种受认知心理学启发的对象跟踪方法。在IEEE计算机视觉和模式识别会议（CVPR）中，第749-758页，2015年。1[10] D. P. Huttenlocher，G. A. Klanderman和W.拉克里奇。使 用 Hausdorff 距 离 比 较 图 像 IEEE Transactions onPattern Analysis and Machine Intelligence，15（9 ）：850-863，1993。2[11] O. Jamris Replika，J.Fis P.Asente，J.Lu、E.Shechtman和D.是 的 。 LazyFluids ： 流 体 动 画 的 外 观 转 移 ACMTransactions on Graphics （ TOG ） ， 34 （ 4 ） ： 92 ，2015。1[12] H. Y. Kim和S. A. 去你的。灰度模板匹配对旋转、缩放、平移、亮度和对比度不变性.在环太平洋图像和视频技术研讨会上，第100-113页Springer，2007. 2[13] S. Korman，D. Reichman，G. Tsur和S.阿维丹快速匹配：快速仿射模板匹配。在The IEEE Conference onComputer Vision and Pattern Recognition（CVPR），第2331-2338页，2013中。2[14] C.妈，杰- B. Huang，X.杨和M.- H.杨用于视觉跟踪的分层卷积特征。在IEEE国际计算机视觉会议（ICCV），第3074-3082页，2015年。6[15] I. Olonetsky和S.阿维丹TreeCANN-kd树相干近似最近邻算法。欧洲计算机视觉会议（ECCV），第602Springer，2012. 6[16] C. F.奥尔森最大似然图像匹配IEEE Transactions onPattern Analysis and Machine Intelligence，24（6 ）：853-857，2002。2[17] S. Oron，A. Bar-Hillel，D. Levi和S.阿维丹局部无源跟踪 。 International Journal of Computer Vision ， 111（2）：213-228，2015. 2[18] S. Oron，T. Dekel，T.薛，W. T. Freeman和S.阿维丹最佳伙伴相似性-使用互最近邻的鲁棒模板匹配。arXiv预印本arXiv：1609.01571，2016年。一、二、四、五、六、七[19] W. 欧阳F.Tombari，S.马托恰湖迪斯蒂法诺和W.-K.查姆全搜索等价模式匹配算法的性能评价。IEEETransactionsonPatternAnalysisandMachineIntelligence，34（1）：127-143，2012。2[20] O. Pele和M.沃曼鲁棒的实时模式匹配，使用baker-sequential 假 设 检 验 。 IEEE Transactions on PatternAnalysis and Machine Intelligence ， 30 （ 8 ） ： 1427-1443，2008。2[21] P. 佩雷斯角顺化，J. Vermaak和M. 黑帮基于颜色的概率 跟 踪 。 欧 洲 计 算 机 视 觉 会 议 ， 第 661-675 页 。Springer，2002年。2[22] B. G. 申Y. Park和J。J. 李你噪声图像中快速鲁棒的模板匹配算法 国际控制、自动化和系统会议。，第6IEEE，2007年。2[23] A. Sibiryakov 快速、高性能的模板匹配方法。在IEEE计算机视觉和模式识别会议（CVPR）中，第1417-1424页，2011年。2[24] D. Simakov，Y. Caspi，E. Shechtman和M.伊拉尼利用双向相似性对视觉数据进行求和. 在IEEE计算机视觉和模式识别会议（CVPR）中，第1-8页，2008年。二、五[25] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。在2015年国际学习代表会议上。6[26] Y. Tian和S. G.纳拉希姆汉非刚性图像