基于图算法的图像检索方法

9423探索-开发图算法在图像检索中的应用郑畅第6层AIjason@layer6.ai于广伟第6层AIguang@layer6.ai刘春娣6层AIchundi@layer6.aiMaksimsMesovsLayer6 AImaks@layer6.ai摘要我们提出了一种新的基于图的图像检索方法给定由全局描述符模型产生的最近邻图，我们通过交替利用和探索步骤来遍历它。explore步骤maximally利用每个顶点的直接邻域，而explore步骤遍历描述符空间中更远的顶点。通过结合这两个步骤，我们可以更好地捕获底层图像流形，并成功地检索相关的图像，是视觉上不相似的查询。 我们的遍历算法 概念上简单，具有很少的可调参数，并且可以用基本的数据结构来实现。这使能快速实时推理以前看不见的查询与最小的内存开销。尽管相对简单，我们在多个公共基准测试中显示出极具竞争力的结果，包括目前公开的最大图像检索数据集。这项工作的完整代码可以在这里获得：https://github.com/layer6ai-labs/egt.1. 介绍图像检索是计算机视觉中的一个基本问题，具有许多应用，包括基于内容的图像搜索[31]，医学图像分析[16]和3D场景重建[12]。给定图像数据库，目标是检索给定查询图像的所有相关图像。相关性是特定于任务的，并且通常对应于包含相同属性（诸如人、地标或场景）的图像。在规模上，检索通常分两个阶段进行：第一阶段快速检索候选日期的初始集合，第二阶段细化该集合，返回最终结果。为了支持高效的检索，第一阶段通常将图像编码到紧凑的低维描述符空间中，其中通过内积进行检索。在这一领域已经提出了许多方法，主要是基于局部不变特征[17，18，29]和袋-作者对这项工作做出了同样的贡献。词（BoW）模型[26]。随着深度学习的最新进展，许多领先的描述符模型现在使用端到端训练的卷积神经网络（CNN）进行检索[30，3，10，25]。第二阶段是因为它是很难准确地编码到紧凑的描述符，所有相关的信息自然图像是高度复杂的，检索必须对许多因素保持不变，如遮挡，照明，视角，背景杂波等。因此，虽然第一阶段被设计为高效且高度可扩展，但它通常不会产生所需的准确度[ 35，7 ]。因此，第二阶段的研究集中在减少假阳性和提高回忆[7，15]。减少误报的常见方法是对检索到的查询-候选对应用空间验证[21]。图像的局部化空间结构通过通常以不同分辨率从各个区域提取多个特征来利用[20]。然后应用基于RANSAC [9]的空间验证来对齐兴趣点并估计内点计数。通过将阈值应用于其内点计数来过滤图像可以显著减少误报，并且这种方法的各种版本用于领先的检索框架[21，6]。为了提高查全率，基于图的方法通常应用于第一阶段产生的k-最近邻（k-NN）图[35]。查询扩展（QE）[7]是一种流行的基于图的方法，其中查询描述符使用检索到的图像中的描述符进行迭代细化量化宽松实施起来很简单，而且往往会带来显著的业绩提升。然而，迭代邻域扩展主要探索图像描述符非常相似的狭窄区域[15]。使用相似性传播/扩散的替代方法由于其强大的性能最近受到了极大的关注[15，25，4]。在扩散中，成对图像相似性通过k-NN图传播，允许检索查询的直接邻域之外的相关图像，从而提高召回率[8]。虽然有效，但对于大型图，相似性传播可能过于昂贵，使得这些模型中的实时检索具有挑战性[13]。最近提出了更有效的替代方案[14]，如何-9424X{}作为与性能的折衷，实现了任何效率在这项工作中，我们提出了一种新的图像检索方法的基础上遍历的最近邻图。我们的方法保留了k-NN图的连通性，并且仅通过在探索和利用步骤之间交替来遍历它。这导致了高效的推理，使实时检索以前看不见的图像与最小的内存开销。从经验上讲，我们表明，探索和利用步骤的组合最大限度地利用查询的近邻，并有效地探索更遥远的顶点，从而显着提高精度和召回。总而言之，我们的贡献是如下所示提出了一种基于k-NN图遍历的图像检索方法通过explore和exploit步骤之间的交替，我们能够有效地检索描述符空间中远离查询的相关图像我们引入了一种有效的方法，将空间验证到k-NN图通过边缘重新加权。简化空间验证减少了遍历过程中的主题漂移，进一步提高了准确性。所提出的方法自然地推广到在线推理，我们提出了一个简单而有效的过程中，与以前看不见的图像检索。这个过程是有效的，规模以及大型检索任务。我们对公开的基准测试进行了广泛的实证评估，证明了高竞争力的性能，并在多个基准测试中获得了最新的结果。2. 相关工作在本节中，我们回顾了相关的基于图的图像检索方法，这些方法在由全局描述符产生的k-NN图上操作该方向通常由描述符内积相似性不能正确捕获高度复杂的图像流形结构的假设激发[27]。该领域的早期方法包括流形排名[35]和查询扩展（QE）[7]。在QE中，查询描述符用最近邻更新，并且更新后的查询被重新发出。 这种方法倾向于产生一致的改进，并且可以应用于广泛的图像描述符[2]。已经提出了QE的许多变体，包括传递闭包[6]和最近的αQE [25]。空间验证[21]通常与QE结合应用，以减少更新的查询描述符与原始描述符显著偏离的主题漂移[7]。QE的一个主要缺点是它只能探索图像描述符非常复杂的有限区域相似的[15]。此外，每次迭代都需要全部或部分查询重新发布，这对于大型数据库来说可能非常昂贵[7，2]。相似性传播方法，也称为扩散，是另一种流行的基于图的方法[8]，最近在许多基准上实现了最先进的性能[15，25，4]。已经对通过k-NN图来传播相似性的各种方法进行了广泛的研究，其中大多数可以被视为随机游走的版本[8]。相关工作假设相关对象在一个相似性空间中可能更接近，而在另一个相似性空间中则不然，并探索了与相似性传播相结合的融合方法[34，32，5]。尽管性能很强，但大多数现有的相似性传播方法在计算上是昂贵的。这使得应用到现代大型图像数据库中变得困难，特别是在必须实时处理新查询的在线设置中。已经提出了谱方法来降低计算成本[13]，但是加速是以增加的存储器开销和性能下降为代价的。在这项工作中，我们提出了一种新的方法来细化和增强描述符检索遍历的k-NN图。我们的遍历算法可以实现高效的检索，新的查询可以以最小的开销处理。此外，一旦检索完成，新的查询可以完全集成在图中，并且其本身可以以相同的效率被检索用于其他查询。在下面的章节中，我们将详细介绍我们的方法，并给出实证结果。3. 该方法我们考虑图像检索的问题，其中，给定n个图像的数据库： x1，…Xn 以及查询图像u，目标是检索u的前k个最相关图像。 图像被认为是相关的，如果他们分享预定义的标准，例如包含相同的场景、地标或人物。在许多应用中，n可以非常大，达到数百万甚至数十亿个图像。因此，初始检索通常使用紧凑描述符来完成，其中每个图像被表示为d维空间中的向量，并且相似性用内积来计算。随着深度学习的最新进展，许多最先进的描述符模型使用端到端训练的卷积神经网络（CNN）进行重新评估[10，1，25]。然而，考虑到自然图像的复杂性已经证明，对检索的图像应用额外的处理可以显着提高准确性，并且这种两阶段方法被许多领先的检索模型所采用[8，5，25]。在这项工作中，我们提出了一种新的方法，基于图遍历，以改善和扩大检索集。具体来说，我们表明，通过遍历k-NN图，····9425X≪←||||∞由描述符形成，在探索和利用步骤之间交替，我们可以有效地检索在描述符空间中远离查询的相关图像。我们将我们的方法称为探索-利用图Traffic（EGT）。k-近邻图对X中的每幅图像检索前k幅图像，生成稀疏k-近邻图Gk. 形式上，加权无向k-NN图Gk包含顶点{x|x∈X}和由邻接c y矩阵Ak=（aij）∈Rn×n描述的边. 根据相似性函数sk对边进行加权被判罚款者：.算法1：EGT输入：k-NN图Gk=（，Ak，sk），查询u，要检索的图像数量p，边缘权重阈值t输出：检索到的图像列表Q1 初始化最大堆H、列表V和列表Q2将u加到V3并// Explore step4对每个v∈V做5对于每个x∈NNk（v），x∈/Q，x/=u，6如果x∈H且H[x] t或|V |= 0）和|Q|0时，19返回Q则该图像必须与已经检索的图像足够相似该过程通过来自已经检索到的顶点的边在查询和远处顶点之间创建阈值t控制探索的程度。设置t=0简化为贪婪的广度优先搜索而不进行探索，设置t=导致Prim在由描述符模型返回的原始图Gk然而，如前所述，这些权重并不是最佳的，因为全局描述符具有有限的表达能力。为了使遍历更强大，我们建议通过保持边缘结构和修改评分函数sk有效地重新加权每个边缘来细化GkRANSAC [9]和其他基于内点的方法广泛用于最先进的检索方法中，作为减少误报的后处理步骤[21]。我们在这里采用类似的方法，并提议使用RANSAC内点 计 数 为 sk 。 类 似 于 以 前 的 工 作 [6] ， 我 们 发 现RANSAC比描述符分数更鲁棒，允许探索遥远的地方9426X{}XQ=[]V=[u]H=[]Q= [b，d]V= [b，d]H= [（a，15）]（一）Q=[b，d，a]V=[f]H= [（c，55）]（b）第（1）款Q=[b，d，a，c]V=[c]H=[（f，9）](c)（d）其他事项图1：算法1示例，查询图像u，数据库图像=a，b，c，d，f，t=60，p=4。算法1中的外循环（第3行）的每次迭代开始时的状态在每个图的右侧示出红色顶点表示检索到的图像，边缘上的权重是内点计数。红色顶点标签表示将在以下位置探索此顶点下一次迭代。（a）通过将查询u添加到V来启动Traffic。（b）在第一次迭代中，顶点{a，b，d} ∈NNk（u）被推到H。sk（u，b）> t和sk（u，d）> t，因此它们从H弹出，添加到V，并检索到Q。（c）在第二次迭代期间，b和d的邻居被添加到H。在这一点上，权重a被替换为最大访问边，因此H[a]=sk（b，a）=107。由于a（d）在第三次和最后一次迭代中，a的邻居被添加到H。只有c、f不在Qu中，所以f被添加到H，并且c最后，c从H弹出并添加到Q，终止算法。请注意，Q中图像的顺序直接对应于它们从H弹出的顺序。最小的主题漂移的顶点[7]。RANSAC计算对于所有nk个边离线完成一次，并且在那之后图保持固定。然而，即使在离线情况下，计算Gk中所有边的RANSAC也是昂贵的操作，因此我们将此步骤设为可选。根据经验，我们表明，没有RANSAC，我们的方法仍然实现了领先的结果之间的可比模型，而添加RANSAC进一步提高性能，产生新的国家的最先进的。算法1形式化了我们方法的细节。我们使用最大堆H来跟踪要检索的顶点，列表V存储要探索的顶点，列表Q存储已经检索到的顶点。通过将查询图像u添加到V来初始化图遍历。 在每次迭代中，我们在探索和利用步骤之间交替。在ex-plore步骤中，我们遍历所有图像v∈V，并将其邻域NNk（v）中的图像添加到最大堆H。每个图像x∈NNk（v）被添加到具有权重sk（v，x）的H，其对应于x应该被检索的置信度在x已经在H中但具有较低权重的情况下，我们将其权重更新为sk（v，x），因此max-heap始终存储x具有的最高边权重拜访过 类似于查询扩展，我们已经处理了重新-trieved图像作为地面实况，并使用与任何检索图像的最高可用相似性作为x的证据。最后，一旦V中的所有图像都被探索过，我们就清除列表。在利用步骤中，我们从H中弹出所有权重超过阈值t的图像，将它们添加到V中进行探索，并将它们检索到Q中。 这确保了访问顺序保留在最终返回的从概念上讲，较早检索到的图像具有较高的置信度，因为它们在H中没有图像通过阈值的情况下，我们弹出具有当前最高权重的单个图像，因此图1显示了此过程的详细示例。在线推理在我们的方法中，Gk是完全离线构造的，并且在检索过程中不被修改。 对于查询图像已经存在的离线推理，检索涉及遵循算法1的快速图遍历。然而，在许多应用中，离线推理是不够的，检索系统必须能够进行离线推理。dle新的图像在实时.在给定查询图像u∈/X的在线推理中，需要从X中检索图像55CB107658815一u98766FD55CB107658815一一一u98766FD55CB107658815一u98766FD55CB107658815一u98766FD9427R rrOORRRRROORR方法地图R牛津R牛津+R1MRParisR巴黎+R1M介质硬介质硬介质硬介质硬无SVR-MAC [11]60.932.439.312.578.959.454.828.0R-MAC+α QE [25]64.836.845.719.582.765.761.035.0R-MAC+DFS [1]69.044.756.628.489.580.083.270.4R-MAC+混合-频谱-时间[14]67.044.255.627.289.380.282.969.2R-MAC+EGT73.656.355.835.190.681.279.463.7用SVHesAff+rSIFT+HQE [29]+SV71.349.752.029.870.245.146.821.8DELF [20]+HQE +SV73.450.360.637.984.069.365.235.8HesAffNet+HardNet++[19]+HQE+SV75.253.3--73.148.9--R-MAC+DFS+DELF+ASMK [28]+SV75.048.368.739.490.581.286.674.2R-MAC+DFS+HesAff+rSIFT+ASMK+SV80.254.874.947.592.584.087.576.0R-MAC+QE+SV+r EGT83.565.874.954.192.884.687.175.6表1：使用和不使用1M牵开器组1M时，Oxford和Paris的中号和硬质版本的mAP结果。为了使比较公平，我们将表分为两部分，以区分有无空间验证（SV）的模型与你相关的东西。这在我们的方法中是直接实现的。首先，使用相同的描述符模型，我们计算u的k个最近邻居以获得NNk（u）。然后，我们通过用NNk（u）扩展邻接矩阵将u添加到Gk。最后，我们（可选地）通过计算NNk（u）中所有图像的RANSAC内点计数来细化边缘权重。现在可以应用算法1而无需修改以获得用于用户的相关图像。请注意，在此过程之后，u完全集成到Gk中，并且其本身可以被重新检索以用于另一个查询。复杂性我们分析了我们的算法的运行时复杂性，并将其与领先的基于图的方法进行比较。根据以前的工作，我们假设Gk已经构造，并从我们的分析中省略此成本。为了分析复杂性，我们注意到，在每次迭代中，至少有一个顶点从H弹出，使得检索p图像涉及至多p次迭代。对于从H弹出的每个顶点，我们在探索步骤中遍历其直接邻居，因此到H的总推送量上限为pk 。 因此 ，算 法1 的 外循 环在 在线 检 索期 间具 有（pklog（pk））的最坏情况复杂度，其由最大堆支配。没有额外的离线成本超出Gk的计算。如果使用内围边缘重新加权，则离线复杂度增加到（nk），因为我们需要为每个顶点的k个边缘对于在线推理，k附加每个查询都需要RANSAC评估，因此复杂度保持为O（pklog（pk））。最近由Iscen等人提出了领先的相似性传播方法，[15]具有在线推理复杂性-时间可以通过将某些计算转移和缓存到离线来实现[13]。这导致了离线的复杂性，（nr（k+r））和在线复杂度其中r是谱秩。为了获得良好的性能，作者建议使用5，000到10，000范围内的大r，这增加了离线和在线过程的运行时复杂性，因为它们分别依赖于r2和r4. 实验我们目前的结果，对三个最近和公开可用的 地标检索基准：重访牛津（牛津），重访巴黎（巴黎）[24]，和谷歌地标检索挑战数据集[20]。Oxford和Paris通过改进标签，在图像检索中建立了著名的Oxford [21]和Paris [22值得注意的是，许多困难的例子（严重遮挡、变形、视点改变等）以前没有使用过的，现在也包括在评估中[24]。引入了一个明显更大、更具有挑战性的1，001，001张此外，相关的地面实况注释被细分为容易、中等和困难的子集。 在本文中，我们专注于更困难的中，硬子集。重新访问的数据集大大增加了难度，重新评估的模型性能明显降低就是证明[24]。牛津总共包含4993张图片，巴黎包含6322张图片。GoogleLandmarkRetrievalChallenge 数 据 集 由 1 ，093，647个数据库图像和116，025个查询图像组成。在撰写本文时，这是最大的公开可用的图像检索数据集。这个数据集是1O（pk<$ρ）的性质，其中ρ是条件数，Google组织的图像检索挑战赛，扩散转移矩阵 对这次运行的改进www.kaggle.com/c/landmark-retrieval-challenge9428RRRRRRRRRRRR秩团队mAP@1001CVSSP可视原子0.6272第六层AI0.6083SevenSpace0.5984Naver Labs欧洲0.5865VPP0.583R-MAC+QE+SV+r EGT0.619表2：Google地标检索挑战赛前5名团队的mAP@100排行榜结果我们通过将预测提交给挑战评估服务器来比较我们的方法超过200支队伍参加了这次挑战赛。在标准化设置中对检索模型进行大规模的基准测试。超过200支团队使用各种方法参加了挑战，我们将我们的结果与前5名团队进行了比较。所有实验的全局描述符都是使用基于CNN的R-MAC描述符模型获得的，其中ResNet-101主干针对地标检索进行了微调[10]。我们不会重新训练或进一步微调原作者发布的模型2。如[24]中所述应用标准多尺度平均以获得所有图像的2048维描述符。虽然重新训练可以提高性能，但我们的目标是测试我们的方法对来自完全不同地理位置的以前未见过的图像表3：牛津和巴黎数据集的硬版本上的运行时间和mAP结果与1M干扰。 时间以ms记录在线查询时间，我们重复实验100次以估计标准差。所有方法都使用来自R-MAC [11]的相同全局描述符来进行最近邻搜索，并且将k设置为50以使比较公平。EGT（无RANSAC）以αQE [25]和DFS [15]为基准。交叉验证我们设置t=0。42和t=50分别为EGT 和rEGT和k = 100的所有数据集。所有实验均在20核Intel（R）Xeon（R）CPU E5-2630 v4@2.20GHz机器上进行，具有200 GB RAM。结果牛津和巴黎显示在表1. 我们将我们的方法与艺术基线取自Radenovic最近的调查，在图像检索中，由于大多数系统的标记训练数据有限，因此对先前未见过的对象进行泛化是至关对于EGT，通过在2048维描述子空间中计算内积最近邻检索来构造k-NN图Gk为了验证内围边缘重新加权的效果，我们还将RANSAC评分应用于Gk，并将该变体称为rEGT。为了计算RANSAC，我们使用深度局部特征（DELF）模型[20]3，并遵循默认的特征提取流水线。每幅图像最多提取1000个特征向量，每个向量的维数通过PCA降低到40然后，如[21]中所述进行验证以获得内点计数，其用于代替内积作为边权重。我们测试我们的遍历算法的原始和重新加权Gk。我们还验证了QE和空间验证（SV）的效果，我们的方法。这些以[7]和[29]概述的标准方式实现，其中来自初始结果的验证图像用于检索一组新的结果。通过2代码：http://www.europe.naverlabs.com/Research/计算机视觉/学习视觉表示/深度图像检索3代码：https://github.com/tensorflow/models/tree/硕士/研究/博士等[24]。基线分为两组分别在表格的上半部分和下半部分示出了不具有和具有空间验证的情况。对于Oxford和Paris数据集，我们显示了在有和没有1M干扰项集1M的情况下的中等和硬版本的结果，总共产生了8个数据集。具有内点重新加权的EGT在八个数据集中的六个上实现了新的最先进的结果值得注意的是，牛津硬类的表现尤其强劲，超过最佳基线超过20%。我们还看到，EGT没有内点重新加权，具有非常有竞争力的性能，击败或执行最佳基线。唯一的例外是巴黎+1M数据集，其中DFS[15]是性能最好的模型。Google Landmark检索挑战结果如表2所示。我们通过将我们的预测提交给挑战评估服务器，将我们的方法与前5名团队进行比较。不像牛津和巴黎是高度地理本地化的，这个数据集包含来自世界各地的地标照片。照片来自公众，因此包括很多变化，例如显著的遮挡、相机伪像、视点改变和缩放以及照明改变。从挑战方法pR牛津+R1MR巴黎+R1M地图时间（ms）地图时间（ms）R-MAC+α QE12.519.5194±55344±2329.837.1184 ±12463 ±70+ DFS1K15.3259±2642.9241 ±12+ DFS5K19.8279±1751.8284 ±17+ DFS10K21.0303±2555.3305 ±12+ DFS20K25.9343±1758.5361 ±15+ EGT1K32.9198 ±5562.4189 ±13+ EGT5K33.1205 ±5562.5196 ±13+ EGT10K33.1216 ±5562.5210 ±14+ EGT20K33.1239 ±5662.5235 ±169429RRR≪0的情况。400的情况。300的情况。200的情况。100的情况。00123 4 50的情况。600的情况。400的情况。200 200400600 8003 .第三章。00二、50二、001 .一、50EGTrEGT0 200400600 800测地距离p p（一）（b）第（1）款（c）第（1）款图2：所有数据都是牛津硬数据集。 （a）与所有相关图像的分布相比，通过EGT和rEGT从前500个列表正确检索的图像的测地线距离（到Gk中的查询的最短路径）分布（b）mAP@p，p在1到1000之间变化（c）检索列表中不同位置图像的平均测地距离在较低的p下始终获得比DFS更高的mAP准确度。在p= 1K之后，mAP几乎没有改善，并且在该设置下，EGT在p= 20K时优于DFS这对运行时间有直接和实际的影响，因为p可以设置为一个小值，而EGT中的精度不高表4：中等和硬版本的消融结果R牛津和R巴黎。研讨会4中，许多顶级团队采用了专门针对该数据集进行微调的模型集合，以获得高质量的全局描述符。相比之下，我们没有微调R-MAC描述符，也没有集成，我们的提交使用了与牛津和巴黎实验相同的检索管道。从表中我们看到，我们的方法是非常有竞争力的排名第二的200多支球队。我们以不到一分的差距与榜首失之交臂我们和顶级球队之间的差距。这些结果表明，EGT是一种简单而有效的检索方法，可以与其他模型相结合，以实现领先的性能。我们的方法在现实世界应用中常见的具有挑战性的设置中特别强大，其中图像是嘈杂的并且具有显着的变化。分析为了在p n的实际设置中获得对运行时性能的进一步了解，我们将p从1K变化到20K并测量查询时间。表3显示了EGT的mAP和平均查询时间以及其中一个领先基线DFS [15]。从表中我们可以看出，随着p的增加，EGT逐渐变得比DFS快这可以归因于算法1的简单性，其可以用常见的数据结构有效地实现。对于小p，EGT的开销相对于使用R-MAC的基本 k-NN检索我们还看到，4https://landmarksworkshop.github.io/CVPRW2018地面实况EGTrEGT图像分数EGTrEGT地图测地距离方法R牛津RParisMed.硬Med.硬R-MAC60.932.478.959.4R-MAC+QE+SV68.646.281.364.8R-MAC+EGT73.656.390.681.2R-MAC+QE+SV+EGT82.061.791.381.2R-MAC+QE+SV+r EGT83.565.892.884.69430我们通过进行表4所示的消融研究来评估所提出方法的每个组成部分的重要性。从表中可以看出，EGT和rEGT都显着提高性能时，添加到每个组件组合，或没有查询扩展。正如预期的那样，rEGT在所有组合中始终优于EGT，但以增加运行时间为代价。我们还看到，EGT的性能进一步增强，通过将其与空间验证的QE相结合，由于更鲁棒的邻居估计在Gk。为了测试EGT检索距离查询较远的相关图像的能力，我们在检索过程图2a示出了正确检索的相关图像的测地线距离分布从地面真值分布可以看出，只有大约30%的相关图像与查询相邻。这进一步支持了这样的结论，即仅仅检索描述符是不够的。探索步骤使EGT能够遍历更远的距离，并有效地检索测地距离高达5的相关图像。令人惊讶的是，EGT和rEGT的分布看起来相似，尽管mAP存在显著差异，如表4所示。这表明，两种方法之间的性能差异主要是由于排名顺序的变化，而不是召回。我们通过评估检索列表中不同位置的性能来进一步分析这一点。图2b示出了当p从1变化到1，000时的mAP@p，图2c示出了每个排名位置处的我们看到在最顶端9431RRRRRRR图3：使用扩散[24]和rEGT（均使用R-MAC描述符和SV）从牛津数据集检索的三个查询的最佳结果查询图像为蓝色，正确检索的图像为绿色，错误图像为红色。图4：RParis+R1M的主题漂移示例。在检索到的列表中，mAP性能在EGT和rEGT之间是相似的，但是rEGT在更高的等级处迅速超过EGT类似地，图2c示出了rEGT比EGT更早地开始探测远距离图像。这些结果共同表明，重新加权的边缘减少了对直接邻居的偏见，使遍历开始探索遥远的邻居更快。定性结果所选的定性再评价示例如图3所示。我们显示了来自牛津的三个查询，以及dif- fusion [24]（顶部）和rEGT（底部）的前九个检索结果。在这里，我们看到dif- fusion倾向于检索具有相似视点的图像，并重复错误。相比之下，通过我们的方法检索的图像更加多样化，包括多个视点和条件（缩放，照明等）。变化.因此，探索步骤能够成功地捕获在视觉上与查询不相似的相关图像。我们在上文指出，EGT在巴黎的表现不如在牛津那么强劲。在进一步检查后，我们注意到Paris（特别是1M干扰项集）包含更多杂乱的场景，有时会导致图遍历中的探索步骤期间的主题图4中示出了这种情况的示例。这里，给定蓝色的查询图像该图像包含导致主题漂移的其他建筑物，并且接下来检索具有这些建筑物的不正确图像杂乱的场景增加了主题漂移的可能性，并且较大的干扰项集合可能包含更多具有相似结构的图像。我们认为，EGT在巴黎+1M的表现较弱，部分原因是这些因素。5. 结论本文提出了一种基于图遍历的图像检索方法。我们在探索和利用步骤之间交替，以更好地捕获底层流形，并检索全局描述符无法检索的相关但视觉上不同的图像。从经验上讲，我们证明了所提出的方法是有效的，并优于国家的最先进的多个最近和大规模的基准。鉴于有希望的结果，未来的工作涉及探索其他基于图的遍历方法，并比较它们的效率。rEGT扩散9432引用[1] R. Arandjelovic，P. Gronat，A. Torii，T. Pajdla和J.西维克NetVLAD：用于弱监督位置识别的CNN架构。IEEETransactionsonPatternAnalysisandMachineIntelligence，2018。2[2] R. Arandjelovic和A.齐瑟曼。每个人都应该知道的三件事，以提高对象检索。CVPR，2012。2[3] A. Babenko和V. Lempitsky聚合局部深度特征用于图像检索。在ICCV，2015年。1[4] S. Bai，X.拜角，加-地Tian和L. J. Latecki面向对象检索的双向上下文正则化扩散过程。IEEE Transactions onPattern Analysis and Machine Intelligence，2018。一、二[5] S.白氏Z.作者简介：王建，张世文.巴伊湖，加-地J.Latecki和Q. 田用于检索的集合扩散。在CVPR，2017年。2[6] O. Chum等人，《空间相关图像的大规模发现》。IEEETransactionsonPatternAnalysisandMachineIntelligence，2010。一、二、三[7] O. Chum，J. Philbin，J. Sivic，M. Isard和A.齐瑟曼。总召回：用生成特征模型进行对象检索的自动查询扩展。载于ICCV，2007年。一、二、四、六[8] M. Donoser和H.比肖夫再访检索的扩散过程CVPR，2013。一、二、三[9] M. A. Fischler和R. C.波尔斯随机样本同意：一个范例模型拟合与应用程序的图像分析和自动制图。ACM通讯，1981年。第1、3条[10] A. Gordo，J. Alma za'n，J. R ev aud和D. 拉勒斯深度图像检索：学习图像搜索的全局表示。在ECCV，2016年。一、二、六[11] A. Gordo ，J. Alma za'n，J. R ev aud和D. 拉 勒斯用于图像检索的深度视觉表示的端到端学习InternationalJournal of Computer Vision，2017。五、六[12] J. Heinl y，J. L. Schoenbe r ge r，E. 邓恩和J M. 弗拉姆重建世界 * 在六天内 *（由雅虎一亿图像数据集捕获）。CVPR，2015。1[13] A. Iscen，Y.Avrithis，G.Tolias，T.Furon和O.好朋友用于相似性搜索的快速谱排序。在CVPR，2018年。一、二、五[14] A. Iscen，Y.Avrithis，G.Tolias，T.Furon和O.好朋友混合扩散：用于流形排序的频谱-时间图过滤arXiv预印本arXiv：1807.08692，2018。一、五[15] A. Iscen，G.Tolias，Y.Avrithis，T.Furon和O.好朋友区域 流形上的有效扩散：用紧凑的CNN表示恢复小对象。在CVPR，2017年。一、二、五、六、七[16] J. Kalpathy-Cramer ， A. G. S. de Herrera ， D. Demner-Fushman，S. Antani，S. Bedrick和H. 穆勒河生物医学图像检索系统的评估性能-ImageCLEF 2004-2013年医学图像检索任务概述。计算机医学成像和图形，2015年。1[17] D. G.洛从尺度不变的关键点中提取独特的图像特征。国际计算机视觉杂志，2004年。1[18] K. Mikolajczyk和C.施密特尺度仿射不变兴趣点检测器。国际计算机视觉杂志，2004年。1[19] D. Mishkin，F. Radenovic和J.马塔斯重复性是不够的：通过可辨别性学习仿射区域。在ECCV，2018。5[20] H.诺赫A. Araujo，J. Sim，T. Weyand和B.韩基于深层局部特征的大规模图像检索InICCV，2017. 一、五、六[21] J. Philbin，O. Chum，M. Isard，J. Sivic，and A. 齐塞-曼。具有大词汇量和快速空间匹配的对象检索在CVPR中。IEEE，2007年。一二三五六[22] J. Philbin，O. Chum，M. Isard，J. Sivic，and A.齐瑟曼。量化损失：改进大规模图像数据库中特定对象的检索。CVPR，2008。5[23] R. C.我是Prim最短连接网络及其推广。贝尔系统技术杂志，1957年。3[24] F. Radenovic、A.Iscen，G.Tolias，Y.Avritis和O.好朋友牛津和巴黎的旅行：大规模图像检索基准测试。在CVPR，2018年。五六八[25] F. Radenovic，G. Tolias和O.好朋友微调CNN图像检索，无需人工注释。在IEEE Trans-actions on PatternAnalysis and Machine Intelligence，2018年。一、二、五、六[26] J. Sivic和A.齐瑟曼。视频google：一种用于视频对象匹配的文本检索方法。载于ICCV，2003年。1[27] J. B.特南鲍姆河谷De Silva和J. C.兰福德非线性降维的全局几何框架。科学，2000年。二、三[28] G. Tolias，Y. Avritis和H. 我去。图像搜索与选择性匹配内核：聚合在单一和多个图像。International Journal ofComputer Vision，2016。5[29] G. Tolias和H. 我去。可视化的查询扩展与几何或无几何 ： 细 化 局 部 描 述 符 的 功 能 聚 合 。 PatternRecognition，2014. 一、五、六[30] G. 托利亚斯河Sicre和H. 我去。基于cnn激活的积分最大池的特定对象检索arXiv预印本arXiv：1511.05879，2015。1[31] T. Weyand和B.Leibe 发现流行的地方与图标移动的最爱的意见见ICCV，2011年。1[32] F.扬湾，澳-地Matei和L. S.戴维斯多特征扩散融合重排序图像检索。IEEEWinter Conference on Applications ofComputer Vision（WACV），2015年。2[33] X. Yang，S. K ona r-T ezel和L. J. 拉特克局部稠密距离空间上的局部约束扩散过程及其在形状检索中的应用。2009年，在CVPR车间。3[34] S. Zhang，M. Yang，T.库尔，K. Yu和D. N. Metaxas用于图像检索的查询特定融合。在ECCV。2012. 2[35] D. 周先生， J. 韦斯顿 A. 格雷顿 O. Bousquet，以及B. Sch oülk opf.数据流形上的排名NIPS，2003年。