基于云的隐私保护方案的部分定位

173370隐私保护的部分定位0Marcel Geppert 1 Viktor Larsson 2 Johannes L. Schönberger 3 Marc Pollefeys 1, 301 ETH Zurich 2 Lund University 3 Microsoft0摘要0最近提出的基于云的隐私保护解决方案依赖于将传统的基于点的地图转换为随机化的三维线云。尽管这种转换表示在隐藏私人信息方面是有效的，但存在两个基本限制。首先，在线云的构建过程中如果不仔细处理，表示容易受到基于密度的逆向攻击的威胁。其次，在成功定位之后，精确的相机方向和位置将被服务器揭示。然而，在许多场景中，姿态本身可能是敏感信息。我们提出了一种基于两个观察结果的原则性方法来克服这些限制。首先，不总是需要完整的6自由度姿态，在与自运动跟踪相结合的情况下，即使是一维定位也可以减少不确定性并纠正漂移。其次，通过将地图提升到平行平面而不是线条，地图仅对查询姿态提供部分约束，防止服务器知道确切的查询位置。如果客户端需要完整的6自由度姿态，可以通过融合多个查询的结果来获得，这些查询可以在时间和空间上是不相交的。我们证明了这种方法的实际可行性，并展示了与传统和隐私保护方法相比的轻微性能下降。01. 引言0在过去的几年中，越来越多的工业解决方案出现在混合现实和机器人技术的基于云的定位和地图制作中（例如，Microsoft Azure Spatial Anchors [23]，Facebook LiveMaps[1]或Google VPS[35]）。对基于云的解决方案的需求主要是出于可扩展性的要求，以及实现共享体验和众包地图制作的能力。然而，这一趋势引发了一系列的隐私问题[25, 33, 36,58]，因为定位和地图制作系统通常依赖于相机图像作为主要的感知信息。解决隐私问题的首批工作是基于将传统的基于点的特征转换为线条以隐藏图像和地图的外观[12, 17, 50,53, 54]。0x0z0y01. 划分地图02. 构建部分地图0私有地图04. 部分定位03. PC查询05. 融合部分姿态0图1.系统架构：我们将原始点云地图转换为保护隐私的平行平面地图，只允许在单个方向上施加约束。可以使用多个地图和定位服务来累积不同的局部约束。客户端将其定位查询发送到每个服务器，服务器计算部分相机定位姿势。只有客户端可以从部分答案中组装出完整的定位结果。尽管我们需要三个正交地图来进行完整的6自由度姿态估计，但是附加的约束，例如在地面平面上的定位，可以减少这个要求。0正如Speciale等人在其最初的工作中所提到的[53,54]，他们提出的隐私保护地图表示具有两个基本限制。首先，在不仔细构建的情况下，他们的地图容易受到基于线条或平面云的密度分析的攻击，这也是由Chelani等人最近更详细地研究的[8]。稀疏化线云是解决这个问题的一种方法[8,53]，但在定位结果的召回率和准确性方面会带来显著的性能折衷。其次，在隐私保护的线云地图中成功进行服务器端定位后，客户端会揭示他们在场景中的精确相机位置。在许多场景中，用户的位置本身是敏感信息，应该受到保护[2, 4,16,55]，特别是在跟踪的过程中。本文提出的方法与以前的工作正交，因为它明确忽略了对场景外观的保护，但防止了将用户的精确位置泄露给服务器。为此，我们接受了之前讨论和解决的发送3D查询点云的潜在隐私风险[34, 53]。173380一个重要的观察是，根据应用的不同，通常并不需要一直估计完整的6自由度（DoF）姿态。虽然增强现实等应用只能在完全已知的姿态下运行，但许多常见的定位任务都是在受限流形上解决的。作为一个经典的例子，自动驾驶的导航通常限制在地面平面上，因此很少从估计垂直分量中受益。此外，本地自我运动跟踪是许多实时定位系统的关键部分，其中基于跟踪的姿态估计通过较少频繁的完整定位查询进行全局校正。在这些情况下，当前姿态通常已经在某种不确定性下已知。通过一次只在一个维度上校正姿态估计，潜在的姿态信息被显著减少。在不需要完整的6自由度姿态的情况下，我们可以进一步推动Speciale等人的想法[53,54]，从我们的地图表示中删除信息。我们的主要思想是在地图中删除两个维度上的约束，以便每个查询只能在剩余的维度上进行定位。我们不是将每个点提升到随机方向的线上，而是增加了另一个自由度，并将点提升到平行平面上。因此，我们只能观察到垂直于平面的运动。使用局部点云对该地图进行姿态估计可以确定六个自由度中的三个，即旋转矩阵的一行和一个平移分量。0将不同方向的多个部分查询组合在一起，可以获得2D或完整的3D姿态。为了保护查询的隐私，我们假设这些查询不能在服务器端进行共同注册。这可以通过将部分地图分发给不同的服务提供商来实现，这些服务提供商不能够关联相应的查询（例如，不能相互通信或合作）。一个实际的例子可能是一个主题公园，旨在为其客人提供使用外部基础设施的AR体验的视觉定位。公园将负责创建平面地图并将其分发给三个独立的云服务提供商。客户端也可以通过提交在时间上或空间上不相交的查询来阻止客户端进行共同注册，其中只有客户端知道它们之间的相对姿态（例如，通过本地自我运动跟踪获得）。在某些情况下，其他客户端信息可以通过从1D定位中恢复完整的姿态。例如，一辆在GPS无法使用的城市峡谷中行驶的汽车可能知道它当前所在的街道，但不知道其确切位置。使用我们的方法和一个部分查询可以恢复剩余的自由度。0与[53]中呈现的随机线云相比，我们的地图可以被看作是一组平行平面。这种表示方式本质上可以防止基于密度的攻击，正如Chelani等人所提出的[8]。通过这项工作，我们希望0为了在混合现实和机器人技术中广泛采用云定位服务，我们还要迈出重要的一步。总结起来，本文的贡献如下：（i）我们提出了一种有关地图隐私保护的原则性方法，防止了现有方法的已知漏洞。（ii）我们的工作是在基于图像的定位领域提供位置隐私的首次尝试。（iii）对真实世界数据集的大量实验显示，与以前的方法相比，只有轻微的准确性和召回率的权衡。这凸显了我们工作的高实用性。02. 相关工作0基于图像的定位图像定位的最新方法已经达到了令人印象深刻的成熟水平。最近的工作集中于改进对剧烈外观和光照变化的鲁棒性[3, 45, 56]，在大空间中的可扩展性[27, 38, 40,62]，以及在移动设备上的实时能力[5, 20, 24, 27, 28,39]。其他最近的工作研究了找到压缩地图表示[7,14]或实现跨设备定位和建图[11]的问题。现有方法可以广泛地分为基于结构的方法[20,38-40]，依赖于显式的3D地图表示和检索[21,52]，或者基于学习的方法[6, 24,48]。通常，只有基于结构的方法才能提供足够的准确性，以支持混合现实和机器人应用[42,59]。虽然大多数当前的定位系统旨在从一组对应关系中恢复完整的6自由度姿态，但也有使用序列中个别不足约束来估计完整姿态的方法[60]。0图像隐私基于图像的定位系统由于依赖于捕获图像信息来执行定位任务，因此存在严重的隐私风险。当图像与其他设备或基于云的定位和建图服务共享时，这一问题尤为严重[25,33,36,58]。当这些系统仅使用抽象特征表示时，情况也是如此，因为模型反演技术可以轻松从（稀疏的）图像特征中恢复原始图像内容[10,32,34]。Speciale等人[53,54]首次解决了基于图像的定位中的隐私问题，通过混淆基于结构的方法中的2D图像或3D地图点的几何形状。他们的主要目标是减轻传统方法对模型反演技术[32,34]的脆弱性。我们的方法基于相同的原则，但克服了其两个主要限制。同时，一些后续工作还扩展了他们的原始思想，以解决完整的结构运动[17,18]和实时SLAM问题[50]。此外，Dusmanu等人[12]还展示了类似的思想如何应用于改善大多数定位系统的本地和全局图像描述符表示的隐私。这些最近的隐私保护方法仍然容易泄露一定数量的图像信息，这已经在他们的原始工作中指出作为一个限制。最近，Chelani等人[8]对这个问题进行了更详细的研究。他们的工作只研究了对线云的攻击，但原则上也适用于随机平面云。他们得出结论，在不仔细稀疏化3D地图表示的情况下，原始点云可以很容易地通过对线云表示进行密度攻击来重建。他们的实验还显示，足够的稀疏化水平在定位结果的准确性和召回率方面存在显著的权衡。我们的方法对于基于密度的3D地图攻击是安全的，因为每个部分地图都是场景的1D表示。具体而言，我们打破了他们的基本假设[8]，即均匀随机分布的3D线或平面方向。相反，每个部分地图中的平面是不相交的集合，它们都具有相同的方向。攻击我们的方法将更加困难，因为它需要从1D投影中反演出完整的3D地图表示。173390联邦学习机器学习社区中的联邦学习[22,26]与我们的方法相关，因为其目标之一是保护训练数据的隐私。特别是，联邦学习的基本原则是将训练数据分布在数据中心的不同机器上，以便每台机器只能访问其部分数据。类似地，我们的方法依赖于在不同服务之间分布1D地图。0位置隐私任何基于位置的服务都存在用户行为跟踪的隐私问题，通过分析他们的位置随时间变化。这在基于图像定位的环境中尤其令人担忧，因为服务提供商知道精确的6自由度姿态，而不仅仅是用户的大致位置（例如，使用GPS时）。一些现有的基于差分隐私[13]和k-匿名性[37]的工作已经应用于位置隐私的一般问题[2,4,16,55]。然而，这些方法在位置准确性方面存在显著的权衡，这在混合现实或机器人技术中通常是不可接受的，因为需要精确的6自由度相机姿态。在我们的工作中，我们是第一个基于Speciale等人提出的几何提升思想[53,54]来解决位置隐私问题的人，该思想在场景和图像外观隐藏的背景下使我们能够恢复精确的6自由度相机姿态。0联邦学习机器学习社区中的联邦学习[22,26]与我们的方法相关，因为其目标之一是保护训练数据的隐私。特别是，联邦学习的基本原则是将训练数据分布在数据中心的不同机器上，以便每台机器只能访问其部分数据。类似地，我们的方法依赖于在不同服务之间分布1D地图。0提供者，其中每个部分地图的隐私保证要比将它们全部存储在同一台机器上要强得多。对于用户隐私来说，这带来了重要的优势。首先，数据更好地受到攻击者的保护，即使他们获得了部分数据的访问权限。其次，通过在不同的服务提供者之间实施所提出的分布理念，用户隐私也进一步增强，以防止服务提供者的侵犯。03. 方法0在本节中，我们首先概述系统并在第3.1节中描述架构。接下来，在第3.2节中描述创建部分地图的详细步骤，然后在第3.3节中解释如何对部分地图进行定位。03.1. 概述0我们方法的主要思想是消除地图中三个维度中的两个维度的几何约束。因此，查询只能在剩余的维度上进行定位。这有效地隐藏了客户端的姿态，使其对定位服务不可见。如果客户端需要完整的6自由度姿态，可以从使用不同平面法线构建的地图的多个独立查询结果中融合得到。为了只向云服务提供绝对必要的信息，地图需要由客户端或可信任的第三方在与定位服务共享之前创建。我们的系统架构示例如图1所示。我们假设客户端能够创建一个小型的本地3D场景重建，用作查询。这可以通过主动深度感知或在设备上本地运行结构光或SLAM算法来实现。03.2. 部分地图0我们系统中的地图只包含沿其分配方向的原始点偏移量（如图2所示）。从几何上讲，可以将地图看作是一组平行平面，这些平面通过原始的3D地图点。这类似于[53]中提出的平面地图，只是它们是平行的而不是随机定向的。正如我们在第3.3节中所示，这只允许服务器部分恢复查询的姿态，而完整的姿态是不可观测的。03.2.1 地图创建0对于地图的创建，我们从场景的标准3D点云重建开始。这个初始地图是隐私敏感的，即我们提出的地图创建过程必须由客户端自己或可信任的第三方进行。对于每个3D点Xm =(xm, ym, zm)，我们只保留其中的两个维度，只存储xyxyxyxy3.3. 1D LocalizationTo localize a query point cloud, we assume that each3D query point is associated with a feature descriptor,which allows to establish tentative correspondences to themap planes using standard descriptor-based matching ap-proaches. In the following derivation, we assume that mapand query point cloud have consistent scale, which is a prac-tical assumption for most SLAM systems. We provide vari-ants of the solver for the special cases of unknown scale ofthe query and known gravity direction at query time in thesupplementary material.In detail, assuming a point cloud map, we can split theconstraint of a 3D pose into three separate 1D constraintsRXq + t = Xm =⇒�����rT1 Xq + t1 = xmrT2 Xq + t2 = ymrT3 Xq + t3 = zm(1)where Xq and Xm are corresponding 3D points in thequery and map respectively. The key insight from Eq. (1)for our method is that the estimation problem separatesinto three constraints for each map coordinate Xm=(xm, ym, zm)T and we can use only one of the equationsfor each correspondence. Consequently, given our 1D mapand a query point cloud with associated feature descriptors,we are able to recover the query position along the local-ization direction and a partial orientation, namely the corre-sponding row of the rotation matrix. The server then estab-lishes tentative correspondences with the map based on de-scriptor matching. From these correspondences, the serverestimates the corresponding partial pose (rTk , tk). Due toimperfect descriptor matching, we use LO-RANSAC [9] asa robust estimator to deal with potential outlier correspon-dences. Note that the server can only observe (rTk , tk) andthus only partially knows the position of the query. Given(rTk , tk) there exist three degrees of freedom left in [R t],two in the position (the remaining translation parameters),and one rotational degree of freedom. Furthermore, our for-mulation of the partial pose constraint is independent of theplane normal direction. As a consequence, the server can beagnostic to its assigned coordinate axis and only store theplane coordinates as simple scalar distance to the origin.3.3.1Minimal Solver for 1D LocalizationEach localization server needs to estimate one row of thetransformation [R t]. Denote this row (r, t), where r is aunit vector. These should then satisfyrT X + t = x(2)for an inlier corresponding point X ∈ R3 in the query andx ∈ R in the map. We have 3 degrees of freedom, since wecan only enforce the unit-norm constraint on one row of therotation r, because each row is estimated independently.Given three correspondences, we can minimally solvefor (r, t), collecting three correspondences as��XT11XT21XT31���rt�=��x1x2x3�� .(3)Ignoring the norm-constraint, the solutions to the under-determined linear system above can be written as�rt�=�aα�+ λ�nν�,λ ∈ R .(4)The norm constraint now yields a quadratic equation in λ,rT r = aT a + 2λaT n + λ2nT n = 1 .(5)Solving this we can recover two solutions for (r, t).173400图2.不相交地图创建：为了生成多个不相交的地图，我们将原始点云分割并将每个点投影到其分配的坐标轴上。然后，我们只将计算得到的平面偏移量沿坐标轴分发给服务器。原始点地图可能会泄露私人信息，因此地图生成需要在受信任的环境中进行。我们以2D情况为例进行说明，但同样的过程可以轻松推广到3D。0剩余一个坐标轴上的偏移量，以及原始点描述符。请注意，地图的坐标系选择会影响姿态的模糊性，因为它定义了定位方向。我们在补充材料中可视化了这种模糊性。为了确保多个地图的隐私性，它们需要被精心创建，以防止在组合时泄露额外的信息。因此，我们将原始点云分割成不相交的集合，每个集合投影到不同的坐标轴上。这样可以防止潜在的攻击者通过后续相交平面地图获得信息。我们使用随机采样来选择不同集合的点，以使每个部分地图仍然覆盖整个场景。这个过程在图2中显示。请注意，由于不相交的点集，即使组合在一起，地图也不容易受到最近由Chelani等人提出的基于密度的攻击的影响。3.3.2Least Squares FittingWe now consider the case where we want to fit a model to anon-minimal (> 3) number of correspondences, i.e.minr,t�krT Xk + t − xk2s.t.rT r = 1 .(6)minr∥Ar − b∥22s.t.rT r = 1 ,(7)ATi = XTi − 1n�kXTk ,bi = xi − 1n�kxk(8)∇rL = 2AT Ar − 2AT b + 2λr = 0 ,(9)Mλ = AT A + λI.(10)bT AT M −TλM −1λ AT b = 1 ,(11)p(λ) = bT AT adj(Mλ)T adj(Mλ)AT b − det(Mλ)2. (12)173410k ( x k  −  r T  X k )。将其插入到（6）中，问题可以重写为0其中A和b的行是0现在，如果b为零，可以使用SVD轻松找到解。对于非齐次情况，问题更具挑战性，但可以使用拉格朗日形式来解决。有关约束最小二乘问题的更多细节，请参见Gander[15]。对于（7），拉格朗日函数为 L  =  ∥ A r − b ∥ 2 2+ λ ( r T  r − 1) 。对r求导0使我们能够解出 r � ( λ ) =  M − 1 λ A T  b ，其中0现在将其插入到范数约束中得到0这是一个关于λ的有理方程，得到一个6次多项式0通过求解这个多项式的根，我们可以恢复λ，并通过反代求解相应的（r，t）。然后通过评估原始代价函数（6）并选择最小值来选择正确的根。03.4. 结合多个1D定位0如果1D定位不足够，客户端可以通过将来自具有不同方向的三个独立地查询地图的结果堆叠来重构3D姿态[Rt]，如公式（1）所示。我们在补充材料中解释了如何组合非正交地图的结果。由于每个服务器上的估计是独立进行的，无法强制执行旋转矩阵行的成对正交性约束。因此，客户端使用SVD[19]将返回的行投影到最接近的有效旋转矩阵上。在实验中，我们证明了这种方法在实践中的可行性。0这对最终结果的准确性几乎没有影响。最后，如果有准确可靠的里程计来源可用，我们甚至可以通过将部分定位传播到共同的坐标系来结合随时间的局部化。我们在实验中展示了这种方法的可行性。请注意，如果2D定位足够，我们仍然可以通过对旋转矩阵施加约束从两个查询中恢复完整的3D方向。04. 实验0在本节中，我们通过实验证明了我们提出的解决方案的准确性和鲁棒性。与标准的完整姿态估计方法相比，我们独立地在所有三个方向上查询相同的姿态，然后将结果合并。我们的评估结果显示，在其基线上几乎没有性能损失，从而强调了我们方法的实际相关性。04.1. 合成数据0我们首先在合成数据上验证我们的方法。我们通过在单位立方体[0,1]3中均匀采样100个3D点来生成合成地图。然后，我们随机旋转和平移这些点以创建查询点云。对于每个查询点，我们添加零均值的高斯噪声。我们通过随机重新采样地图点的子集来创建异常对应。最后，我们通过将地图随机分成三个相等的部分生成三个1D地图，如第3.2.1节所述。图3显示了在应用最小化（第3.3.1节）和非最小化求解器（第3.3.2节）到10,000个合成实例后的方程残差分布。接下来，我们将所提出的定位方法与直接点对点对齐以及Spe-ciale等人的随机平面方法进行比较。对于每种方法，我们使用LO-RANSAC[9]进行一定次数的迭代，估计地图和查询之间的变换。对于我们的方法，我们报告了三个独立的1D定位结果。图4显示了在添加到查询中的不同噪声水平下获得的平均旋转误差。对于这个实验，我们将异常比例设置为零。我们可以看到与两种竞争方法相比，所提出的方法对查询中的噪声稍微更敏感。请注意，σ =0.1是一个极高的噪声水平，相当于点云范围的10％。接下来，我们改变异常比例并将噪声水平固定为σ =0.005。图5显示了旋转误差低于5度的实例百分比。请注意，Speciale等人的方法在每次迭代中需要采样六个平面-点对应关系，因此对异常值更敏感。所提出的方法只需要三个点（与点对点对齐相同），但需要执行三个独立的RANSAC优化，这降低了整体的鲁棒性。更多合成结果可以在补充材料中找到。00.511.500.020.040.060.080.1024600.20.40.60.81020406080100173420-17 -16 -15 -14 -13 -120对数10残差0最小化（第3.3.1节）最小二乘（第3.3.2节）0图3.数值稳定性：图中显示了10000个合成实例的对数10方程残差。0旋转误差（度）0点对点 点对面我们的方法0图4.噪声敏感性：平均旋转误差（度）与标准差的关系。注意点云的宽度为1。0异常值比例0成功率（<5°）（%）0图5.异常值鲁棒性：成功实例（旋转误差小于5度）的百分比与异常值比例的关系。04.2.真实数据0在本节中，我们在真实定位数据集上评估了我们提出的解决方案。我们假设客户端要么配备了SLAM系统，要么具有深度感知硬件来获取客户端侧的查询点云，并在不同场景中评估这两种设置。首先，我们考虑基于多个互联网图像集合数据集[61]的大规模室外定位。在这种情况下，专用传感器并不常用，消费设备中的主动深度感知在室外环境中往往失败。因此，我们使用结构运动流水线[44,47]从多个图像构建查询。其次，我们在由MicrosoftKinect作为RGB-D传感器捕获的7个不同室内场景的7个场景数据集[51]上进行评估。对于这两种情况，我们将我们的方法与两种不同的基线进行比较：传统的点云对齐[57]（点对点）和将查询点对齐到随机定向平面地图的隐私保护解决方案，如Speciale等人所提出的[54]（点对面）。请注意，对于点对面[54]方法，平面地图容易受到密度攻击[8]，并且在成功时-0在全局定位中，客户端姿态会被传输给服务器。我们将姿态准确度定义为在不同误差阈值下的召回率。我们使用三种不同的方向和位置误差阈值组合：（0.05m，2°），（0.2m，5°）和（0.5m，10°）。04.3.结构运动查询0为了进行结构运动评估，我们依赖于Wilson和Snavely的著名1DSFM数据集[61]。场景Alamo（703张图像），Gendarmenmarkt（825张图像），MadridMetropolis（279张图像），RomanForum（1275张图像）和Tower ofLondon（577张图像）涵盖了世界各地的旅游景点，并从互联网上进行了众包。此外，我们还使用城市规模的数据集Aachen [41, 43, 63]（6697张图像）和Dubrovnik6K[28]（5856张图像）来展示我们的方法在更大场景中的适用性。对于每个场景，我们首先使用COLMAP [44,46]结构运动流水线生成完整模型，以获得伪地面真实姿态。然后，我们手动将地面真实模型按照近似度量尺度进行缩放，以提供有意义的误差度量。最后，我们只考虑COLMAP注册的图像进行评估。0设置为了生成评估的多图像查询，我们首先从模型中选择一张单独的图像。对于所选的图像，我们找到与查询图像具有最常见观测点且最小基线为1m的3张图像，以便进行三角测量。然后，我们使用查询图像仅通过所选的四张图像之间的约束优化观测到的三维结构来三角测量查询点云。此外，我们仔细删除查询图像及其所有特征观测，并在没有这些约束的情况下优化结构。最后，我们使用原始的成对SIFT特征匹配[29]（无需两视图几何验证）获得查询和地图之间的对应关系。我们将模型中的每个图像都选择一次作为查询图像，并自动选择相应的图像集。0结果对于每种方法，我们通过最大化位置精确度-召回率曲线在0m和5m误差之间的曲线下面积（AUC）来选择最佳的RANSAC内点阈值。这种策略导致Point-to-Point、Point-to-Plane和我们的方法分别具有阈值0.15m、0.05m和0.25m。表1显示了不同误差阈值下的召回率。总体而言，我们的方法提供了与Speziale等人的随机平面地图[54]相当的定位精度，同时提供了更好的防御基于密度的攻击和隐藏姿态的能力。然而，我们的方法在精度方面存在更高的方差，τ3的召回率略低于[54]。这可能是由于所需的对应点数量更多造成的。012345012τ1τ2τ3τ1τ2τ3τ1τ2τ310%20%30%40%50%60%70%80%90%100%Single pose 4m 10m OursPoint-to-Point173430平均角度距离[度]0PDF0图6.部分旋转误差：我们计算每个单独查询的部分旋转与投影到流形上的旋转矩阵的相应行之间的角度。直方图是所有图像上三个误差的平均。尽管我们无法在查询中强制执行正交性约束，但所得到的旋转矩阵行接近于正确的旋转。0场景 方法0Point-to-Point [57] Point-to-Plane [54] 我们的方法0Alamo 21.3 60.8 86.1 12.6 54.5 86.1 22.1 62.6 79.5 Gendarmenmarkt 7.7 40.8 72.4 4.633.4 61.6 5.6 31.1 56.7 Madrid Metropolis 4.7 32.1 68.2 1.8 23.0 59.9 6.6 36.1 62.8Roman Forum 11.3 53.0 79.2 7.6 47.5 76.8 12.2 43.8 66.8 Tower of London 5.9 43.773.9 3.3 37.1 72.3 8.7 37.1 58.90Aachen 12.4 76.4 95.5 8.6 67.7 91.6 12.0 57.9 81.5 Dubrovnik 4.8 35.3 60.8 2.7 27.154.6 3.9 24.0 45.70τ 1  = (0.05m /  2 ◦ ) τ 2  = (0.2m /  5 ◦ ) τ 3  = (0.5m /  10 ◦ )0表1.从运动中恢复结构的结果：不同位置和方向误差阈值下各种方法的姿态百分比。查询是使用从运动中恢复的流水线构建的多个图像。0我们还评估估计的变换与正确旋转和平移之间的接近程度。对于每个查询，我们计算旋转矩阵在投影之前和之后的行之间的角度。图6显示了1DSfM数据集中角度的分布。尽管在估计过程中没有强制执行正交性约束，但组合的旋转矩阵接近于正确的旋转，并且投影只产生了微小的修正。04.4. 2D轨迹查询0数据集 我们使用Oxford RobotCar数据集[30,31]来突出自动驾驶定位中出现的特殊设置。我们从2014-12-09-13-21-02的运行中构建地图，并使用2014-11-28-12-07-13的图像作为查询。在此过程中，我们忽略了映射区域之外的查询图像。我们使用所有三个广角摄像头进行地图构建，但只使用后置单目摄像头进行查询。0设置首先，我们使用图像检索和成对特征匹配找到两个运行之间的特征匹配。然后，我们共同优化两个运行的结构和相机姿态，以考虑提供的标定和地面真值姿态中的小误差。然后，我们分割两个运行并分别重新三角化所有点，同时保持相机姿态不变。我们生成两个平面地图00 2 4 6 8 10 12 14 16 18 20 位置误差[m]0召回率0图7.不相交查询精确度-召回率：使用RobotCar数据集，在两个具有相同姿态的查询位置上组合姿态，并且在查询之间的距离为4m和10m。使用提供的INS数据计算两个查询位置之间的相对姿态。点对点对齐使用相同的相对姿态估计结合两个查询的约束。0在定位过程中，我们使用正交的水平平面法线，并忽略垂直分量。请注意，我们仍然估计3自由度的方向，尽管一个单独的偏航角可能足够。两个地图查询可以基于单个姿态，也可以基于两个不同的位置，两个查询之间的相对姿态由提供的INS数据确定。然后，我们将两个部分姿态组合为2D位置和3D方向。作为参考，我们还将两个图像的所有点对点约束组合起来，并执行标准的点云对齐，但将点对平面方法作为第二个基线。0结果图7显示了我们的方法与单个姿态的点对点对齐，或者两个查询之间的距离为4m或10m的对齐的精度与召回率曲线进行比较。与点对点对齐相比，我们的方法更容易受到相对姿态中的噪声的影响，这可能是由于无法过度拟合查询的某一部分。我们在补充材料中提供了使用高质量相对姿态的额外评估。04.5. 深度传感器查询0数据集7个场景数据集[51]包括高帧率视频序列，捕捉了七个不同的室内场景。为了减少冗余和简化实验，我们首先对帧进行下采样，仅保留训练和测试序列中每十个图像。0设置我们使用训练图像构建地图，并在测试图像上评估定位精度。我们保持数据集给定的训练/测试分割，并使用COLMAP将初始地图与地面实际坐标系对齐。由于数据集没有提供相机标定数据，我们手动估计深度相机和RGB相机之间的转换，并将Kinect深度测量投影到彩色图像中。我们通过取消投影具有有效深度测量的检测到的SIFT关键点来构建3D查询点。为了定位，我们再次根据查询和地图图像之间的未验证的SIFT特征匹配找到对应关系。我们在RedKitchen场景上独立优化RANSAC内点阈值，使位置精度-召回率曲线的AUC最大化，直到误差达到0.1m（对于点对点、点对平面和我们的方法分别为0.04m、0.01m和0.06m）。00.050.10.150.20.250.30.350.40.450.5Position error [m]10%20%30%40%50%60%70%80%90%100%Recallchess fire stairs OursPoint-to-PointPoint-to-Planequery points by unprojecting the detected SIFT keypointswith valid depth measurements. To localize we again findcorrespondences based on unverified SIFT feature matchesbetween the query and map images.We optimize theRANSAC inlier threshold for each method independentlyon the RedKitchen scene, maximizing the AUC of the po-sition precision-recall plot up to an error of 0.1m (0.04m,0.01m, and 0.06m for Point-to-Point, Point-to-Plane, andours, respectively).173440图8.深度传感器精度-召回率：7个场景的位置精度-召回率图。对于大多数场景，我们的方法的准确性和鲁棒性与基线方法相当。请参考补充材料了解其余场景。0结果我们在表2中显示了在三个组合误差阈值内的姿态百分比。图8展示了一些场景中位置误差的详细分布。对于中等和较大的阈值，我们的方法的结果与基线方法相当。对于楼梯场景，我们的结果明显比基线方法差。这是由于场景中可靠匹配特征很少，因此只能找到很少的对应关系。这种影响也在基线姿态中可见，但由于每个维度只有大约三分之一的对应关系可用，我们的方法受到了明显的影响。这可以通过在开始时不划分地图并对每个部分地图使用所有地图点来避免。然而，这也会对隐私方面产生影响，我们在第5节中讨论。有趣的是，对于某些场景，我们的方法的准确性比基线方法更高。然而，这很可能是由于这些特定场景的不同阈值的影响。05. 讨论0通过这项工作，我们在云服务中为基于图像的定位提供了更强的隐私保护。数据保护的好处是要么在姿态上获得