图像中隐私保护定位的方法

5493基于图像的隐私保护定位PabloSpeciale1，2JohannesL.SingBingKang2SudiptaN. Sinha2MarcPollefeys1，21ETHZuürich2Microsoft投影三维点重建图像原始图像(a) 3D点云（b）3D点云SIFT的反演攻击（c）3D线云图1：（a）使用3D点云的传统基于图像的定位，它揭示了场景中的潜在机密信息(b) 使用投影稀疏3D点及其SIFT特征重建图像[50]。（c）我们提出的3D线云通过隐藏场景几何形状和防止反转攻击来保护用户隐私，同时仍然能够实现准确和有效的定位。摘要基于图像的定位是许多增强/混合现实（AR/MR）和自主机器人系统的核心组成部分。当前的定位系统依赖于场景的3D点云的持久存储来实现相机姿态估计，但是这样的数据揭示了潜在敏感的场景信息。这引起显著的隐私风险，尤其是对于许多应用，3D映射是用户可能不完全意识到的后台过程。我们提出以下问题：我们如何才能避免泄露有关捕获的3D场景的机密信息，同时允许可靠的相机姿态估计？本文提出了第一个解决方案，我们称之为隐私保护的基于图像的定位。我们的方法的关键思想是解除地图表示从三维点云到三维线云。这种新颖的表示混淆了底层场景几何结构，同时提供了足够的几何约束，以实现鲁棒和准确的6-DOF相机姿态估计。在几个数据集和本地化场景上进行的广泛实验强调了我们所提出的方法的高度实用性。1. 介绍通过从图像计算相机姿态来定位场景中的设备是计算机视觉中的一个基本问题，在机器人[16，19，65]，增强/混合现实（AR/MR）[36，46]和运动结构（SfM）[25，61，63]。通常，基于图像的局部化的最常见方法是基于结构的[19，33，46，59]，并通过首先将图像的局部2D特征与场景的3D点云模型匹配来几何然后，从匹配的2D-3D点对应导出的约束被用于估计相机姿态。因此，传统的基于图像的定位方法需要持久存储3D点云。AR平台（如ARCore [5]和ARKit [7]）、可穿戴AR设备（如Microsoft HoloLens [31]）以及微软Azure空间定位器（ASA）[ 11 ]、谷歌视觉定位系统（VPS）[ 80 ]和6D.AI地图平台[ 1 ]的发布的流行表明，对基于图像的定位服务的需求不断增长，这些服务可以实现AR/MR中的空间持久性， 机 器 人 即 使 在 今 天 ， 像HoloLens、MagicLeap 1或iRobot Roomba这样的设备这是一个用户通常没有意识到的后台过程。随着机器人技术和AR/MR在消费者和企业应用中的相关性越来越高，越来越多的3D地图将存储在设备或云中，然后与其他客户端共享即使源图像通常在映射后被丢弃，人们也可以基于对3D点云的直观视觉检查来容易地推断场景布局和潜在机密对象的存在（参见图2）。1-（a））。此外，从局部特征重建图像的方法（如[18，50]）使得从点云恢复场景的显著准确的图像成为可能（见图11）。1-（b））。从技术角度来看，这些隐私风险迄今为止被广泛忽视然而，随着更多用户采用本地化服务，以及地图和本地化功能越来越多地与云集成，这些将变得越来越重要。因此，最近在AR/MR社区中围绕这一发展的隐私影响进行了大量讨论[48，54，79]。5494(a)3D点云(b)提升至3D线条(c)3D线云图2：3D线云。建议的3D线云表示隐藏地图的几何形状的主要思想。在一般情况下，我们预测三种情况下，用户的隐私将受到损害。首先，如果场景本身是保密的（例如，工厂中的工人或在家的人），则利用基于云的定位服务存储地图固有地是有风险的。在安全存储地图的可信服务器上运行本地化可以解决隐私问题，但即使这样，未经授权访问的风险仍然存在。在第二种情况下，场景本身不是机密的但存在秘密对象或信息（例如，车间中的硬件原型或家中的一些私人细节）。然而，我们仍然希望稍后在相同的环境中实现持久的定位，而不会有通过场景的3D地图泄露秘密信息的这是特别相关的，因为用户通常不知道地图和本地化服务通常在后台连续运行最后一个场景涉及需要本地化才能在客户端设备上运行的低延迟和离线应用程序，这需要在授权用户之间共享3D地图。显然，与其他用户分发3D地图也会损害隐私。为了解决这些隐私问题，我们引入了一个新的研究方向，我们称之为隐私保护基于图像的定位（见图1）。目标是以保密的方式对3D地图进行编码（从而防止敏感信息被提取），同时保持执行鲁棒且准确的相机姿态估计的能力。据我们所知，我们是第一个提出解决这个新问题的方案的人。我们的解决方案的关键思想是在一个新的地图表示中混淆场景的几何形状，其中每个3D点都被提升到一条具有随机方向但穿过原始3D点的3D线仅存储3D线和我们把这样的地图称为3D线云（见图2）。3D线云表示隐藏了底层场景几何信息，并防止敏感信息的提取。为了在3D线云内定位图像，我们利用传统的特征匹配方法[33，59]来获得局部2D图像特征与地图中的3D特征之间的对应关系。每个对应关系都提供了几何约束，即2D图像观测必须依赖于其对应的3D线。基于此约束，从3D线云中估计绝对相机位姿的问题需要一组相机射线与地图中对应的3D线相交。为了利用这个概念的隐私保护本地化，我们表明，一个3D线云可以被解释为一个广义的相机。因此，从3D线云的绝对相机姿态估计归结为解决广义相对或绝对姿态问题，这意味着我们可以重新利用现有算法[30，39，42，68- 70 ]来解决我们的在我们的论文中，我们研究了我们的方法的几个变体。我们首先考虑的情况下，输入是一个单一的图像，年龄，然后推广这个概念的情况下，共同定位多个图像。我们还提出了几个特殊化我们的方法定位的情况下，垂直方向或规模的场景是已知的。这些专业化在实际应用中特别有价值，并强调了我们方法的高度相关性。捐款.我们 使 的 以下贡献：（1）介绍了基于图像的隐私保护局部化问题，并提出了第一个解决方案。（2）提出了 一种基 于 提 升 的 三维地图表示方法3D点到3D线，这为姿态估计保留了足够的几何约束，而不会揭示映射场景的3D几何形状。（3）我们提出了用于计算摄像机姿态的最小解算器，给出了图像中的2D点与地图中的3D线之间的对应关系。我们研究了八个变量时，输入是一个单一的图像或多个图像，有和没有重力方向或场景的规模的知识边缘。2. 相关工作基于图像的定位基于图像的定位的最新进展已经产生了现在对场景外观和照明的变化相当鲁棒的方法[4，62]，缩放到大场景[43，57，59，84]，并且适合于实时计算和移动设备[8，33，35，4377]与压缩地图表示[15，21]。基于图像检索[34，67]和基于学习[12，35，81，82]的传统定位方法具有不需要显式存储3D地图的优点然而，模型反演技术[47]即使对于这些方法也会带来隐私风险此外，它们通常不够准确[60，81]，无法实现持续的AR和机器人应用。总的来说，据我们所知，在其他3D视觉任务中，没有关于隐私保护基于图像的定位或隐私感知方法的先前工作。隐私感知识别。自Avidan和Butman [9，10]设计了一个安全的人脸检测系统以来，已经在视觉中研究了隐私感知对象识别和生物识别。其他应用包括图像检索[66]，人脸识别[22]，视频监控[75]，5495生物特征验证[76]，视频中的活动识别以匿名化面部[53，55]，以及检测第一人称视频中的计算机屏幕[40]。最近的一系列工作探索了从私有或加密数据集学习数据驱动模型[2，27，83]。计算机视觉中的隐私的所有相关工作都集中在识别问题上，而我们的是第一个专注于几何视觉。虽然我们的工作旨在保持场景几何形状的机密，这是值得探索的机密功能。然而，这超出了本文的范围。隐私保护数据库。已经研究了隐私保护技术，用于查询数据而不泄露边信息[17]。差分隐私[20]和k-匿名[56]已被应用于位置隐私问题[3，6，26，72]。从私有数据集学习数据驱动模型也受到了关注[2，27，83]。然而，现有的技术是不适用的几何视觉问题，如基于图像的定位。广义相机姿态估计。本文提出的一个重要观点是，基于3D线云的隐私保护在Grossberg和Na- yar [28]建立了广义摄像机理论之后，Pless [51]从3D线的Plücker表示导出了广义核线约束。Ste wenius等。[68]提出了第一个最小解算器的一般化的相对姿态问题，而许多其他的解决方案已提出了各种广义的姿态问题[13，14，23，37，38，41，42，49，69p3PX1X2X3三个二维点图3：相机姿态估计。左图：使用传统的3D点云。右：使用我们的隐私保护3D线云。我们的方法背后的高层次的直觉，并请读者参考相关文献，以获得解决各种情况所需的基本租金的细节。3.1. 传统的摄像机姿态估计我们遵循基于结构的视觉定位的传统方法[33，59]，其中场景的地图由3D点云表示，该点云通常使用SfM [61]从图像重建。 定位针孔摄像机在已知重建场景的本征函数的情况下，根据图像中的归一化二维观测值x∈R2与地图中的三维点X∈R3之间的对应关系，估计出其绝对位姿P = RT，其中R ∈ SO（3），T ∈ R3。为了建立2D-典型的方法是使用从2D图像特征到3D点特征的直接或间接匹配[33，59]。每个2D-广义相机主要用于建模刚性多相机装备或用于处理具有已知外函数的多组校准相机[69在这些0=x<$−PX<$=λx1-PX'，（1）在一些设置中，一般化的相机通常具有少量的针孔相机，每个图像具有几个观察结果。相比之下，我们的3D线云可以被视为广义相机，每个3D线有一个针孔相机（和一个观察）虽然现有的广义姿态求解器可能容易退化，我们避免了这个问题，选择随机方向的线。这不仅提高了pri- vacy，但也导致更好地调节的问题。3. 该方法在本节中，我们描述了我们提出的基于图像的本地化的隐私保护解决方案为了给出上下文，我们首先介绍解决这个问题的传统方法其中λ是图像观察x的深度，而x<$∈P2和X<$∈P3分别是x和X在射影空间中的提升表示。当然，我们需要一个最少三个2D在一般情况下，这个问题通常被称为p3P问题，在最小情况下被称为p3P问题。由于匹配过程是不完美的，并导致2D-3D对应集合中的离群值（1）用于计算初始姿态估计。随后，通过求解非线性最小二乘问题然后给出了隐私保护方法的关键概念。然后我们描述P=argminxP、（二）这些概念的扩展用于联合定位多个相机。最后，我们讨论了几种特殊情况下的实际解决方案，其中重力方向是已知的，或者我们可以获得已知或未知尺度的场景的局部重建在我们的描述中，我们专注于其基于高斯误差模型x<$N（0，σx）给出图像观测的最大似然估计。这种方法已被广泛使用[33，45，46，59，84]，并实现了在大场景中有效和准确的基于图像的但是，它需要了解p6LL1L2X1L3X2L4X3X4XL55X6L6X1X2X325496MR以3D点云X的形式的场景几何形状，从而该方法固有地揭示了场景的几何形状。在接下来的部分中，我们将介绍我们新颖的本地化方法，该方法克服了这种隐私限制。3.2. 隐私保护摄像机姿态估计我们实现隐私保护定位的方法背后的核心思想是以隐藏关于底层场景的信息而不失去在场景内定位相机的能力的方式混淆地图的几何形状为了混淆3D点云几何形状，我们将地图中的每个3D点X提升到3D线L其中任意方向v∈R3通过X.在Pluücker坐标[51]中，提升的3D线L被定义为：吉夫茨L=w∈ P5，其中 w=X× v.（三）重要的是，由于方向v是随机选择的，m-P3P +λPmX1X2X3���1���2���3m-P3L +λPmL1L2L3���1���2���3三个三维点-三维点对应三个三维点图4：已知结构的摄像机姿态估计。 左图：使用3D点云地图的传统设置右：我们提出的方法使用三维线云地图。al. [68]解方程（四）、然后，我们通过最小化观察到的2D点和投影的3D线之间的几何距离来非线性地细化初始姿势，如下所示：由于叉积是秩亏运算，原始3D点位置X不能从其lTx<$P= argmin22.（六）提升3D线L。我们只知道L在某个地方穿过X，这也适用于图像中它们各自的二维投影l和x形式上，如果2D图像观测x满足几何约束，则其穿过投影的2D线lPl1+l2在本节中推导出单个相机的理论之后，我们接下来将我们的方法推广到多个图像的联合定位和已知垂直的特殊情况。3.2.1泛化到多个相机0=lTx<$其中[l]×=ΣΣ0−l 3 l 2l30−l 1−l2l10=P[L]×PT，（4）虽然现有的定位方法通常只考虑单个图像[33，46，59，84]，但许多设备（如头戴式显示器，机器人或车辆）都配备了其中，[L]×是Plu-ker矩阵，定义为：多个固定安装的摄像机，被称为-[L]×=Σ−[w]×vTΣ−v.（五）0是先验的联合定位多个摄像机，通过利用组合视野检索更多的2D-3D相关信息，为定位带来了巨大的使用该约束进行绝对相机姿态估计需要最少六个2D点到3D线的对应来求解P中的六个未知数。这与传统方法相反，在传统方法中，每个对应提供两个约束，因此仅需要三个对应。类似于传统的p-问题和p3P问题，我们将一般问题记为pnL，将极小问题记为p6L.从几何学上讲，解决pnL问题相当于旋转和平移由x定义并穿过相机针孔的一束光线，使得相机光线束相交概率，并通过减少未知姿态参数的数量，以增加估计问题中的冗余度。另外，现今许多移动设备具有内置的SLAM能力（例如，ARKit、ARCore），其可以被利用以通过将局部相机轨迹视为多个图像的外部校准来利用与多相机系统多个摄像机的联合定位与单个摄像机的情况不同，主要在于如何将问题参数化。代替确定单独的姿态P对于每个摄像机，我们将姿势重新参数化为在地图上显示其相应的3D线（见图3）。注意，这是广义相对姿态的特殊化ΣP=P cP m，Pm=smmΣM .（七）问题[68]，其中第一广义相机中的射线表示地图的已知3D线，并且第二广义相机的射线表示我们想要定位的针孔相机我们将这一概念嵌入到传统的定位管道中，通过使用Stewenius等人的最小求解器的RANSAC来0s−1我们现在仅估计单个3D相似性变换Pm ∈ Sim（3），而各个相机的已知相对外部校准Pc保持固定。注意，如果我们知道Pc相对于地图中的3D点X的相对比例，我们可以消除比例因子sm∈R+，并将Pm简化为3D刚性变换。不5497约束查询类型POINT TOPOINT（传统）POINT TOLINE（隐私保护）2D单图像多图像[29]第二十九话m-p3P [30]p2P+u [69]m-p2P+u [32][68]第[68]第六十八话p4L+u [70]m-p4L+u [70]m-P3P+λ [74]m-P2P+λ+u [74]m-P4L+λ [71]m-P3L+λ+u [13]3D-m-P2P+λ+u+s [32]m-P3L+λ+s [30]m-P2L+λ+u+s [69]表1：相机姿势问题。传统的方法是p * P（2D点到3D点）和P * P（3D点到3D点），而隐私保护方法是p * L（2D点到3D线）和P * L（3D点到3D线）。第一行中的方法定位单个图像，而其余的方法联合定位多个图像（前缀m）。我们有通用的求解器，也有已知垂直方向（后缀+u）的专用求解器底部两行利用待定位的相机局部的已知3D结构（后缀+λ和后缀+s用于已知比例）在文献中，该问题被称为广义绝对姿态问题[30，49]，其类似于传统问题并且不隐藏3D点射线，我们现在试图找到一个姿态，使得地图的3D线L穿过3D点X。我们可以在下面的几何约束形式化cloud.在大多数实际应用中，我们可以假设尺度sm=1，因为多相机设置通常被校准到公制尺度，并且由于大多数SLAM系统从集成惯性测量恢复尺度的事实，因此0=X−Pv×w+αv1、（9）保证因此，在下文中，我们首先将我们的工作限制在Pm∈SE（3）的情况下。我们把这个问题的解在一般情况下称为m-p3 P，在最小情况下称为m-p3 P。然而，对于一般情况Pm∈Sim（3） [71，78]，也存在有效解.在隐私保护设置中，对多个图像再次归结为解决广义相对姿态问题[68]。然而，第二广义相机的光线来自多个而不是单个针孔相机的2D图像观察。我们将隐私保护设置中的广义解称为一般情况下的m-pnL和最小情况下的m-p3.2.2已知结构的位姿估计到目前为止，我们已经讨论了一种直接从2D图像观测的射线估计相机姿态的方法然而，在许多情况下，可以获得图像观察x的深度λ，之后，其相对于相机的3D位置被计算为X=λx<$。这样的3D数据可以通过产生RGB-D图像的有源深度相机或通过多视图三角测量来因此，在传统的定位问题中，我们可以直接将摄像机姿态估计为使用约束其中α是到随机原点的未知距离v×w到秘密3D点X。通过颠倒摄像机和地图的角色，该问题在几何上等价于广义绝对姿态问题，即，我们可以重新利用m-p来求解未知的姿态P。因此，与求解m-p6L所需的六个对应关系相比，我们现在只需要最少三个3D点到3D线的对应关系（参见图11）。4）.注意，需要较少的点来解决最小问题在RANSAC中是有利的，RANSAC在采样点的数量方面具有Eq.的解与m-p 6L相比，（9）也更有效地计算[30]我们把这个问题称为一般情况下的m-pnL+λ和最小情况下的m-P3 L+λ3.2.3扩展到未知规模在前一节中描述的方法可以被感测到不准确的3D点位置X和X′ 。 这是有问题的，即使两个3D点云仅具有略微不同的比例， 由于SLAM中的漂移或多相机系统的轻微误校准。相比之下，p和p nL使用的约束不太容易受到这个问题的影响。 这是因为在基于图像的定位中，用于对X和X射线进行三角测量的视点在本质上是相似的0=X -PX′.（八）深度λ的不确定度σλ通常较大图像空间中的不确定性σx为了在最小情况下求解该方程，我们只需要3D刚性变换P的6-DOF的三个对应。当量（8）通常以最小二乘方式求解，并且在这种形式下具有直接的和计算上的为了克服这个问题，当执行基于结构的比对时，通常更好的是估计3D相似性变换sP，其中s∈R+Eq.中的约束（8）成为有效解[32，74];我们分别在一般和最小情况下将其称为m-P3 P +λ和m-P3 P +λ0=X−sPX<$、（10）同样，我们也可以利用本地3D而在Eq.（9）成为点X在我们的pr iv a cy保持方法中。而不是求解广义相对位姿问题以找到地图的3D线与相机0=X−sPv×w+αv1.（十一）5498(a) 船(b) 办公室(c) 公寓(d) 楼梯图5：数据集可视化。显示原始三维点云和相应的三维线云。现在我们需要至少四个对应来估计7-DOF 3D相似性。请注意，方程式（10）有一个比较简单和有效的解决方案[74]，我们称之为m-P +λ+s。在隐私保护设置中，计算3D刚性变换的问题恰好是最小的，即，我们现在需要第四个对应关系，以使用等式（1）中的约束来估计附加尺度参数（十一）、这相当于广义的绝对姿势和比例问题[71]，其中相机和地图的角色再次颠倒。我们把逆问题一般称为m-PnL+λ+s，在最小情况下称为m-P4 L +λ3.2.4已知垂直领域的专业化通常，在照相机的参考系和3D地图两者中的重力方向的估计是可用的，例如，从惯性测量或消失点检测。通过将两个参考帧预对准到垂直方向，我们可以减少旋转姿态参数从三个到一个，使得R∈SO（2）。这种旋转的参数化简化了geomet-ric约束，并导致这些问题的更有效和数值稳定的解决方 案 。 此 外 ， 最 小 情 况 下 需 要 较 少 的 点 ， 导 致RANSAC的更好的运行时间。我们为所有描述的问题实现已知的重力设置，并用后缀+u表示。所有问题的概述见表1。4. 实验评价为了证明我们的方法的高度实用性，我们对真实世界的数据进行了大量的实验。我们通过比较我们使用3D线云的隐私保护方法和使用3D线云的传统方法来评估姿势估计的准确性/召回率和点云。在下文中，我们首先描述实验设置，然后呈现结果。4.1. 设置数据集。我们收集了15个复杂室内和室外场景的真实世界数据集（见图1）。5）使用混合手机和微软HoloLens的研究模式[31]。为了逼真地模拟基于图像的局部化场景，我们捕获了用于重建场景的3D点云的地图图像，并从用于评估局部化的显著不同的视点查询图像对于稀疏场景重建和摄像机校准，我们将所有记录的（映射和查询）图像馈送到COLMAP SfM流水线[61，64]中，以获得高质量的摄像机校准。所获得的查询图像的相机姿态用作我们评估的地面实况R和T然后，从所获得的重建中小心地移除与其对应的3D点之后，我们用固定的相机姿势执行另一束平差，这些步骤是为查询图像重建准确的地面实况姿态，并且还确保用于定位的真实3D地图，其中我们仅被给予地图图像。在这些数据集中，我们捕获了375个单图像和402个多图像查询。议定书为了建立2D-在单图像场景中，我们单独对待每个查询图像，而对于多图像场景，我们将相机流中的几个连续图像分组为一个广义相机。当评估具有已知结构的多图像情况和姿态估计时，我们使用SfM [61，64]仅从查询图像重建3D点X和相机姿态Pc为了公平的比较-3D线云3D点云5499(a) 旋转误差[deg]（b）平移误差[cm]图6：相机姿态估计误差图。所有16种评价方法的累积旋转和平移误差直方图。因此，所有方法都使用完全相同的2D-更多详情请参见补充材料。指标. 在我们的评估中，我们计算旋转ER-Tr（RTR）−1误差为ΔR= arccos2、翻译错误并且规模导致所有方法的结果的额外改进。运行时间。表2报告了所需RANSAC迭代的平均次数、内围值比、最小求解器中生成的解以及估计单个最小解所需的时间。结果表明，虽然我们的方法是公式为T=RTT−T。 我们还报告了平均值R T2点到点和点到线（c.f.当量（2）和Eq。（6）重投影误差到所获得的姿态估计。方法. 我们将我们提出的8个隐私保护的结果与传统姿态估计器的相应8个变体进行比较，见表1。所有方法的初始姿态估计使用标准RANSAC和用于几何约束的最小求解器来我们还比较了使用Levenberg-Marquardt优化方程的初始姿态的非线性细化（后缀+ref（2）和（6）基于来自RANSAC的内点。4.2. 结果准确性和召回。准确率/召回率曲线如图所示。6，以及表2中的重投影误差。正如预期的那样，传统的方法实现了更好的准确率/召回率，因为它们的解决方案利用了两个约束用于姿态估计。令人惊讶的是，即使我们只使用一个几何约束，它也非常接近传统方法所获得的结果。此外，结合已知的结构，重力，它比传统方法慢，提供了适合于实际实时应用的运行时。特别是，具有已知结构和重力的专用求解器实现了竞争性的运行时间。我们对所有方法使用相同的RANSAC阈值，但实际上，对于隐私验证方法，可以选择较小的阈值，因为点到线的重投影误差总是小于点到点的重投影误差。这一点，以及由于特征匹配中的错误而更容易包括一些额外的离群值的可能性，导致我们的方法的内点比率略高，见表2。鲁棒性我们研究了点云密度和图像噪声的鲁棒性。图7，我们证明了可靠的姿态估计，即使当仅保留已经稀疏的SfM点云的每20个图8示出了在图像观测上的变化噪声σx下，我们的方法和传统方法的类似行为5. 讨论现在让我们讨论一下隐私风险在多大程度上得到了解决，并强调未来工作的方向。多图像(3D-3D）多图像(3D-3D）多图像(2D-3D）单图像（2D-3D）5500POINT TOPOINT（传统）POINT TOLINE（隐私保护）p3Pi：31r： 64s： 2.05t：3.54p2P+ui：15r： 64s： 2t：3.21p6Li：158r： 69s： 64t：1002p4L+ui：40r： 70s：4t： 5.27m-p3Pi：38r： 64s： 1.70t：3.81m-p2P+ui：11r： 65s： 2t：3.16m-p6Li：64r： 72s： 64t：691m-p4L+ui：23r： 72s：4t： 3.61m-P3P+λi：23r： 62s： 1t：1.82m-P2P+λ+ui：12r： 62s： 1t：0.97m-P4L+λi：27r： 68s： 1.5t：26.3m-P3L+λ+ui：24r： 68s：1t： 4.07m-P3P+λ+si：24r：62s： 1t：4.19m-P2P+λ+u+si：12r： 62s： 1t：2.37m-P3L+λ+si：18r： 68s： 2.1t：2.3m-P2L+λ+u+si：9r： 68s： 2t：2.10符号：i：平均迭代次数，r：内点比[%]，s：平均解数，t：最小求解时间[ms]。p3P1.84/1.42p2P+u1.88/1.43p6L1.55（4.20）/ 1.10（3.24）p4L+u1.45（3.62）/ 1.08（3.11）m-p3P2.06/1.51m-p2P+u1.88/1.51m-p6L1.56（4.23）/ 1.13（3.29）m-p4L+u1.46（3.90）/（3.17）m-P3P+λ1.71/1.42m-P2P+λ+u1.62/1.42m-P4L+λ1.39（4.20）/ 1.08（3.52）m-P3L+λ+u1.62（4.92）/ 1.17（3.73）m-P3P+λ+s1.72/1.43m-P2P+λ+u+s1.63/1.41m-P3L+λ+s1.47（4.29）/ 1.13（3.48）m-P2L+λ+u+s1.31（4.06）/1.07（3.52）表2：定量结果。RANSAC统计（顶部）和像素中的重新投影误差（底部），用于传统的（点对点，等式（2））和隐私保护设置（点到线，等式（2））。（6）;在括号中也点对点，如果我们有秘密点）。密度图7：点云密度。通过从地图中随机均匀地丢弃点/线的百分比年龄来改变点云密度的旋转和平移误差在本地化过程中会发现什么？当图像被成功地定位在场景内时，姿态估计的内点通过相机射线与对应的3D线的相交来乍一看，这似乎是一个隐私问题，但实际上，只有图像中可见的对象才会被显示，而地图的其余部分或任何机密对象都是保密的。永久线云转换。提升变换必须仅执行一次，并且对于场景而言成为永久性的;否则，保留由不同提升变换生成的线云的多个副本的对手可以通过相交对应的3D线来容易地恢复秘密3D点。表示的紧凑性。一个更紧凑的表示比P lu？k er线方程。（3）选择一个有限的线方向集;例如，256以适合于一个字节，并将线的位置编码为与通过原点并正交于方向的平面的交点，这将存储器使用减少到2个浮点数和1个字节，即，甚至少于编码3D点的3个浮点数。线云的隐私攻击 从其提升的3D线表示恢复单个3D点的位置是一个不适定的反演问题，参见等式（1）。（三）、但到图8：测量噪声灵敏度。旋转和transla- tion误差变化的高斯噪声水平的测量。分析3D线云的密度，可以潜在地恢复关于场景结构的信息。虽然3D线云似乎有效地使底层-由于场景几何形状难以理解，它实际上取决于场景中3D点的采样密度（请参见suppl.材料）。在实践中，我们相信我们的方法通常对这种攻击非常鲁棒，因为基于图像的局部化通常使用稀疏的SfM点云。此外，图7中的3D线云的稀疏化是一种有效的防御机制。然而，更彻底的理论分析是未来研究的一个有趣途径。6. 结论本文介绍了一个新的研究方向--基于图像的隐私保护定位。通过这项工作，我们是第一个解决与3D点云模型持久存储相关的潜在隐私问题的公司，这是AR和机器人技术中广泛应用所要求的。我们提出的使用机密3D线云图的想法隐藏了场景的几何形状，同时保持了基于标准特征匹配范例执行鲁棒的基于图像的本地化的能力。未来的工作有许多方向，我们鼓励社会调查这个问题。鼻平平移误差[cm]旋转误差[度]旋转误差[度]平移误差[cm]5501引用[1] 6D.AI. http：//6d. ai/，2018年。1[2] M. Abadi、A.楚岛Goodfellow，B.麦克马汉岛米罗诺夫K. Talwar和L.张某深度学习与差分隐私计算机与通信安全会议（ACM CCS），2016年。3[3] M. E. Andr e's，N. E. Bordenabe，K. Chat zik ok olakis，C. Palamidessi。地理不可分辨性：基于位置的系统的差分概率。计算机通信安全会议，2013年。3[4] R. Arandjelovic，P. Gronat，A. Torii，T. Pajdla和J.西维克NetVLAD：用于弱监督位置识别的CNN架构。在计算机视觉和模式识别会议（CVPR），2016年。2[5] ARCore。https：//developers. Google. com/ar/，2018. 1[6] C. A.阿尔达尼亚湾Cremonini，E. Damiani，S. D. C. DiVimercati和P.撒马拉提通过基于混淆技术的位置隐私保护。IFIP数据和应用程序安全与隐私年度会议，2007年。3[7] ARKit。 https：//developer. 苹果com/arkit/，2018. 1[8] C. 亚瑟 D. 瓦格纳 M. 克洛普希茨， A. 伊尔夏拉，和D.施马斯蒂格手机上的广域定位。2009年国际混合与增强现实研讨会（International Symposium on Mixed andAugmented Reality，ISMAR）。2[9] S. Avidan 和 M. 布 特 曼 失 明 。 欧 洲 计 算 机 视 觉 会 议（ECCV），2006年。2[10] S. Avidan和M.布特曼隐私保护人脸检测的有效方法。神经信息处理系统的进展，2007年。2[11] 蔚 蓝 空 间 走 廊 。 https ： //azure. Microsoft. com/en-us/services/spatial-anchors/，2019. 1[12] E. Brachmann，A. Krull，S. Nowozin，J. Shotton，F. 米歇尔S. Gumhold和C.罗瑟用于相机定位的DSAC可微在计算机视觉和模式识别会议（CVPR），2017年。2[13] F. Camposeco，A.科恩，M。Pollefeys和T.萨特勒混合摄像 机姿 态估 计。 在计算 机视 觉和 模式 识别 会议（CVPR），2018年。三、五[14] F. Camposeco，T.Sattler和M.波勒菲斯从两条射线和一个点进行广义姿态和尺度估计的最小欧洲计算机视觉会议（ECCV），2016年。3[15] S. Cao和N.很聪明从运动模型中提取结构的最小场景描述。在计算机视觉和模式识别会议（CVPR），2014。2[16] M. Cummins和P.纽曼FAB-MAP：出现空间中的概率定位 和 映 射 。 International Journal of Robotics Research（IJRR），2008. 1[17] I. Dinur和K.尼辛在保护隐私的同时泄露信息。数据库系统原理研讨会，2003年。3[18] A. Dosovitskiy和T.布洛克斯使用卷积网络反转视觉在计算机视觉和模式识别会议（CVPR），2016年。1[19] R. Dube'，D.Dugas，E.Stumm，J.I. 涅托河是的，C.卡德纳Segmatch：基于段的3D点云循环闭合。2017年国际机器人与自动化会议（ICRA）1[20] C. Dwork. 差异隐私：结果调查2008年国际计算模型理论与应用会议. 3[21] M. Dymczyk，S. Lynen，M. Bosse和R.西格沃特保持简短：可伸缩地创建压缩的本地化地图。2015年智能机器人 与 系 统 国 际 会 议 （ International Conference onIntelligent Robots and Systems，IROS）2[22] Z. Erkin ，M. Franz，J. Guajardo， S.卡岑 拜瑟岛 La-gendijk和T.托夫特隐私保护人脸识别。在隐私增强技术研讨会国际研讨会上，2009年。2[23] A. Ess，A. Neubeck和L. J.V.古尔。广义线性姿态估计。在BMVC，2007年。3[24] M. A. Fischler和R. C.波尔斯随机样本同意：一个范例模型拟合与应用程序的图像分析和自动制图。ACM通讯，1981年。三、七[25] J. - M. 弗拉姆 P. Fite-Georgel，D. 盖洛普 T. 约翰逊先生，R. 拉古兰角吴玉-H. Jen、E.邓恩湾Clipp，S.Lazeb- nik等人。在万里无云的日子里建造罗马。欧洲计算机视觉会议（ECCV），2010年。1[26] B. Gedik和L.刘某使用个性化的k-匿名保护位置隐私：架构和算法。IEEE Transactions on Mobile Computing，2008。3[27] R. 吉拉德-巴克拉 N. 道林， K. 莱恩 K. 劳特，M. Naehrig和J.韦恩辛密码网：将神经网络应用于加密数据，具有高吞吐量和高精度。在2016年的国际机器学习会议上。3[28] M. D. Grossberg和S。K.纳亚尔一般成像模型及其参数求取方法。2001年国际计算机视觉会议（ICCV）。3[29] B. M. Haralick，C.- N. 李，K. Ottenbe r g和M. 不。回顾和分析了三点透视位姿估计问题的解决方案.国际计算机视觉杂志，1994年。5[30] G. Hee Lee，B. Li，M. Pollefeys和F.弗劳恩多夫多相机系统位姿估计的最小解。Springer Tracts in Advanced Robotics，2016。二、五[31] 全息眼镜网址：//www. Microsoft. com/en-us/hololens，2016. 1、6[32] B. K. P.霍恩。使用单位四元数的绝对定向的封闭形式解。Journal of the Optical Society of America A，1987. 5[33] A.伊尔沙拉角扎克，J。M. Frahm和H.比肖夫从运动恢复结构点云到快速位置识别。在计算机视觉和模式识别会议（CVPR），2009年。一、二、三、四[34] H. Je gou，F.Perronnin，M.Douze，J.桑切斯山口。佩雷斯和C. 施 密 特 将 局 部 图 像 描 述 符 聚 合 成 压 缩 代 码 。Transactions on Pattern Analysis and Machine Intelligence（TPAMI），2012年。25502[35] A. Kendall，M.Grimes和R.西波拉Posenet：用于实时6-dof相机重新定位的2015年，国际计算机视觉会议（ICCV）2[36] G. Klein和D.默里在照相手机上的并行跟踪和映射。2009年，国际混合与增强现实研讨会（InternationalSymposium on Mixed and Augmented Reality，ISMAR）。1[37] L. Kneip和P.弗盖尔OpenGV：一种统一的、通用的实时校 准 几 何 视 觉 方 法 。 国 际 机 器 人 与 自 动 化 会 议（ICRA），2014年。3[38] L. Kneip和H.李多相机系统的相对位姿的有效计算。计算机视觉与模式识别会议（CVPR），2014年。3[39] L. Kneip和S.琳恩帧到帧旋转的直接优化。国际计算机视觉会议（ICCV），2013年。2[40] M.科拉耶姆河坦普尔曼，D. Chen，中国粘蝇D. 克兰德尔，还有A.卡帕迪亚通过检测屏幕增强生活日志隐私。在计算系统中的人为因素会议，2016年。3[41] G. H.李，M。Pollefeys和F.弗劳恩多夫已知