对抗学习隐藏内容的视觉描述符：视觉描述符对抗学习防止图像反射、保持匹配精度的新方法

12797NinjaDesc：通过对抗学习隐藏内容的视觉描述符Tony Ng1，2 Hyo Jin Kim1† Vincent T.Lee1 Daniel DeTone1 Tsun-Yi Yang1 TianweiShen1 Eddy Ilg1 Vassileios Balntas1 Krystian Mikolajczyk2 Chris Sweeney11 RealityLabs，Meta2 Imperial College London摘要根据最近的分析隐私有关的场景启示视觉描述符，我们开发的描述符，隐藏输入图像内容。特别是，我们提出了一个对抗性学习框架，用于训练防止图像反射的视觉描述符，同时保持匹配精度。我们让特征编码网络和图像重建网络相互竞争，使得特征编码器试图用其生成的描述符阻止图像重建，而重建器试图从描述符恢复输入图像。实验结果表明，与我们的方法获得的视觉描述符显着恶化的图像重建质量与对应匹配和摄像机定位性能的影响最小。1. 介绍局部视觉描述符[7，13，56，72，74]是广泛的计算机视觉应用的基础，例如SLAM [15，40，42，45]，SfM [1，64，71]，宽基线立体声[30，43]、校准[49]、跟踪[24，44，51]、图像检索[3，4，32，46，47，66，77，78]，和相机姿态估计。mation [5，17，54，61，62，75，76].这些描述符表示图像的局部区域，并用于建立图像和3D模型之间的局部对应关系。描述符采用高维空间中的向量的形式，并且因此不能由人类直接解释。然而，研究人员已经表明，从局部视觉描述符中揭示输入图像是可能的[10，16，80]。随着深度学习的最新进展，重建图像内容的质量得到了显著提高[11，53]。如果视觉描述符用于敏感数据而没有适当的加密，这会对视觉描述符造成潜在的隐私问题[11，69，80]。为了防止从视觉描述符重构图像内容，已经提出了几种方法。这些方法包括通过以下方式混淆关键点位置：†通讯作者。图1.我们提出的内容隐藏视觉描述符。a）我们通过对抗学习训练NinjaNet，内容隐藏网络，以提供NinjaDesc。b）在所示 的 两 个 例 子 中 ， 我 们 比 较 了 SOSNet [74] 描 述 符 与NinjaDesc（使用NinjaNet编码 SOSNetc）NinjaDesc能够隐藏面部特征和标志性结构，同时保留对应性。图片来源：laylamoran4batterseasgerner（Flickr）1。将它们提升到通过原始点的线[21，65，69，70]，或者提升到具有增强的逆特征样本的仿射子空间[18]，以增加恢复原始图像的难度。然而，最近的工作[9]已经证明，线之间的最近点可以产生对原始点位置的良好近似在这项工作中，我们探讨是否可以减轻这种本地功能的版本在描述符级别。理想情况下，我们需要一个描述符，不透露图像内容，而不损害其性能。这似乎是违反直觉的，因为在最近对视觉描述符的分析中讨论了效用和隐私之间的权衡[11]，其中效用被定义为匹配准确性，而隐私被定义为描述符的不可逆性分析表明，越有用的描述符对应匹配，越容易将它们反转。为了最大限度地减少这种权衡，我们提出了一个1CC BY 2.0 CC BY-SA 2.0许可证。12798对抗性的方法来训练视觉描述符。具体来说，我们优化我们的描述符编码网络的对抗性损失的描述符可逆性，除了传统的度量学习损失的特征对应匹配。对于对抗性损失，我们联合训练了一个图像重建网络，以与描述符网络竞争，从描述符中揭示原始图像内容。以这种方式，描述符网络学习通过生成隐藏图像内容的视觉描述符来阻碍重建网络，同时针对对应匹配进行优化。特 别 是 ， 我 们 引 入 了 一 个 辅 助 编 码 器 网 络NinjaNet，它可以用任何现有的视觉描述符进行训练，并将它们转换为我们的内容隐藏NinjaDesc，如图所示。1.一、 在实验中，我们表明，使用我们的对抗性学习框架训练的视觉描述符只会导致特征匹配和视觉定位任务的性能略有下降，同时显着降低了重建与原始输入图像的视觉相似性。我们的方法的主要好处之一是，我们可以通过改变损失函数中的单个参数来控制效用和隐私之间的权衡。此外，我们的方法推广到不同类型的视觉描述符，和不同的图像重建网络架构。总之，我们的主要创新如下：a）我们提出了一种新的视觉描述符对抗学习框架，以防止从描述符重建原始输入图像内容。我们通过实验验证了所获得的描述符从描述符反转中显着恶化了图像质量，使用匹配的标准基准（HPatches [6]）和视觉定位（Aachen Day-Night [63，84]），匹配精度仅b）我们经验性地证明，我们可以通过改变单个训练参数来有效地控制效用（匹配准确性）和隐私（不可逆性）之间的权衡c）我们通过使用不同类型的视觉描述符、图像重建网络架构和场景类别来提供消融研究，以证明我们的方法的通用性。2. 相关工作本节讨论了视觉描述符的版本和国家的最先进的描述符设计，试图防止这种反转之前的工作视觉描述符的反转。Wein-zaepfel等人展示了从局部描述符重建图像的早期结果。[80]通过拼接图像块，一个已知的数据库，与特征空间中的输入SIFT [37]描述符距离最近。 丹热洛和al. [10]在局部二进制描述器上使用了去卷积方法，例如BRIEF [8]和FREAK[2]。冯德里克和al. [79]使用配对字典学习来反转HoG [85]特征，以揭示其对对象检测的局限性。对于全局描述符，Kato和Harada [31]从词袋描述符[68]重建图像。然而，这些早期作品的重建质量不足以引起人们对隐私或安全的担忧。随后的工作介绍了稳步提高重建质量的方法。Mahendran和Vedaldi [39]在反转CNN特征以及SIFT [36]和HOG [85]之前使用了具有自然图像的反向传播技术Dosovitskiy和Brox [16]训练了以回归方式从特征中估计输入图像的卷积网络，并在经典[37，48，85]和CNN [34]特征上表现出优异的结果。在最近的工作中，描述符反演方法已经开始利用更大和更先进的CNN模型，并采用先进的优化技术。Pit- taluga等[53]和Dangwalet al. [11]证明了足够高的重建质量，不仅揭示了原始图像中的语义信息，而且还揭示了细节。防止隐私描述符反转。描述符反转引起了隐私问题[11，53，69，80]。例如，在视觉描述符在设备和服务器之间传输的计算机视觉系统中，诚实但好奇的服务器可以利用由客户端设备发送的描述符。特别地，由于移动设备上的有限计算，许多大规模本地化系统采用云计算和存储。同态加密[19，60，83]可以保护描述符，但对于大规模应用程序来说计算成本太由Specialeet al提出。[69]，线云表示在地图构建过程中混淆了2D/3D点位置[20，21，65]，而不会损害定位的准确性。然而，由于描述符不变，Chelaniet al.[9]表明，如果恢复底层点云，线云容易受到反转攻击对抗学习已应用于图像编码[27，52，81]，其优化了隐私-效用权衡，但不是在描述符反转的上下文中，其涉及从一组局部特征重建图像，并且具有下游应用范围更广。最近，Dusmanuet al. [18]提出了一种通过提升描述子到仿射子空间的隐私保护视觉描述子，该描述子隐藏了视觉内容以防止反转攻击。然而，这在描述符在下游任务中的效用上带来了显著的成本。我们的工作与[18]的不同之处在于，我们提出了一个学习的内容隐藏描述符，并显式地训练它用于效用保留，以实现两者之间更好的权衡。3. 方法我们提出了一个对抗性学习框架，用于获得内容隐藏的视觉描述符，通过引入12799∈∈L·图2. 上图：我们的内容隐藏NinjaNet编码器Θ的架构。下图：维度为C的基本描述符被转换为相同大小的NinjaDesc，例如。C=128。使用描述符反演模型作为对手。在本节中，我们详细介绍了我们的内容隐藏编码器NinjaNet（Sec.3.1）和描述符反演模型（第二节）。（2）联合对抗训练法（Sec.3.2）3.3）。3.2.广义反演模型对于我们提出的对抗性学习框架，我们利用描述符反转网络作为对手，从我们的NinjaDesc中重建输入图像。我们采用了基于UNet [58]的反演网络，来自先前的工作[11，53]。根据Dangwalet al. [11]中，反演模型Φ以由描述符及其关键点组成的稀疏特征图FΘRH×W×C为输入，预测RGB图像的RθIRH×W×3，i.e.ΦI=Φ（FΘ）。We表示（H，W），（h，w）作为以下的分辨率：稀疏特征图像和重建的RGB图像，分别C是描述符的维数。详细架构见补充资料。重建损失。在重建损失下对描述子反演模型Φ进行了优化，重建损失由两部分组成第一个损失是预测的I图像和输入I图像之间H W3.1. NinjaNet：内容隐藏编码器Lmae=水||1.一、||1.（三）I j为了隐藏局部描述符的视觉内容，在保持其实用性的同时，我们需要一种可训练的编码器，该编码器将原始描述符空间变换为不同的描述符空间，其中减少了重建所必需的视觉信息。我们的NinjaNet编码器Θ是由一个第二个损失是感知损失，这是在ImageNet [12]上预训练的VGG16 [67MLP显示在图。二、 它采用基本描述符d，3公司简介基地将其转换为隐藏内容的NinjaDesc，：L=10000||VG G（||第二条、第四条忍者dninja=Θ（d base）（1）perck=1ijk，i，jk，i，j2NinjaNet的设计是轻量级和即插即用的，使其能够灵活地接受不同类型的现有本地描述符。编码后的NinjaDesc描述子保持了原描述子的匹配性能，但不能实现高质量的图像重建。在我们的许多实验中，我们采用SOSNet [74]作为基本描述符，因为它是对应匹配和视觉定位的最佳描述符之一[30]。实用程序初始化。为了维护实用程序（即，下游任务的准确性），我们使用基于补丁的描述符训练方法[41，73，74]。初始化步骤通过基于三元组的排名损失来训练NinjaNet我们使用UBC数据集[22]，其中包含标记为正负对的补丁的三个子集，从而可以轻松实现三重丢失训练。效用损失。我们从图像补丁x 补 丁 中提取基本描述符dbase，并使用[74]中的描述符学习损失训练NinjaNet（Θ）以优化NinjaDesc（dninja）。L_util（x patch; Θ）= L_trip（d ninja）+L_reg.（Dninja），（2）在reg. （）是二阶相似性正则化项[74]。我们总是冻结基本描述符网络的权重，包括SEC中的联合训练过程三点三12800K--其中，Wk_GG（I）是在层k2、9、16处提取的特征图，并且（h_k，w_k）是对应的分辨率。重建损失是两项之Lrecon（ximage; Φ）=Lmae + Lperc.（五）其中，x_image表示包括描述符特征图FΘ和RGB图像I两者的图像数据项。重建初始化。对于第二节中描述3.3，我们使用第二节中初始化的NinjaDesc初始化3.1，这部分使用MegaDepth [35]数据集完成，该数据集包含世界各地地标的对于关键点检测，我们在实验中使用Harris角[25]。3.3. 联合对抗训练设计我们的内容隐藏NinjaDesc的核心组件是联合对抗训练步骤，如图所示。3中，并在算法1中详细说明为伪代码。我们的目标是尽量减少效用和隐私之间的权衡受对抗学习方法的启发[23，59，82]，我们将效用和隐私权衡的优化制定为对抗学习过程。的目的∈12801←←←←LL←←L←←ΦLΘ图3.用于训练我们的内容隐藏NinjaDesc的管道。上图：两个网络及其相应的目标是：1.一、NinjaNet Θ，用于A中的效用保留;和2. 描述子反演模型，它从B. 下图：在联合对抗训练中，我们交替进行步骤1。和2. 算法1.算法1用于联合对抗训练的NinjaDesc进程1：NinjaNet：Θ0初始化方程22：描述 在版本模型中：53: λset privacy parameter4：对于i1，迭代次数为5：如果i=0，则6：Θ Θ0，Φ Φ07：如果结束8：从xpatch和Θ计算util。9：用Θ提取x图像上的稀疏特征，用Φ和计算recon（ximage; Θ，Φ）.10：更新Θ的权重Θ'←<$Θ（Lutil−λLrecon）.11：利用Θ'在X图像上提取稀疏特征，利用Φ和计算recon（ximag e;Θ'，Φ）。12：更新Φ的权重I 'm sorry. I'm sorry.13：Θ Θ′，Φ Φ′14：结束描述符反演模型Φ是为了最小化图像数据x_image上的反射误差。另一方面，Nina-jaNetΘ旨在通过最大化该误差来隐藏视觉内容。因此，所得到的内容隐藏的目标函数V（Θ，Φ）是两者之间的极大极小博弈minmax V（Θ，Φ）= Lrecon（ximage; Θ，Φ）。（6）同时，我们希望保持描述符实用程序：minutil（xpatch; Θ）.（七）Θ12802LLL这将我们带到我们将在下面描述的针对Θ和Φ的两个单独的优化目标。对于反演模型Φ，目标保持与方程中相同第六章：LΦ= L重建（x图像; Θ，Φ）。（八）然而，为了保持效用，具有权重Θ的NinjaNet也利用来自等式11的效用损失util（x补丁; Θ）进行优化。二、结合由来自等式11的Θ的最大化，6、NinjaNet的损失变成了LΘ=Lutil（xpatch;Θ）-λLrecon（ximage;Θ，Φ），（9）其中λ控制Θ在多大程度上优先于效用保留来进行内容隐藏的平衡，即，隐私参数。在实践中，我们以交替的方式优化Θ和Φ，使得Θ在等式11中没有被优化8，Φ在Eqn.9 .第九条。总体目标是Θm，Φm= arg min（Θ+ Φ）。（十）Θ、Φ3.4. 实现细节代码是使用PyTorch实现的[50]。我们使用Kornia[57] 对于所有训练，我们使用Adam [33]优化器，其中（β1，β2）=（0. 九比零。999）且λ=0。实用程序初始化。我们使用UBC补丁的自由集[22]来训 练 NinjaNet 200 个 epoch ， 并 在 其 他 两 个 集 合（notredame和yosemite）中选择NinjaNet中的子模块数量（图2中的N）是N=1，因为我们没有观察到增加N对FPR@95的改善。辍学率0.1.我们使用1024的批量大小和0.01的学习率。重建初始化。我们将MegaDepth [35]随机分为训练/验证/测试的比率12803LL图4.地标图像的定性结果。第一列：原始图像与1000个（红色）Harris角重叠[25]。第二列：通过反演模型从这些点上提取的原始SOSNet [ 74 ]描述符进行重建。最后五列示出了从NinjaDesc的重建，其中隐私参数λ增加。SSIM和PSNR w.r.t.原始图像显示在每个重建的顶部。最好用数码观看。图片来源：前3 -假日数据集[29];最后-laylamoran 4 battersea（Flickr）。0.6/ 0.1 / 0.3。形成特征图的过程与[11]中相同，我们在所有实验中使用多达1000个Harris角[25]。我们训练反演模型，批量大小为64，学习率为1 e-4，最多200个epoch，并在验证分割上选择具有最低结构相似性（SSIM）的最佳模型。我们也不使用[11]中的迭代，因为迭代的收敛需要更长的时间，并且它只稍微改进了反演模型。联合对抗训练。util和recon的数据集配置与上述两个步骤相同，但批次大小除外，即UBC补丁为968。 我们对Θ和Φ使用相等的学习率。 这是5e-5用于SOS-Net [74]和HardNet [41]，以及1 e-5用于SIFT [37]。Nin-jaDesc在valida上20个时代中拥有最好的FPR@95-选择任务集进行测试。4. 实验结果在本节中，我们根据指导其设计的两个标准-同时实现以下功能的能力-对NinjaDesc进行评估：（1）内容隐藏（隐私）和（2）实用性（匹配精度和相机定位性能）。4.1. 内容隐藏（隐私）我们通过测量描述符反转攻击的重建质量来在这里，我们假设反演模型可以访问NinjaDescs和输入RGB图像进行训练，即。x图像在秒。3.2.我们从头开始训 练 NinjaDesc 的 反 演 模 型 （ 方 程 10 ） 。 5 ） 在MegaDepth的训练分割[35]上，并且在验证分割上具有最高SSIM的最佳模型用于评估。在Eqn中调用。λ是隐私参数，控制NinjaDesc将隐私优先于实用性的程度。直觉是，λ越高，NinjaDesc越积极地试图通过反演模型来阻止重建质量。我们在NinjaDesc上执行描述符反转，这些NinjaDesc使用一系列λ值进行训练，以证明其对重建质量的影响。图4示出了当改变λ时描述符反转攻击的定性结果。我们观察到，λ确实充分-填充了控制NinjaDesc隐藏原始图像内容的程度的角色。当λ较小时，例如0的情况。010 1、12804≈EASY哈德强硬INTERINTRA维尤普伊勒姆NinjaDesc（2.5）中文（简体）NinjaDesc（0.1）86.5387.1087.68NinjaDesc（2.5）中文（简体）NinjaDesc（0.1）47.3548.0448.87NinjaDesc（2.5）中文（简体）NinjaDesc（0.01）67.3268.2168.61NinjaDesc（0.01）87.82NinjaDesc（0.01）48.94NinjaDesc（0.001）68.71NinjaDesc（0.001）87.87NinjaDesc（0.001）49.03NinjaDesc（0.1）68.83SOSNet（lib）88.440 20 40 60 80100补丁验证mAP [%]SOSNet（lib）52.770 20 40 60 80100图像匹配mAP [%]SOSNet（lib）69.480 20 40 60 80100修补修复mAP [%]图5.HPatch评估结果。我们将基线SOSNet [74]与NinjaDesc，具有5个不同级别的隐私参数λ（括号中的数字所有结果都来自于在UBC补丁[22]数据集的自由子集上训练的模型SOSNetNinjaDesc（λ）查询NN方法保持时的准确度（%）0的情况。25米，2英尺。五米五。0米，10米表 1. 描 述 子 反 演 的 定 量 结 果 SOSNet 与 。 NinjaDesc ， 在MegaDepth [35]测试分割2上进行评估。箭头指示更高/更低的值对于隐私更好重建仅比从基线SOSNet的重建稍差。当λ增加到0时。25、质量明显下降 一旦相等/更强的权重被给予隐私（λ=1，2. 5）、几乎不显露纹理/结构，实现高私密性。表1也定量验证了这种观察结果，其中我们看到，随着λ在三个指标上的增加，反演模型的性能下降：平均平均绝对误差（MAE）、结构相似性（SSIM）和峰值信噪比（PSNR），它们是从重建图像和原始输入图像计算的。4.2. 效用保持我们通过两个任务来衡量NinjaDesc的效用：图像匹配和视觉定位。图像匹配。我们基于SOS- Net [ 74 ]评估NinjaDesc，并在HPatches [ 6 ]基准测试中使用一组不同的隐私参数，如图所示。五、Nin-jaDesc在所有三个任务上都与mAP中的SOSNet相当，特别是对于验证和检索任务。此外，较高的隐私参数λ通常对应于较低的mAP，因为L_util在等式11中变得不那么占主导地位。9 .第九条。视觉定位。 我们使用三个基本描述符- SOSNet [74]，HardNet [41]和SIFT [37]在Aachen-Day-Night v1.1 [63，84]数据集上使用Kap- ture [28]管道评估NinjaDesc。我们使用AP-Gem [55]进行检索和本地化，候选名单大小为20和50。使用的关键点检测器是DoG [37]。表2显示了定位结果。再次，我们观察到与原始基本描述符相比，Nin-jaDesc的准确性总体上几乎没有下降，范围从低（λ=0. 1）到高（λ=2. （5）隐私。2注意，在[11]中，只报告了SSIM，并且我们不共享相同的训练/验证/测试分割。此外，[11]使用了我们忽略的训练损失，这导致SSIM略有不同。表2.亚琛昼夜v1.1的视觉定位结果[84]。‘Raw’ corresponds tothe base descriptor in each col- umn, followed by three将我们在HardNet和SIFT上的结果与Dusmanu等人的表3进行比较。[18]，NinjaDesc在保持基本描述符的视觉定位精度方面明显优于[18]3中的子空间描述符，例如。在[18]中，HardNet的夜间下降率高达30%，但NinjaDesc为10%因此，图像匹配和视觉本地化任务的结果表明，NinjaDesc能够保留它的大部分效用是w.r.t.基本描述符。5. 消融研究表2已经暗示，我们提出的对抗性描述器学习框架在保留效用方面推广到几个在本节中，我们通过对不同类型的描述符、版本内网络架构和场景类别进行额外的实验，5.1. 推广到不同的描述符我们从表1中的SOSNet [74]扩展了相同的实验，以包括HardNet [41]和SIFT [37]。我们3[18]在亚琛日夜v1.0上进行了评估，由于地面实况较差，导致夜间精度更高，并且[18]的代码尚未发布。我们还在补充资料中报告了v1.0的结果。度量（原始）0.0010.010.10.251.02.5MAE（ ↑ ）SSIM0.1040.59617.9040.1170.56618.0370.1250.56916.8260.1290.52717.8210.1620.48417.6710.1830.38513.3670.2120.34912.010基本描述SOS / Hard /SIFTSOS / Hard /SIFTSOS / Hard /SIFT原85.4/84.392.7/93.1/92.797.3/98.2/97.6λ =0。185.4/84.7/82.092.5/91.9/91.197.5/96.8/96.420λ =1。084.3/82.992.4/91.9/91.097.2/96.7/96.1天λ =2。584.6/83.7/82.592.4/92.0/91.097.1/96.8/96.0（824）原85.9/86.8/86.092.5/93.7/94.197.3/98.1/98.2λ =0。185.2/85.2/84.292.2/92.4/91.497.1/97.1/96.650λ =1。085.7/83.492.6/91.697.2/96.7/96.7λ =2。585.3/83.692.7/91.7/91.197.3/96.8/96.2原49.2/52.4/50.860.2/62.3/62.368.1/72.3/72.8λ =0。147.6/43.5/44.057.1/54.5/51.363.4/61.8/晚上20λ =1。045.5/44.5/56.0/51.8/52.961.8/60.2/62.312805图6.说明我们提出的对抗性描述符学习框架在三个不同的基本描述符上的泛化。Top. 我们展示了两个匹配的图像。每一张照片右边的两行小图片是重建的。上下&行分别是来自原始描述符和NinjaDesc（λ=2. 5）与上面的基本描述符相关联。屁股了. 我们将原始描述符与两个图像之间的匹配可视化。NinjaDesc（λ=2. 5）对于三个基本描述符中的每一个。图片来源：左-TatyanaGladskih/stock.adobe.com;右-Urse Ovidiu（维基共享资源，公共领域）。Arch. UNetSOSNet λ= 1。0 λ = 2。5UResNetSOSNet λ= 1。0 λ =2。5MAE（↑）SSIM（↓）峰值信噪比（↓）0.1040.59617.9040.1830.38513.3670.2120.34912.0100.1210.59516.5330.1900.42712.7530.2020.38012.299表3.描述符反演模型在MegaDepth [35]测试中的定性性能，使用三个基本描述符和相应的NinjaDescs，隐私参数不同。在表3中报告SSIM。类似于对SOS网络的观察，增加隐私参数λ也降低了HardNet和SIFT两者的重建质量。在图6中，我们定性地示出了跨所有三个基本描述符的描述符反转和对应匹配结果。我们观察到，NinjaDesc来自所有三个基本描述符是有效的隐藏重要的内容，如人或地标相比，原始的基本描述符。图像之间的关键点对应关系的可视化也证明了我们提出的学习框架在不同基础描述符上的效用保持。5.2. 推广到不同的体系结构到目前为止，所有实验都是使用反演模型的相同架构 - 基 于 UNet [58] 的 网 络 [11 ， 53] 进 行 评 估 的 验 证NinjaDesc不会过拟合到基本描述符SSIM（↓）原始NinjaDesc（λ）（w/o NinjaDesc）0.01 0.1 0.25 1.02.5SOSNet0.5960.569 0.527 0.484 0.385 0.349硬网0.5820.545 0.516 0.399 0.349 0.312SIFT0.5530.490 0.459 0.395 0.362 0.29612806表4. MegaDepth上的重建结果[35]。我们比较了在这项工作中使用的UNet与。一个不同的架构-UResNet。这种特定的架构，我们使用具有完全不同架构的反转模型进行描述符反转攻击，称为UResNet，其具有ResNet50 [26]作为编码器骨干和残差解码器块。(See补充材料）。结果如表4所示，其中仅SSIM与UNet相比略有改善，而MAE和PSNR保持相对不受影响。这一结果表明，我们提出的方法是不受限制的结构的反演模型。5.3. 面部内容隐藏我 们 进 一 步 展 示 了 使 用 Deepfake DetectionChallenge（DFDC）[14]数据集对人脸的定性结果。图7给出了使用基本描述符（SOSNet [74]）以及隐私参数λ变化的NinjaDesc的描述符反演结果。类似于我们在图中观察到的。4，与SOSNet上的重建相比，随着我们增加λ，我们看到面部特征的隐藏12807(a) HPatches [6]序列的平均匹配精度我们比较了Nin-jaDesc（λ=2.5）以亚混合举升（dim. 2）在Dusmanu et al. [18 ]第10段。图7.面部的定性重建结果。图像是从DFDC [14]数据集中的视频中采样的裁剪帧。6. 实用性和隐私权衡我们现在描述我们执行的两个实验，以进一步研究NinjaDesc的实用性和隐私权衡。首先，在图 8a我们评估了NinjaDesc在最高隐私参数λ = 2时的平均匹配精度（MMA）。5，对于HardNet[41]和SIFT [37]，在HPatches序列[6]上，并将其与Dusmanu等人的子混合提升方法进行比较。[18]隐私级别低（图2）。即使在更高的隐私级别上，NinjaDesc也明显优于两种描述符的子混合提升对于NinjaDesc，MMA w.r.t.对硬网的影响也很小，甚至增加了w.r.t.。SIFT。第 二 ， 在 图 。 8b 我 们 执 行 详 细 的 实 用 程 序 vs.NinjaDesc上所有三种基本描述符的价格权衡分析。y轴是图2中HPatches中三个任务之间Nin-jaDesc的mAP的平均差异。5，x轴是通过1-SSIM测量的隐私[11]。我们 绘 制 了 不 同 隐 私 参 数 的 结 果 。 对 于 SOSNet 和HardNet，实用性的下降（4%）比隐私的增益（30%）小一个数量级，表明最佳权衡。<有趣的是，对于SIFT，我们看到所有λ（y轴为正值）的效用都有净增益 这 是 由 于 SOSNet- 类 实 用 程 序 的 培 训 ， 提 高 了NinjaDesc的验证和检索HardNet和SIFT的完整HPatches结果在补充资料中。7. 限制NinjaDesc只影响描述符，而不是关键点的位置.因此，它不会阻止从关键点位置本身的图案推断场景结构[38，69]。同样，在关键点非常密集的地方，仍然可以显示出某些层次的结构，例如。图2的第二示例中的百叶窗。7 .第一次会议。(a) 对于每个描述符，我们选择具有不同隐私参数值的NinjaDesc（在数据点旁边注释），并比较它们相对于原始描述符的效用。内容隐藏图8.实用程序vs.隐私权衡分析。8. 结论我们引入了一个新的对抗性学习框架的视觉描述符，以防止重建原始输入图像内容的描述符。我们通过实验验证了所获得的描述符恶化了描述器反演质量，而效用仅略有下降。我们还通过经验证明，我们可以使用我们的框架控制效用和不可逆性之间的权衡，通过改变一个衡量对抗性损失的参数。使用不同类型的视觉描述符和图像重建网络架构的消融研究证明了我们的方法的通用性。我们提出的流水线可以增强使用视觉描述符的计算机视觉系统的安全性我们的观察表明，视觉描述符包含的信息比匹配所需的信息更多，这些信息被对抗性学习过程删除。它开辟了一个新的机会，在一般的表示学习，以获得表示只有必要的信息，以保护隐私。谢谢。 这项工作得到了Chist-Era EPSRC IPALM EP/S032398/1赠款的支持。12808引用[1] Sameer Agarwal、Yasutaka Furukawa、Noah Snavely、Ian Si-mon 、 Brian Curless 、 Steven M Seitz 和 RichardSzeliski。一天建成罗马。ACM通讯，2011年。1[2] 亚历山大·阿拉希拉斐尔·奥尔蒂斯和皮埃尔·范德海恩斯特。怪胎：快速视网膜关键点。 CVPR，2012。2[3] ReljaArandjelovic´ ， PetrGronat ， AkihikoTorii ，TomasPa-jdla，and Josef Sivic.NetVLAD：用于弱监督位置识别的CNN架构。在CVPR，2016年。1[4] Relja Arandjelovic和Andrew Zisserman脱位：用于位置识别的可缩放描述符独特性。InACCV，2014. 1[5] Sungyong Baik ， Hyo Jin Kim ， Tianwei Shen ， EddyIlg，Ky-Mu Lee，and Christopher Sweeney.视觉定位中学习特征的领域在BMVC，2020年。1[6] Vassileios Balntas ， Karel Lenc ，Andrea Vedaldi， andKrys- tian Mikolajczyk.HPatches：手工制作和学习本地描述符的基准和评估在CVPR，2017年。二、六、八[7] 阿克塞尔·巴罗佐-拉古纳、埃德加·里巴、丹尼尔·庞萨和克里斯-蒂安·米科莱奇克。Key.Net：通过手工制作和学习CNN过滤器进行关键点检测。在ICCV，2019年。1[8] Michael Calonder、Vincent Lepetit、Christoph Strecha和Pascal Fua。二进制鲁棒独立基本特征。ECCV，2010年。2[9] Kunal Chelani，Fredrik Kahl，和Torsten Sattler.线云如何保护隐私从3d线条中恢复场景在CVPR，2021年。一、二[10] Emmanuel从比特到图像：局部二进制描述符的反转。TPAMI，36（5）：874-887，2013. 一、二[11] 作 者 ： Deeksha Dangwal ， Vincent T Lee ， Hyo JinKim ， Tianwei Shen ， Meghan Cowan ， Rajvi Shah ，CarolineTrippel ， Bran-donReagen ， TimothySherwood，Vasileios Balntas，Armin Alaghi，and EddyIlg.局部特征描述符逆向工程攻击的分析与缓解。在BMVC，2021年。一二三五六七八[12] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. ImageNet：一个大规模的分层图像数据库。CVPR，2009。3[13] Daniel DeTone，Tomasz Malisiewicz，and Andrew Rabi-novich. SuperPoint： 自 监 督 兴 趣 点 检 测和 描 述 。 在CVPR研讨会，2018年。1[14] 布莱恩·多尔汉斯基乔安娜·比顿本·普夫劳姆陆继阔，拉斯·豪斯，王梦琳，克里斯蒂安·坎顿-费雷尔。Deepfake检测挑战数据集。CoRR，abs/2006.07397，2020。七、八[15] Jing Dong ， Erik Nelson ， Vadim Indelman ， NathanMichael，and Frank Dellaert.分布式实时合作本地化和映射使用不确定性感知的期望最大化方法。InICRA，2015.1[16] Alexey Dosovitskiy和Thomas Brox用卷积网络反转视觉表示在CVPR，2016年。一、二[17] Mihai Dusmanu、Ignacio Rocco、Tomas Pajdla、MarcPolle-feys、Josef Sivic、Akihiko Torii和Torsten Sattler。D2-净：12809一种用于局部特征联合检测和描述的可训练cnn。在CVPR，2019年。1[18] MihaiDusmanu，JohannesLSchönberger，SudiptaNSinha，and Marc Pollefeys.通过对抗性仿射子空间嵌入的隐私保护视觉特征描述器。在CVPR，2021年。一、二、六、八[19] Zekeriya Erkin，Martin Franz，Jorge Guajardo，StefanKatzenbeisser，Inald Lagendijk，and Tomas Toft.保护隐私的面部识别。隐私增强技术研讨会国际研讨会，2009。2[20] MarcelGeppert ， Viktor Larsson ， Pablo Speciale ，Johannes L Scho¨ nbe r ge r，andMarcPollef e ys.提供保持运动恢复结构的方法。在ECCV，2020年。2[21] Marcel Geppert ， Viktor Larsson ， Pablo Speciale ，Johannes L Schonberger，and Marc Pollefeys.隐私保护本地化和映射从未校准的相机。在CVPR，2021年。一、二[22] Michael Goesele 、 Noah Snavely 、 Brian Curless 、Hugues Hoppe和Steven M.塞茨多视图立体声社区照片收藏。CVPR，2007。三、四、六[23] Ian J. Goodfellow、Jean Pouget-Abadie、Mehdi Mirza、Bing Xu 、David Warde-Farley 、Sherjil Ozair 、AaronCourville和Yoshua Bengio。生成对抗网络。在NIPS，2014。3[24] Sam Hare，Amir Saffari，and Philip HS Torr.基于关键点的对象跟踪的高效CVPR