隐私保护的行人分析框架

4370隐私保护的行人分析框架Anil K unchal a 1，M e 'lanie Bouroch e 2和Bianca Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Schoen-Scho-Schoen-Schoen-Schoen-Scho-Schoen-Scho-Schoen-Scho-Scho-Schoen-Scho-Schoen-Scho-Scho-Schod20125529@mytudublin.ie1，melanie. tcd.ie2，bianca. tudublin.ie3摘要设计环保型基础设施在城市环境中创造可持续交通方面发挥着至关重要的作用分析行人行为对现有基础设施的响应对于规划、维护和创建更适合行人的设施至关重要。已经提出了许多方法来通过将深度学习模型应用于视频数据来提取这种行为。然而，视频大多数现有的模型使用隐私侵犯的方法来跟踪，检测和分析个人或群体行人的行为模式。作为隐私保护行人分析的一步，本文介绍了一个框架，匿名化所有行人之前，分析他们的行为。所提出的框架利用3D线框重建和数字图像修复的最新发展，通过在保留姿势、形状和背景场景上下文的同时移除行人的图像，用定量线框来表示为了评估所提出的框架，一个通用的度量引入每个隐私和效用。在广泛使用的数据集上的实验结果表明，该框架通过产生最佳的隐私效用权衡，优于传统的和最先进的图像过滤方法。1. 介绍行人和对行人友好的基础设施在规划和创造可持续的城市交通方面发挥着至关重要的作用。分析行人行为对现有基础设施的响应对于规划、维护和创造更友好的行人环境至关重要。例如，通过分析行人运动和行为模式的长期模式，当地政府和企业主还可以获得重新设计其空间的见解，视觉数据通常用于执行行人分析-在人工智能技术中的应用。能够访问大量开放数据促进了这些技术的快速发展。例如，ImageNet [12]等数据集包含大约1400万个标记图像，可用于训练图像分类算法，对广泛的研究应用产生了重大影响，从自动驾驶汽车到计算机“学习”玩视频游戏等等虽然开放数据的广泛可用性有利于研究，但由于严重的隐私问题[60，49]和数据滥用的可能性[56，18]，公共数据集最近被要求进行审查[47，56]。这些问题在行人数据集中普遍存在[53，12，55，2，9]，其中数据通常包括监控视频。因此，一些数据集不再对研究人员可用[53，2]，而另一些数据集仅在非常有限的许可下可用这严重限制了可用于进行创新研究的数据量。为了解决与数据集相关联的隐私问题，研究界已经开发了许多用于在发布数据集之前保护个人目前视觉隐私保护算法的研究大多集中在传统的图像滤波技术（如模糊和像素化）上，以模糊和/或降低个人的敏感区域（如他们的脸）。然而，越来越多的证据表明，可以挖掘大量信息，即使他们的脸模糊，像素化或完全被黑盒覆盖，相反，混淆数据集中的所有私有信息由于隐私和效用之间的负相关性，找到最大化数据集效用同时最小化隐私关注的方法至关重要。最近，基于分割[40]和神经艺术[8]的视觉抽象方法已经开发出来，通过用他们的轮廓或基于神经艺术的风格图像替换人来改善隐私，同时保持实用性然而，这些方法限于每个图像的单个行人，并且不调查隐私保护算法对行人的姿势、形状或图像背景信息的影响。此外，隐私保护-4371使用感知研究来评估隐私，感知研究是主观的并且不评估机器对隐私的理解。最后，效用计算仅限于行人计数[7]，这并不能准确地表示数据集的一般效用，因为大多数应用（如活动识别和行为预测）除了图像中的人数之外出于这些限制，本文介绍了一个端到端的框架，通过整合国家的最先进的3D身体和形状估计与数字in-painting提供隐私增强的表示，捕捉每个行人与感知研究不同，本文引入了一种统计相似性测度，并利用Siamese卷积神经网络（Si-Net）对感知进行量化。受FaceNet [57]的启发，原始图像和隐私增强图像之间的图像嵌入的统计相似性用于量化对隐私增强数据的机器理解。所提出的框架进行评估，具有挑战性的单人和多人每帧行人数据集，以证明它实现了改进的隐私效用权衡。本文的贡献如下：1. 引入了一种新颖的端到端框架来生成给定视频或图像序列的隐私增强版本。2. 通用的效用和统计相似性为基础的隐私度量提出了评估隐私效用的权衡。我 们 使 用 PeVID [28] ， CMU [1] ， MOT 16 [34] 和i.c.sens [38]数据集评估了所提出的框架，并表明我们提出的隐私保护框架通过实现最佳隐私，同时保留效用，表现出最先进的基线方法本文的其余部分组织如下：第2节探讨了视觉隐私保护方法，人体的线框表示和视频修补的相关工作第三节描述了隐私保护框架，包括线框生成和背景提取.第4节介绍了隐私和效用度量，包括Si-Net。第5节介绍了评价，第6节介绍了结果。最后，第7节总结了建议的工作，并描绘了未来可能的工作。2. 相关工作本节讨论了现有文献，首先关注视觉隐私保护方法，其次是隐私效用度量，然后是人体线框表示，最后是视频修补技术。2.1. 视觉隐私保护方法视觉隐私保护方法隐藏了一些原始信息，符合监管数据保护法和个人隐私需求。模糊[15，36，66，35，39]和像素化[6，25，36]等图像过滤技术被广泛用于改善隐私。图像过滤器可以应用于整个图像或需要隐私的图像的特定区域。视觉隐私保护的大多数研究都是基于操作和/或从图像中删除信息的方法[24，39，8，13]。然而，个人数据信息并不限于面部[8]，因此，仅面部模糊并不能保证隐私[63]。即使面部完全被黑盒覆盖，也可以使用诸如服装信息的视觉问题来容易地识别该人。视觉数据应该模糊所有的私人信息，以提供完整的隐私。在实践中，删除所有信息是不可能的，数据集可能因此变得不可用[63]。最近，提出了基于神经艺术的混淆[7]，其中一个人的风格被改变以保护他们的身份，同时保留自然性和数据的实用性。视觉抽象方法[11，24，8，7]最近越来越受欢迎，作为一种在提高隐私的同时保持数据集实用性的方法。视觉抽象方法的目标是通过用生成的抽象视觉模型替换人们的整个身体来保护人们的隐私。常用的视觉抽象模型包括轮廓[40，42，11]，边界框[43]和化身[10，5，8，7，24]。一个特别有趣的视觉抽象方法是3D线框表示[4]。尽管它们类似于化身表示，但线框被用作用户身份的完整抽象尽管线框提供了人类身体的详细表示[54，48，27]，但关于隐私保护和实用功能的有效性存在研究空白2.2. 现有的隐私实用程序隐私性和实用性可以使用主观和客观评价方法进行评价。通过用户感知研究和问卷调查，主观评价用于确定视频的隐私或实用性[8，40，13]。主观评价方法是比较常见的，用户感知研究的结果可能取决于研究小组及其对质量的评估。主观评价受到限制。例如，评估大型公共数据集（如ImageNet [12]）中的所有视频或图像可能很困难，并可能导致结果偏差。客观评估使用计算机视觉和机器学习等工具在这项工作中，我们专注于客观评价，因为这些方法比主观评价方法更准确和可扩展。4372∈∈∈t=0i=112不ΣNi ii2.3. 人体的线框表示现代身体和形状估计方法[21，27，4，59，22，54]从一张人的照片中推断出逼真的3D线框。估计线框捕捉现实主义的身体姿势和形状的人。与轮廓、边界框和其他化身表示相比，线框在重新移动隐私信息的同时提供了人的丰富特征图皮肤线性人模型（SMPL）[32]是一种广泛使用的生成模型，将人体表示为形状、姿势和平移参数的函数[29]。在SMPL中，姿态使用23个关节的相对旋转来表示，10个形状参数用于表示人的形状，并且4个平移参数用于表示全局平移。大多数现有的基于SMPL的化身拟合算法仅涉及推断SMPL参数以便改进形状和姿态估计。据我们所知，这是第一篇分析渲染线框与原始视频或数据集相比的隐私和实用性方面的论文。2.4. 视频绘画视频内绘用于用合理的内容填充缺失的区域[3]。它通常用于去除视频序列中的遮挡或不需要的区域[65，33，45]。在图像修复的早期，基于补丁的方法被用来通过对类似的空间和时空补丁进行采样来合成缺失数据[37，46]。深度学习模型在视频修复方面取得了重大进展，使用递归网络[23]和生成对抗网络[64，65]来对视频中附近帧的时间和空间关系进行建模。与仅提取静态信息而忽略移动对象（例如车辆）的透明背景建模方法（基于相关性的方法、颜色阈值和直方图）不同，在这项工作中使用视频修补来从图像中移除所有人，同时保持静态和动态背景。在本文中，我们提出了一种新的隐私保护框架，利用最新的进展，在3D线框重建和数字in-painting创建一个给定的视频的隐私增强版本。所提出的框架在两个关键方面与现有文献[7，40]不同首先，线框用于表示图像中的人，允许表示丰富的特征，例如人高度隐私。其次，据我们所知-边缘，我们是第一个彻底分析的影响，生成行人口罩（口罩RCNN）背景提取（STTN）视觉数据输出渲染器隐私增强视觉数据线框生成（VIBE）图1：拟议框架3. 框架所提出的框架的目标是通过用行人各自的线框来表示行人，为此，我们提出了一种新的端到端的框架，以产生一个给定的视频或图像序列的隐私增强版本，利用视觉背景提取和线框生成技术的最新进展。如图1所示，拟议框架包括三个阶段：在第一阶段中，绘制行人的线框表示;在第二阶段中，提取背景场景信息和对象;最后，背景信息和线框都被渲染为最终图像，其中行人被表示为线框，既保留了原始姿势和形状信息，又提供了增强的隐私。本节首先描述如何为给定的一组图像生成线框，然后描述如何提取背景上下文信息3.1. 线框生成本文提出了一种基于皮肤线性人模型（SMPL）的人的特征提取方法。[32]用于将人表示为线框，以保护个人隐私，同时保留对视觉分析有用的统计信息。SMPL模型是将人体的3D线框网格表示为形状、姿势的函数的生成模型定义为M（θ，β）R6890×3，其中θR3× K是K=23个关节在轴角表示中的相对旋转，βR10是形状的空间参数。函数M（θ，β）生成具有6，890个顶点的三角网格人体姿势和形状估计网络（VIBE1）[27]用于在给定帧中为行人生成线框。 为了捕捉即时通讯的连续性- 年龄序列，VIBE采用在单个图像上预先训练的卷积神经网络[21]，然后时间编码器和运动编码器。对于具有N个人的给定帧{F t}T，VIBE输出[（P，P，. 其中P=[θ，β，γ]是第i个人在时间步长t处的相对旋转、形状和平移参数的向量。 平移参数（γ）为视觉抽象和图像过滤技术.1https://github.com/mkocabas/VIBE4373原始线框表示图2：给定图像使用用于指示3D网格的全局平移的弱透视相机计算通过用如图2中所描绘的线框表示每个行人，来自个人的以下隐私信息被移除：• 硬生物计量[52]信息，如面部和其他面部特征（如头发）• [52]软生物测量信息，如服装信息，可用于跟踪和重新识别[68]3.2. 背景提取传统上，背景提取被用于分离前景和背景对象。为了执行背景提取，最常用的方法是创建背景的显式模型。之后，通过计算当前帧和背景帧之间的像素差来识别前景物体[44，62，69，70]。这些技术从视频或图像序列中移除所有移动对象，仅在场景中留下静态对象。然而，在行人分析中，诸如车辆的移动对象提供关键的上下文信息。出于这个原因，该框架使用数字图像修复技术来提取背景，以提取静态和动态上下文信息。数字图像修补用于去除图像或视频中的遮挡或不需要的区域，以用于图像恢复或增强应用。在这项工作中，将删除图像序列或视频中的所有行人，以便使用预先训练的联合时空Transformer网络（STTN2）捕获静态和动态背景[65]。与其他方法相比[33，45]，2https://github.com/researchmm/STTN其仅使用附近帧来使用像素关注填充缺失区域而没有任何时间相干性，STTN使用基于多尺度块的关注，其使用附近帧和距离帧两者。它利用多个帧内的时空冗余来提供上下文信息，同时避免前景中的任何遮挡Mask-RCNN[19]用于生成行人掩码，用于向STTN网络提供输入以及输入图像帧。4. 隐私和实用程序隐私保护技术以数据丢失为代价提供不同程度的隐私保护为了量化隐私和效用之间的这种权衡，本文介绍了隐私和效用指标，它们代表了隐私保护框架在保护个人隐私同时保留给定行人数据集的统计见解的有效性。4.1. 隐私度量传统的隐私指标，如差异隐私[14]通常用于私人视觉数据集，主要关注训练模型中敏感数据的泄漏然而，传统的隐私度量不适合量化原始和隐私增强的视觉数据之间的相似性;相反，它们量化训练模型或推断数据的隐私有效性。主观评估在现有文献中被广泛用于评估原始和隐私增强数据的隐私度量，例如用户研究以匹配隐私保护的面部图像[63]、服装、可识别性和形状信息[8，40]。现有的大多数工作都集中在人类观察者的感知理解上，以量化隐私，但未能解决和评估机器对隐私增强数据的理解。在这项工作中，我们提出了一种新的隐私度量，通过量化的相似性之间的原始和隐私增强的数据使用机器感知。在行人数据集中，隐私保护是指避免向对手披露个人身份信息的能力。来自图像的个人信息可以用于属性和身份披露[30]。属性可用于推断有关行人的高级语义信息[68]。该语义信息可以进一步用于行人跟踪、检索和重新识别[31，58，61]。身份披露是指将个人信息与数据库中的记录联系起来任何隐私保护算法都应该能够编辑属性和身份信息，因为一个信息可以用来发现另一个信息。如图2所示，行人的线框表示有效地去除了所有隐私属性（例如上半身服装、下半身服装、发型等）。它使我们4374NΣ。Σ仅仅根据身份话语来定义隐私∈一P一NSIorgf（I））·f（IorgN锚锚ResNet-152FCFCFC• 锚点图像（IA）• 正像（IP）• 负像（IN）积极积极共享权重FCFCFCResNet-152共享权重三重损失其中正图像类似于锚图像，而负图像是与锚无关的图像 度量学习用于使用三元组损失来训练网络。三元组损失优化模型的权重和偏差，使得f（IA）和f（IP）之间的距离大于f（IA）和f（IN）之间的距离。特 征 向 量 之 间 的距离使用L2范数计算如下负负ResNet-152FCFCFCDA，=f（IA）−f（I）2（2）三重态损失由下式给出：图3：Si-NetΣΣ∥f(Ii)−f(Ii)∥2−∥f(Ii)−f(Ii)∥2+αΣ(3)i=0时在深度卷积神经网络中，通过比较原始图像和隐私增强图像的图像特征嵌入[57]之间的相似性来确定身份。如果隐私增强图像中的行人与原始图像之间的相似性低，则认为隐私级别高。隐私度量（PM）其中N是三联体的总数，α是正负对之间的边界。在推断期间，使用余弦相似性度量来计算原始图像（Iorg）与经预增强的图像（Iorg）之间的相似性指数，如下：仅基于相似性，由下式给出：PM=1−PSIDorg[Ii]，Dorg[Ii]（1）i=0时P.我，我...4.2. 效用度量f=f（Iorg）·f（Iorg）org（四）其中P-SI是两幅图像的相似性指数，Do rg[Ii]，Do rg[Ii]分别表示原始数据集和增强数据集中的第i幅图像。的更多信息相似性指数见下一节。4.1.1相似性指数为了理解隐私保护框架保留原始图像信息而不考虑隐私属性的效果，引入了图像相似性指数相似性指数用于通过比较原始图像和隐私增强图像的机器学习表示来表示图像相似性提出了一种Siamese卷积神经网络（简称Si-Net的架构如图3所示。所提出的架构由具有共享权重的三个类似卷积神经网络（CNN）的每个CNN由预先训练的ResNet- 50和完全连接的层组成。CNN用于将给定图像i的特征表示f（x）Rd计算到d维向量空间中。网络输入是由以下样本组成的三元组：行人图像包含了丰富的信息-特征，如人的身份、外貌和活动。重要的是，隐私增强的数据集可以用于数据分析，并且对于给定的隐私保护算法的权衡应该使得隐私增强的数据集可以提供所需的效用，同时提供最佳的隐私保护水平。数据集的效用是特定于给定应用程序的。例如，为了分析人行横道中的行人行为，使用数据集中的视频或图像序列来确定使用人行横道的总人数及其步行模式。步行模式（例如站立、步行、跑步和慢跑）通过定位人体中的关键点来预测关键点是图像中人的关键目标部分的空间点。在现有文献中，数据集的效用仅通过计数和检测行人来计算，这仅适用于行人数据集的非常在这项工作中，关键点检测器与行人检测器一起使用，以评估行人分析应用程序的通用实用度量。效用度量定义为：1UM=（F1pd+F1kd）（5）2org）4375k = 2 k = 10 k = 20 k = 30 k = 40 k = 50 k = 90图4：不同内核的图像模糊（顶行）和像素化（底行）的效果。其中，F1pd和F1kd是用于足检测器和关键点检测器的F1分数。使用以下方法计算行人和关键点检测器的F1分数• 运行行人和关键点检测器，5.1.2视觉抽象方法在这项工作中，两种最先进的视觉抽象方法被用作基线方法：• 分割[40]方法将图像中的行人替换为其代表性的分割掩码。Mask-RCNN [51]用于生成分割掩码，并且使用视频补绘提取的背景渲染生成的掩码，以使用分割生成隐私增强图像。• 神经艺术[8]方法使用神经艺术算法[16]将行人图像呈现为不同的风格使用神经艺术算法改变图像风格，并在分割模板的引导下将行人从风格图像中分离出来。这些与背景一起渲染以生成最终图像。5.2.实验装置ResNet-50 [20]被用作Si-Net的主干。MARS数据集[67]用于通过随机选择三元组来每个图像的大小调整为120x40原始数据集（D（Drg））org）和隐私增强数据集px（高度x宽度），并使用Si-Net中的300个特征表示。使用的三重损失（α）的裕度为0.1，并且使用Adam优化器对学习率为1e-6。RCNN [17，51]和Keypoint• 通过比较原始数据集和隐私增强数据集的检测来计算F1分数。5. 评价本节首先介绍基线方法，然后介绍使用的数据集，最后介绍实验设置。5.1. 基线方法在本节中，介绍了传统的图像滤波方法，然后是视觉抽象方法。5.1.1图像滤波方法模糊化和像素化是两种广泛使用的图像滤波方法，它们使图像失真以提高隐私性。模糊环被广泛用于谷歌街景，例如修改人脸和其他敏感信息[15]。模糊滤波器将高斯核应用于图像[50]。高斯核利用相邻像素来修改图像的每个像素。相反，像素化方法将图像划分为像素块，其中计算内核图4显示了使用不同内核的模糊（顶部）和像素化（底部）图像RCNN [19]被用作行人检测器和关键点检测器。5.3. 数据集为了便于与最新技术[40，7]进行比较，并证明每帧数据集上单个和多个人的性能，我们在PeVID [28]，CMU [1]，MOT 16 [34]和i.c.sens [38]数据集上运行我们 的 框 架 。 PeVID和 CMU 数 据 集 每 帧 包 含 一 个 人PeVID数据集包含人们在白天和晚上的不同时间在室内和室外环境中执行各种动作的视频剪辑。CMU数据集是为运动捕捉收集的模拟环境数据。在CMU中，考虑步行、跑步和其他MOT 16数据集包含来自静态和动态相机场景的真实世界视频i.c.sens数据集是一个十字路口行人行走序列的集合。为了对数据集进行有效比较，本研究中仅使用来自MOT 16数据集的静态相机场景。6. 结果本节介绍我们的评估结果，并批判性地讨论我们的发现。图5显示了PeVID、CMU、MOT 16和4376隐私度量隐私度量0.400.350.3020.25240.20640.50.40.322642106300.54240.46 620.3416616200.540.42620.316 4206160.152060.250200.2301650200.230160.100.050.00模糊30像素化线框分割神经艺术16205030909500.10.0模糊像素化线框分割神经艺术30900.150900.0模糊像素化线框分割神经艺术90300.150900.0模糊50像素化线框分割神经艺术20903050900.0 0.2 0.4 0.6 0.81.0效用度量(a) PeVID0.0 0.2 0.4 0.6 0.81.0效用度量(b) CMU0.0 0.2 0.4 0.6 0.81.0效用度量(c) MOT 160.0 0.2 0.4 0.6 0.8 1.0效用度量(d) i.c.sens图5：模糊、像素化、分割、神经艺术和不同数据集的拟议框架的隐私和实用性指标权衡。对于模糊化和像素化，在一系列内核（k=2到90）上计算度量，以评估隐私和效用之间的关系。所提出的线框方法通过在给定的效用水平方法F1pdPeVIDF1kdUMF1pdCMUF1kdUMMOT 16F1pdF 1kdUMF1pdi.c.sensF1kdUM分割0.600.040.320.020.010.0150.660.010.330.020.010.015神经艺术0.890.900.890.830.770.80.240.130.180.250.220.23线框0.600.660.630.620.710.660.550.350.450.380.280.33模糊0.610.460.530.730.530.630.670.320.490.540.040.29像素化0.240.260.250.560.600.580.560.280.420.320.230.27表1：针对PeVID、CMU、MOT 16和i.c.sens数据集使用多种方法的行人检测（F1pd）、关键点估计（F1kd）、F1分数和效用度量（UM）值i.c.sens数据集。对于传统的模糊和像素化方法，隐私和效用度量是在一定范围的内核（从2到90）上计算的。对于像素化和模糊，效用随着隐私的增加而在整个范围内迅速下降，并且当隐私大于0.3时，效用几乎为零。这证实了像素化和模糊都有严重的隐私到实用性权衡，而不管内核如何。可以观察到，所提出的框架（标记为线框）通过在隐私和效用之间提供最佳折衷而不妥协任何方面来优于对于单人每帧数据集（PeVID和CMU），与所有其他模型（包括传统的模糊和像素化）相比，所提出的方法能够在给定的效用下实现更高的隐私。所提出的方法能够用线框表示来替换行人，这不仅去除了所有隐私属性，而且还呈现了身体形状的变化，从而与其他方法相比具有更高的隐私性对于每帧多个人的数据集，可以观察到所提出的方法在隐私方面总体上实现了比其他方法更好的效用虽然所提出的方法能够实现良好的隐私-效用权衡，但是在少数情况下，与传统的方法相比，它仍然提供较低的隐私分割和神经艺术方法的多人每帧数据集。对于多人数据集，如图6所示，部分遮挡和完全遮挡导致行人表示的重叠，这导致相似性得分降低，从而导致与线框方法相比更高的隐私我们还可以注意到，由于遮挡，实用性指标远低于线框方法。此外，我们还注意到，如果存在遮挡，线框方法会忽略行人，这导致实用性度量较低。图6显示了一些针对不同数据集使用不同方法的隐私增强图像。如图6所示，分割方法提供了行人的浅层表示，而神经艺术方法表示通过风格转换隐藏了行人。与分割和神经艺术相比，所提出的方法使用线框提供了更好的个体表示。表1给出了行人和关键点检测器F1分数。为了比较所提出的方法的有效性，选择模糊和像素化的核以匹配线框效用度量值。对于像素化和模糊化，为PeVID、CMU、MOT 16和i.c.sense数据集选择的核值分别为（36，60，46，46）和（4，5，4，4）。与其他冰毒相比隐私度量隐私度量4377原始分割神经艺术线框图6：拟议（线框）和基线方法（分割和神经艺术）的定性结果因此，该方法能够获得更好的关键点检测器性能。这是由于线框模型的能力，以代表构成以及一个人的形状.对于分割和神经艺术方法，关键点和行人检测器在每帧多人数据集中的性能显着这可能是由于神经艺术基础表示中的分割和遮挡的无效表示然而，所提出的线框方法能够实现与传统方法相当的性能，同时还提供增强的隐私度量。7. 结论和未来工作本文提出了一种隐私保护框架，该框架生成给定视频或图像序列的隐私增强版本，以实现隐私保护的行人感知或分析。与现有的视觉抽象隐私保护方法相比，行人使用定量线框来表示，以提高隐私，同时保持行人的姿势和形状。引入了两个通用的度量标准，分别用于评估给定视频或图像序列的隐私性和实用性。所提出的框架是能够优于现有的最先进的视觉抽象方法，提供viding一个改进的隐私相同的效用。结果表明，所提出的框架能够实现与现有的现有技术方法相比，通过提高隐私增强数据集的效用，然而，拟议的框架仍然有其局限性，在多大程度上可以增强隐私，以及如何与其他方法相比。此外，建议的隐私度量不考虑步态参数，这可能会被利用来损害个人未来的工作包括利用SMPL形状参数来提高线框表示的隐私度量线框方法支持行人身体和形状的动态变化，这使我们能够研究步态模式，同时保护隐私以及身体形状变化。实验比较基于主观性和相似性度量的隐私评估方法也是有趣的确认这项工作是在爱尔兰科学基金会数字增强现实研究培训中心（d-real）的资助下进行的。18/CRT/6224。引用[1] 卡内基梅隆大学图形实验室运动捕捉数据库。MOT_16CMUi.c.sensPeVID4378[2] 本·本福德和我里德实时监控视频中的稳定多目标跟踪。CVPR 2011，第3457[3] M. Bertalmio，A.L. Bertozzi和G.萨皮罗纳维尔斯托克斯，流体动力学，图像和视频修复。在2001年IEEE计算机协会计算机视觉和模式识别会议上。 CVPR 2001，第1卷，第I-I页，2001年。[4] Federica Bogo、Angjoo Kanazawa、Christoph Lassner、Peter Gehler、Javier Romero和Michael J Black。保持它smpl：由单一影像自动估计三维人体位姿与形状。欧洲计算机视觉会议，第561-578页。施普林格，2016年。[5] Pe'terBorosa' n，MingJin，DougDeCarlo，YotamGingold和Andrew Nealen。基于零件的形状建模和变形的自动装配. ACM Transactions on Graphics（TOG），31（6）：1[6] 迈克尔·博伊尔克里斯托弗·爱德华兹索尔·格林伯格过滤视频对意识和隐私的影响。在Proceedings of the 2000ACM conference on Computer supported cooperative work中，第1-10页[7] KarlaBrki c'，Tomisl a vHrk ac'和ZoranKa l a fati c'。使用基于计算机视觉的去识别流水线保护视频序列中的人类隐私。专家系统与应用，87：41[8] Karla Brkic，Ivan Sikiric，Tomislav Hrkac，and ZoranKalafatic.我认识那个人：图像中人物的生成性全身和面部去识别。在2017年IEEE计算机视觉和模式识别研讨会（CVPRW）上，第1319-1328页[9] 塔佳娜·查达·奥瓦、皮埃雷·巴奎、圣·埃芬·布奎、安德里·马克赛、西霍·何塞、路易斯·莱特里、帕斯卡·福阿、吕克·范·古尔和弗朗索瓦·弗勒雷。wildtrack多摄像头摄像头数据集。ArXiv，abs/1707.09299，2017年。[10] Yin Chen，Gang Dang，Zhi-Quan Cheng，and Kai Xu.使用两个kinect快速捕捉个性化头像。制造系统杂志，33（1）：233[11] 千实健太、新田直子、伊藤吉道、马场口升。Prisurv：使用自适应视觉抽象的隐私保护视频监控系统。在多媒体建模国际会议上，第144Springer，2008.[12] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。2009年IEEE计算机视觉和模式识别会议，第248-255页[13] 弗雷德里克·杜福和图拉吉·伊卜拉希米视频监控系统中隐私保护的加扰技术。IEEE Transactions on Circuitsand Systems for Video Technology，18（8）：1168[14] 辛西娅·德沃克。差异隐私。ICALP史普林格出版社[15] Andrea Frome、German Cheung、Ahmad Abdulkader、Marco Zennaro 、 Bo Wu 、 Alessandro Bissaughter 、Hartwig Adam、Hartmut Neven和Luc Vincent。谷歌街景中的大规模隐私保护。2009年IEEE第12届国际计算机视觉会议，第2373-2380页。IEEE，2009年。[16] 莱昂·盖提斯，亚历山大·埃克，马蒂亚斯·贝斯格。艺术风格的神经算法Journal of Vision，16（12）：326[17] Ross Girshick，Jeff Donahue，Trevor Darrell和JitendraMalik。丰富的特征层次结构，用于精确的对象检测和语 义 分 割 。 在 Proceedings of the IEEE conference oncomputer vision and pattern recognition，pages 580[18] 茱尔斯哈维，亚当。拉普拉斯Exposing.ai，2021年。[19] KaimingHe ， GeorgiaGkioxari ， PiotrDolla'r ，andRossGir-shick.面具R-CNN。在IEEE计算机视觉国际会议论文集，第2961-2969页[20] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页[21] Angjoo Kanazawa、Michael J Black、David W Jacobs和Jitendra Malik。端到端恢复人体形状和姿势。在IEEE计算机视觉和模式识别会议论文集，第7122-7131页[22] Angjoo Kanazawa、Jason Y Zhang、Panna Felsen和Jiten-dra Malik 。 从 视 频 中 学 习 三 维 人 体 动 力 学 。 在IEEE/CVF计算机视觉和模式识别会议论文集，第5614-5623页[23] Dahun Kim，Sanghyun Woo，Joon-Young Lee，and InSo Kweon.深度视频修复。在IEEE/CVF计算机视觉和模式识别会议论文集，第5792-5801页[24] 金秀和南济公园。一种用于医疗视频监控系统隐私入侵防护的人脸图像虚拟化机制。对称，12（6）：891，2020。[25] 北原伊樽，小暮清，和下田纪宏保护隐私的隐形视觉。第17届模式识别国际会议论文集，2004年。2004年国际公民权利和政治权利委员会。第4卷，第404-407页。IEEE，2004年。[26] Koung-Suk Ko、Woo-Jin Ahn、Geon-Hee Kim、Myo-Taeg Lim、Tae-Koo Kang和Dong-Sung Pae。利用三重丢失的多目标跟踪的再识别。2021年国际信息网络会议（ICOIN），第525-527页[27] Muhammed Kocabas 、 Nikos Athanasiou 和 Michael JBlack。Vibe：用于人体姿势和形状估计的视频推理。在IEEE/CVF计算机视觉和模式识别会议论文集，第5253-5263页[28] 帕维尔·科舒诺夫和图拉吉·易卜拉欣。Pevid：隐私评估视频数据集。在数字图像处理的应用XXXVI，卷8856，页88561 S中。国际光学与光子学会，2013年。[29] AnilKunchala，Me' lanieBouroche，Lorraine基于smpl的三维行人姿态预测。2021年第16届IEEE人脸和手势识别国际会议（FG 2021），第1- 8页[30] 廖文静，何建平，朱善英，陈彩莲，关新平关于数据发布的数据隐私和实用性之间的权衡2018年IEEE第24届国际4379并行和分布式系统会议（ICPADS），第779-786页[31] 林玉田，郑良，郑哲东，吴宇，胡智兰，严成刚，杨毅.通过属性和身份学习提高人的再识别。模式识别，2019年。[32] Matthew Loper 、 Naureen Mahmood 、 Javier Romero 、Gerard Pons-Moll和Michael J Black。Smpl：一个有皮肤的多人线性模型。ACM图形交易（TOG），34（6）：1[33] Yasuyuki Matsushita ， Eyal Ofek ， Weina Ge ， XiaoouTang，and Heung-Yeung Shum.全帧视频稳定与运动修复。IEEE Transactions on Pattern Analysis and MachineIntelligence，28（7）：1150[34] 安东·米兰，劳拉·里尔-塔克斯，伊恩·里德，斯特凡诺·罗斯和康拉德·辛德勒。Mot16：多目标跟踪的基准测试。arXiv预印本arXiv：1603.00831，2016。[35] 卡门·诺伊斯塔德和索尔·格林伯格。平衡隐私和意识的情境感知家庭媒体空间的设计。普适计算国际会议，第297-314页。施普林格，2003年。[36] Carman Neustaedter Saul Greenberg和Michael Boyle模糊过滤无法保护家庭视频会议的隐私ACM Transactions onComputer-Human Interaction（TOCHI），13（1）：1[37] Alasda 是 N e wson ， 还 有 Almansa ， MatthieuFrade t ，YannGousseau和PatrickPe'rez。复杂场景的视频修复SiamJournal on Imaging Sciences ， 7 （ 4 ） ： 1993-2019 ，2014。[38] 阮元I.c.sens多视图行人跟踪数据集，2020年7月。[39] 诉A. Ni Yutta和V.爸爸公共视频监控系统中的隐私保证框 架 在 2019 年 信 号 ， 电 路 和 系 统 国 际 研 讨 会（ISSCS），第1-4页[40] 特里布瓦内什·奥雷康迪马里奥·弗里茨和伯恩特·席勒将像素与隐私和实用性联系起来：图像中私人信息的自动编辑。2018年IEEE/CVF计算机视觉和模式识别会议，第8466-8475页[41] Jose'Ramo'nPadilla-Lo'pez，AlexandrosAndreChaaraoui，andFranciscoF lo' rez-R e vuelta.视 觉 保 护 方 法