基于图卷积网络的人脸聚类方法

2298学习在亲和图上聚类人脸杨磊，1詹晓航，1陈大鹏，2严俊杰，2陈昌来，3林大华，11香港中文大学-商汤科技联合实验室2商汤科技集团有限公司、3南洋理工大学{yl016，zx017，dhlin}@ ie.cuhk.edu.hk，{chendapeng，yanjunjie}@ sensetime.com，ccloy@ntu.edu.sg摘要人脸识别近年来取得了显著的进展，其性能已经达到了很高的水平。将其带到下一个级别需要相当大的数据，这将涉及高昂的注释成本。因此，利用未标记的数据成为一个有吸引力的替代方案。最近的工作表明，聚类未标记的脸是一种很有前途的方法，往往会导致显着的性能增益。然而，如何有效地集群，特别是在大规模（即。百万级或以上）数据集，仍然是一个悬而未决的问题。一个关键的挑战在于聚类模式的复杂变化，这使得传统的聚类方法难以满足所需的准确性。这项工作探索了一种新的方法，即学习集群，而不是依赖于手工制作的标准。具体来说，我们提出了一个基于图卷积网络的框架，它结合了检测和分割模块来精确定位人脸簇。实验表明，我们的方法产生更准确的人脸聚类，这，作为一个结果，也导致进一步的per-perception增益在人脸识别。1. 介绍由于深度学习技术的进步，人脸识别的性能得到了显着提升[25，22，27，3，31]。然而，应该注意的是，现代人脸识别系统的高准确性在很大程度上依赖于大规模注释训练数据的可用性。虽然人们可以很容易地从互联网上收集大量的面部图像，但对它们进行注释是非常昂贵的。因此，利用未标记的数据，e.G.通过无监督或半监督学习，be-成为一个令人信服的选择，并吸引了学术界和工业界的大量兴趣[30，1]。利用未标记数据的一个自然想法是将它们聚类为“伪类”，这样它们就可以像标记数据一样最近的工作[30]表明，这种方法可以带来性能-先前方法我们的方法图1：展示现有方法与我们的方法之间差异的案例。蓝色顶点和橙色顶点分别表示两个类以前依赖于特定聚类策略的无监督方法可能无法处理具有复杂内部结构的橙色聚类。而我们的方法，通过学习的结构，能够评估不同的组合集群建议（绿框），并输出具有高分数的集群。曼斯收益。然而，这种方法的当前实现特别是，他们经常求助于无监督的方法，如K均值[19]，谱聚类[11]，层次聚类[32]和近似排序[1]，对未标记的人脸进行分组。这些方法依赖于简单的假设， K-means隐含地假设每个聚类中的样本围绕单个中心;谱聚类要求聚类大小相对平衡等。因此，它们缺乏处理复杂的聚类结构的能力，从而导致噪声聚类，特别是当应用于从真实世界环境中收集的大规模数据集时。这个问题严重限制了性能的提高。因此，为了有效地利用未标记的人脸数据，我们需要开发一种有效的聚类算法，能够处理频繁出现的复杂聚类结构。0.750.880.910.830.822299i=1最近在实践中。显然，依赖于简单的假设不会提供这种能力。在这项工作中，我们探索了一种根本不同的方法，即学习如何从数据中聚类。特别是，我们希望利用图卷积网络的强大表达能力来捕获人脸聚类中的常见模式，并利用它们来帮助划分未标记的数据。我们提出了一个基于图卷积网络的人脸聚类框架[15]。该框架采用类似于Mask R-CNN [10]的流水线，例如分段，即，生成建议，识别积极的建议，然后用面具提炼它们。这些步骤分别由基于超顶点的迭代建议生成器、图检测网络和图分割网络完成 应该注意的是，虽然我们受到Mask R-CNN的启发，但我们的框架仍然存在本质上的差异：前者在2D图像网格上操作，而后者在具有任意结构的亲和图上操作。如图1所示，依靠基于图卷积网络而不是一些简单的假设学习的结构模式，我们的框架能够处理具有复杂结构的集群。该方法显著提高了大规模人脸数据的聚类精度，达到了85的F分数。66，这不仅优于通过无监督聚类方法获得的最佳结果（F分数68。39），但也高于最新的技术水平[30]（F-得分75。01）。使用该聚类框架处理未标记的数据，我们将MegaFace上的人脸识别模型的性能从60。29到7864，这非常接近通过对所有数据进行监督学习获得的性能（80。75）。本文的主要贡献在于三个方面：（1）首次尝试了自顶向下的有监督人脸聚类方法。(2)这是第一个将聚类作为基于图卷积网络的检测和分割管道的工作。(3)我们的方法在大规模人脸聚类中达到了最先进的性能，并且在应用发现的聚类时，提高了人脸识别模型接近监督结果。2. 相关工作人脸聚类是机器学习中的一项基本任务。Jain等人[12]对经典聚类方法进行了综述。大多数现有的聚类方法是不完善的。人脸聚类提供了一种利用大量未标记数据的方法这方面的研究仍处于初期阶段。如何在大规模数据上对人脸进行聚类的问题仍然悬而未决。早期的作品使用手工制作的功能和经典的聚类算法。例如，Hoet al.[11]使用梯度方法利用学习的特征。[13]以无监督的方式进行自上而下的聚类。Finley等人[5]提出了一种自底向上的基于SVM的监督方法Otto等人[1]使用了基于CNN的人脸模型中的深度特征，并提出了一种近似的排序度量来将图像对链接为聚类。Lin等[18]设计了一种基于线性SVM的相似性度量，该SVM是在数据样本的最近邻上训练的Shi等人[23]提出了条件成对聚类，将聚类公式化为条件随机场，通过成对相似性对人脸进行聚类。Lin等[17]提出通过引入邻域的最小覆盖球来利用深度特征的局部结构以改进相似性度量。Zhan等[30]训练了一个MLP分类器来聚合信息，从而发现更强大的联系，然后通过寻找连接的组件来获得聚类。虽然使用了深度特征，但这些工作主要集中在设计新的相似性度量，并且仍然依赖于无监督的方法来执行聚类。与上述所有工作不同，我们的方法学习如何以自顶向下的方式进行聚类，基于检测分割范例。这允许模型处理具有复杂结构的集群。图卷积网络（GCN）[15]将CNN扩展到处理图结构数据。已有的工作已经显示出GCN的优点，如对复杂图形模式的强大建模能力。在各种任务中，GCN的使用导致了相当大的性能改进[15，9，26，29]。例如，Kipfet al. [15]将GCN应用于半监督分类。Hamilton等人[9]杠杆老化的GCN学习特征表示。Berg等人[26]表明GCN在链接预测方面优于其他方法Yan等人[29]采用GCN对人体关节进行建模，以进行基于机器人的动作识别。在本文中，我们采用GCN作为基本的机器来捕获簇模式的亲和图。据我们所知，这是第一个使用GCN学习如何以监督方式进行聚类的工作3. 方法在大规模人脸聚类中，聚类模式的复杂变化成为进一步提高性能的主要挑战。为了应对这一挑战，我们探索了一种改进的方法，即基于图卷积网络学习聚类模式具体来说，我们formul- late这作为一个联合检测和分割问题的亲和图。给定一个人脸数据集，我们用训练好的CNN提取每个人脸图像的特征，形成一组特征和像素强度作为面部特征。Cui等[2]使用LBPD={fi}N其中fi是d维向量。 骗-功能. 这两种方法都采用谱聚类。最近构造的亲和图，我们把每个样本看作一个顶点2300i=1集群生成方案GCN-DGCN-S去重叠随机种子…111100图形转换图2：用于聚类的图检测和分割概述。并使用余弦相似性为每个样本找到K个最近的邻居。通过连接邻居，我们得到整个数据集的亲和图G=（V，E）。Alterna-实际上，亲和度图G也可以由对称表示度量邻接矩阵A∈RN×N，其中元素ai，j一种策略可以大大降低计算成本，因为以这种方式，只有有限数量的集群candi，日期需要评估。聚类建议Pi是亲和图G的子图.所有提案组成集合P={P }Np。 生成群集提案ii=1如果两个顶点相连，则为fi和fj仿射图是一个具有数百万个顶点的大规模图 从这样的图中，我们希望找到具有以下性质的聚类：（1）不同的聚类包含具有不同标签的图像;以及（2）一个簇中的图像具有相同的标签。3.1. 框架概述如图2所示，我们的集群框架由三个模块组成，即提案生成器、GCN-D和GCN-S。第一个模块生成聚类建议，即，从亲和度图中选择可能是聚类的子图对于所有的聚类建议，我们然后引入两个GCN模块，GCN-D和GCN-S，形成一个两阶段的过程，首先选择高质量的建议，然后通过去除其中的噪声来细化所选择的建议具体地，GCN-D执行聚类检测。以集群建议作为输入，它评估该建议构成期望集群的可能性。然后，GCN-S执行分割以细化所选建议。特别地，给定一个聚类，它估计每个顶点的噪声概率，并通过丢弃离群值来修剪聚类。根据这两个GCN的输出，我们可以有效地获得高质量的集群。3.2. 分组提案我们不是直接处理大型的亲和图它受到了对象检测中生成区域建议的方式的启发[7，6]。等基于超顶点，并且所有的超顶点形成集合S={Si}Ns。在本节中，我们首先介绍了超级顶点的生成，然后设计了一个算法来组成集群建议。超级顶点超顶点是一个包含少量彼此紧密相连的顶点的子图。因此，使用连通分量来表示超顶点是很自然的。然而，直接从图G导出的连通分量可能过大。为了保持每个超顶点内的高连通性，我们重新移动那些亲和度值低于阈值的边并且将超顶点的大小约束在max以下。Alg. 图1示出了产生超顶点集S的详细过程。通常，具有1M个顶点的亲和图可以被划分成50K个超级顶点，每个超级顶点平均包含20个顶点提案生成。与期望的簇相比，超顶点是一个保守的形式。虽然超顶点中的顶点很可能描述同一个人，但一个人的样本可能分布到多个超顶点中。受对象检测中的多尺度建议的启发[7，6]，我们设计了一种算法来生成多尺度聚类建议。作为Alg. 图2表明，我们在超顶点的顶部构造了一个更高级别的图，其中超顶点的中心是顶点，这些中心之间的有了这个高级图，我们可以应用Alg。1并获得更大尺寸的提案。通过迭代地应用这个构造I次，我们得到了具有多个尺度的建议。亲和度图IOU…IOP图形转换池FC…2301′′′我^我我L我L′算法1超顶点生成输入：亲和图A，边缘阈值e τ，最大尺寸s max，阈值步长ε τ。输出：超顶点S1：S=0，R=0第二章： C，R= FIND SUPERV ERTICES（A，eτ，smax）第三章： S=S CIoP反映了纯度，即。P中顶点的比例大多数标记为l（P）。GCN-D的设计我们假设高质量的团簇通常在顶点之间表现出一定的结构模式。我们引入一个GCN来识别这样的集群。具体-通常，给定聚类建议Pi，GCN采用与其顶点相关联的视觉特征（表示为F0（Pi）），4：当R=阿利什多作为输入的亲和子矩阵（表示为A（Pi）），以及预-5：eτ=eτ+ ε6：C，R= FINDS UPERV ERTICES（AR，eτ，smax）7：S=S C8：结束时9：返回S记录IoU和IoP分数。GCN网络由L层组成，每层的计算可以公式化为：F1+ 1（P）=σ. D（P）−1（A（P）+I）F（P）W， （二）10：函数FINDSUPERVERTICES（A，eτ，smax）11：一种= PRUNEEDGE（A，eτ）其中DF（=jAij （Pi）是对角度矩阵。12：X= F和C连接C元件（A）13：C={c|c∈X，|C|

下载后可阅读完整内容，剩余1页未读，立即下载