无监督特征表示的实例相似性学习

语义相似性

深度神经网络

PDF格式 | 1.23MB | 更新于2025-01-16 | 153 浏览量 | 举报

10336

无监督特征表示的实例相似性学习

王紫薇

，

，王云松

，吴子怡

，陆继文

，

3 *

，周杰

，

清华

大学自动化系

2智能技术与系统国家重点实验室

北京国家信息科学技术研究中心

{wang-zw18，wangys16} @ mails.tsinghua.edu.cn; dazitu616@gmail.com;

{lujiwen，jzhou}@ tsinghua.edu.cn

摘要

在本文中，我们提出了一个实例相似性学习（

ISL

）

的无监督特征表示方法。传统的方法在特征空间中分

配具有高相似性的紧密实例对，这通常导致对于大邻

域的错误的成对关系，这是由于欧氏距离不能描述特

征流形上的真实语义相似性。相反，我们的方法以无

监督的方式挖掘特征流形，通过学习实例之间的语义

相似性，以获得有区别的表示。

聚类

实例特异性

分析

邻域发现

ISL

句子具体而言，我们采用生成式对抗网络（

GAN

）挖

掘底层的特征流形，其中生成的特征被应用作为代

理，以逐步探索的特征流形，以便获得实例之间的语

义相似性作为可靠的伪监督。大量的图像分类实验表

明，我们的方法相比，国家的最先进的方法的优越

性。该代码可在

https://github.com/ZiweiWangTHU/ISL.git

上获得。

介绍

深度神经网络已经在各种视觉应用中实现了最先进

的性能，例如人脸识别[7，45，34]，对象检测[41，

33，30]，图像检索[14，42，32]等。然而，大多数成

功的深度神经网络都是用强监督来训练的，这需要大

量标注数据，标注成本昂贵，并严格限制了深度模型

的部署。因此，期望仅用未标记的数据来训练深度神

经网络，同时实现与监督学习可比较的性能。

为了使深度神经网络能够从未标记的数据中学习，

无监督学习方法已经广泛应用。

通讯作者

图1.比较了聚类方法、实例特异性分析方法、邻域发现方法

和本文方法的不同之处。聚类方法由于复杂的类间边界而容

易出错，并且实例特异性分析方法由于将每个样本视为独立

类的模糊监督而具有弱区分性。同时，邻域发现方法将靠近

锚点的实例视为相似样本，无法在特征流形上描述大邻域中

的真实语义相似性。相反，我们挖掘的特征流形和学习的实

例到实例的关系，具有可靠的语义相似性，因此，信息的功

能，可以获得。

最近研究的。图1的第一列中所示的聚类方法 [24，

47，3]提供了伪标签来根据聚类索引训练网络，由于

复杂的类间边界，聚类索引容易出错。图1的第二列中

描绘的实例特异性分析方法[46，2，38 ， 16，21然

而，提供的监督是模糊的，导致弱的阶级歧视。同

时，由于辅助监督和目标任务之间的差异，使用自监

督学习设计文本前任务[8，51，44]具有与实例特异性

分析方法相同的局限性为了减轻聚类和实例特异性分

析的缺点，邻居-

10337

已经提出了Hood发现方法[22，54，23]，其通过挖掘

实例到实例的相关性，以类一致性最大化来逐步探索

局部邻居。它们只是将高相似性分配给在特征空间中

具有短欧氏距离的对。当表示位于在欧氏空间中连续

的隐式特征流形中时，欧氏距离仅揭示极小邻域中的

真实语义相似性，并且由于与特征流形上测量的距离

不一致而无法提供大邻域因此，特征区分度仍然是有

限的，如图1的第三列所示。

在本文中，我们提出了一个ISL方法来学习语义相

似性的无监督特征表示的实例。与传统方法不同，传

统方法根据特征空间中的Eu-clidean距离将高相似性分

配给紧密对，我们的方法以无监督的方式挖掘特征流

形并学习不同样本之间的语义相似性，以便在大邻域

中应用可靠的实例到实例关系来监督表示学习模型，

如图的最后一列所示

更具体地说，我们采用生成对抗网络（GAN）[13]

来挖掘底层特征人，图2描述了所提出方法的整体流

程。生成器产生代理特征，该代理特征基于所采样的

三元组来挖掘每个锚实例的阳性，并且鉴别器预测所

生成的代理在语义上与所挖掘的伪阳性样本相似的置

信度得分。由于Euclidean距离揭示了小邻域中的样本

相似性，因此将代理特征附近具有高置信度得分的实

例添加到给定锚点的正样本集为了探索更丰富的实例

关系并同时利用挖掘出的正样本集的语义，在GANs的

训练过程中，所生成的代理被强制为与负实例和挖掘

出的伪正在可靠的伪监督下，我们采用对比度损失与

硬正增强来学习区分性特征。在 CIFAR-10 [28] ，

CIFAR-100 [28]，SVHN [36]和ImageNet [6]图像分类

数据集上的广泛实验表明，所此外，我们的ISL可以与

最先进的无监督功能集成，以进一步提高性能。

相关工作

无监督学习引起了广泛的兴趣-- 这是因为它使模型

能够由大量未标记的数据进行训练，并节省了昂贵的

注释成本。现有的方法可以分为五类：集群，在-

立场特异性分析、邻域发现、自监督学习和生成模

型。

聚类：聚类方法[3，47，24，48]采用聚类索引作为

伪标签来训练端到端无监督学习模型。Caron等人[3]共

同学习网络参数和特征的簇分配，其中k均值被应用于

迭代数据分组。此外，Yanget al. [48]应用堆叠的自动

编码器[43]，以通过最小化图像重建损失来提供更强

的监督，而不管集群分配。然而，聚类方法是容易出

错的，因为它们不能表示高度复杂的类边界。

实例特异性分析：实例特异性分析[46，2，38，1，

16，21，4，50，18，49]方法将每个实例视为一个独

立的类，并且仅将样本及其转换的实例视为正对，假

设实例语义相似性是通过实例监督自动发现的。Wu等

[46]为了降低实例分类器的复杂度，提出了噪声对比

估计（NCE）来近似全softmax分布，并利用存储库来

存储实例特征。He等人[16]构建动态词典，促进大规

模对比学习。Chen等人[4]组合了具有额外的非线性变

换的各种数据增强技术，以学习有区别的非监督特

征。然而，在实例特异性分析方法中，学习的类边界

是模糊的，因为它们可能推开具有相同类标签的样本

并增加类内方差。

邻居发现：邻域发现方法[22，23，54]通过逐步挖

掘具有类一致性最大化的实例到实例的相关性来减轻

上述两种方法的缺点。Huang

等人

. [22]通过比较每个

实例与课程学习设置中的不同样本的余弦相似性，迭

代地扩大每个实例的邻域，Zhuang等[54]提出了一种

局部聚集的度量，其中鼓励相似的样本一起移动，反

之亦然。然而，现有的邻域发现方法简单地基于其特

征的欧氏距离来分配相似性以训练表示学习模型，这

未能证明大邻域的底层特征流形上的语义相似性。

自我监督学习：自监督学习方法[8，51，44，37，

39，25，35，11]通常设计文本前任务以提供具有人类

先验的手工制作的辅助监督，其中假设经由辅助监督

学习的语义可以被转移到下游任务，例如图像分类和

对象检测。Doersch等人[8]和Norooziet al. [37]在图像

上取样并设计拼图玩具，

10338

联系

我

们

联系

我们

我

阳性样本集扩增

实例抽样

特征提取

代理生成

正样本挖掘

采样

Concat

积极

正集合

积极

Concat

锚

采样

锚

Concat

代理

负集合

负

CNN

阴性样本集收缩

图2.实例相似性学习的流水线。对于给定的锚点，我们首先从挖掘的正集和负集中采样三元组，然后通过卷积神经网络获得特

征在连接锚点、正样本和负样本的如果代理在语义上类似于锚，则将代理的邻域中的实例从负集合中移除并添加到正集合，其

中语义相似性由鉴别器预测。

ZLES，其中网络被设计为预测两个补丁的相对位置。

Pathak等人[39]使用基于上下文的像素预测作为前提任

务，图像中的掩蔽内容应该由具有重构和对抗性损失

的上下文编码器生成。然而，自监督学习方法与无监

督学习中的实例特异性分析方法有着相同的局限性，

这是由于前提任务与下游应用之间存在很大的差异。

生成模型：生成模型[43，31，27，40，

20 ， 13 ， 10] ，包括 RBM [20] 、 AutoEncoders [27] 和

GAN [13]，最近已经被广泛研究，因为它能够通过在

没有监督的情况下重建输入样本Radford等人[40]和

Donahue等人[9]应用GANs来提取表示-

在特征空间中的相似性。然而，由于特征流形上的测

地线距离与欧氏距离不匹配，欧氏距离只能反映极小

邻域中的相似性，而不能反映大邻域中的真实语义相

似性.因此，具有不同语义的样本被视为相似对用于伪

监督来训练表示模型，反之亦然，这导致无监督学习

中的无信息特征。由于隐式特征流形在特征提取模型

的训练过程中会发生变化，因此我们采用GANs根据特

征分布动态挖掘特征

为了评估特征分布，我们对

在特征空间中的三元组

{

，

}

根据

在语义上与所生成的样本相似的示例。

我我我

得双曲余

切值.

本发明

公开了

一种复

合材料，

和

是特征

相似矩阵S

菲

放。由于重建任务和下游任务之间的差异，直接使用

生成模型学习表示会

方法

在本节中，我们首先介绍通过GANs进行的特征流

形挖掘，然后在挖掘的特征流形上进行实例语义相似

性学习。最后，我们提出了有效的训练目标与学习的

语义相似性，以获得歧视性的表示。

3.1.

特征流形挖掘

设X

，

...

，

且F

，

…

其中

，

分别

是

输入图像及其特征，其中，

是实例的数

量。

，

是相似矩阵，其中如果

和

语义

相

似（正），则第

行第

列的元素

sij

等于

，否则为零（负）

传统的无监督方法处理具有短欧几里德距离的配对

分别是第

个

三联体中的锚、阳性样本和阴性对于初

始化，

被设置为训练开始时的单位矩阵，这意味着

所有实例仅在语义上与

它们自己相似。代理生成器G

生成用于第i个三元组的代理特征

，其用于

通过挖掘给

定锚点的正性来探索特征流形，并

动态地修改相似性

矩阵。为了探索更丰富的实例关系并同时利用

所挖

掘的正样本集的语义，我们期望

代理特征

具有以下

两个性质：

(1)

代理特征应该在语义上与三元组中的负样本相

似。在训练过程开始时，三元组中的正样本与锚

点相同，其中不探索用于区分性表示学习的丰富

实例关系。为了扩大阳性样本集以提供更多信息

的监督，强制代理在语义上类似于阴性，使得主

动

剩余12页未读，继续阅读

cpongm

粉丝: 6

无监督特征表示的实例相似性学习

softened-similarity-learning:通过软化相似学习的非官方Pytorch实施无监督人员重新识别

Python-通过非参数实例Discrimination的无监督特征学习

SimMatch：融合语义与实例相似性的半监督学习新框架

密集自监督表示学习：解决相似性误导的方法

实例监督下的无监督嵌入学习：提升效率与准确性

聚簇分析详解：挖掘数据相似性的无监督学习

无监督学习：k-means聚类算法解析与实例

ReSim：区域相似性表示学习提升定位与分类性能

提升关系质量的自监督软对比学习：相似性对比估计(SCE)

联合实例与包表示转换的多实例学习算法

最新资源