开放世界半监督学习:OpenLDN新方法发现未知类别

0 下载量 175 浏览量 更新于2024-06-19 收藏 1.75MB PDF 举报
"OpenLDN: 开放世界半监督学习中利用相似性损失发现新类的方法" 在当前的深度学习领域,监督学习虽然取得了显著的进步,但依赖大量标注数据的局限性催生了半监督学习(SSL)的研究。SSL旨在通过利用少量标注数据与大量未标注数据来提升模型的性能。然而,传统SSL方法往往假设标记和未标记数据源于同一分布,这在开放世界设定下并不成立,因为未知的新类别可能存在于未标注数据中。 开放世界半监督学习(Open-world SSL)则试图克服这一局限,不仅要识别已知类别的样本,还要检测并聚类出属于未标记数据中的新类别。OpenLDN(Open-set Learning with Distance-basedNovel Class Discovery)是为此目的提出的一种新方法。它采用成对的相似性损失来挖掘新类别的信号。通过双层优化策略,OpenLDN利用标记数据的信息隐式地对新类样本进行聚类,同时保持对已知类别的识别。一旦新类别被发现,OpenLDN将开放世界SSL问题转化为标准SSL问题,进一步利用现有SSL技术提升性能。 OpenLDN的工作流程包括以下几个关键步骤: 1. 利用成对相似性损失函数:这种损失函数通过比较未标记样本间的相似性,帮助识别可能属于新类别的样本。 2. 双层优化规则:这一规则确保了新类别的发现与已知类别的识别之间的平衡,避免误判。 3. 新类别检测与聚类:通过分析未标记数据的相似性,OpenLDN能够检测到新类别并将其聚类,从而为后续处理提供结构化的信息。 4. 转换为标准SSL问题:在新类别被识别后,OpenLDN将剩余的未标注样本视为已知类别的一部分,应用标准的SSL技术进行进一步学习。 实验结果表明,OpenLDN在多个分类基准上超越了当前最先进的方法,证明了其在开放世界环境下的有效性。此外,该研究提供了开源代码(https://github.com/nayeemrizve/OpenLDN),促进社区对该方法的复现和扩展。 关键词:开放世界,半监督学习,新类,深度学习,相似性损失,聚类 这篇论文不仅介绍了OpenLDN算法的原理,还探讨了在现实世界场景中遇到的挑战,特别是在数据分布不一致的情况下的学习问题。通过对现有SSL方法的扩展,OpenLDN展示了在开放世界设置下处理新类别的潜力,为未来研究提供了新的方向。