无监督生成协作学习用于视频异常检测

协作学习

PDF格式 | 12.17MB | 更新于2025-01-16 | 138 浏览量 | 举报

... ... ... ...

14744

生成协作学习用于无监督视频异常检测

M.ZaighamZaheer1,2,3,5,ArifMahmood4,M.HarisKhan5,MattiaSegu3,FisherYu3,Seung-IkLee1,2*

电子与通信研究所1，科学与技术大学2，ETHZurich3，旁遮普信息技术大学4，穆罕默德∙本∙扎耶德人工智能大学5

摘要

弱监督和一类分类（OCC）设置下的视频异常检测已经得到

了很好的研究。然而，无监督视频异常检测方法相对较少，

可能是因为异常事件的发生频率较低且通常不明确，再加上

缺乏真实监督，可能会对学习算法的性能产生不利影响。这

个问题具有挑战性，但也具有回报，因为它可以完全消除获

取繁琐注释的成本，并使这些系统能够在没有人为干预的情

况下部署。为此，我们提出了一种新颖的无监督生成协作学

习（GCL）方法，用于视频异常检测，该方法利用了异常的

低频率，以在生成器和判别器之间建立交叉监督。本质上，

两个网络以合作方式进行训练，从而实现无监督学习。我们

在两个大规模视频异常检测数据集UCF

crime和ShanghaiTech上进行了大量实验。与现有的无监督

和OCC方法相比，我们的方法在性能上得到了一致的改进，

证实了其有效性。

1.引言

在现实世界中，基于学习的异常检测任务非常具有挑战性，

主要是因为此类事件的罕见发生。由于这些事件的无约束性

质，这个挑战进一步加剧。因此，获取足够的异常示例非常

困难，而且可以安全地假设永远不会收集到用于训练完全监

督模型所需的详尽集合。为了使学习变得可行，异常通常被

认为是与正常数据明显偏离的重要偏差。因此，一种流行的

异常检测方法是训练一个仅使用正常训练样本学习主导数据

表示的一类分类器[14,17,25,28,41,42,45,47,60,64,

66,72]

*通讯作者。**Zaigham在ETH

Zurich担任访问研究员和MBZUAI实习生期间完成了部分工作。

(b)一类分类(c)弱监督(d)无监督(a)完全监督

异常帧正常帧A异常视频

未标记的视频

图1.视频异常检测的不同训练模式：(a)

完全监督模式需要训练数据中的帧级正常/异常注释。(b)

一类分类（OCC）只需要正常训练数据。(c)

弱监督模式需要视频级别的正常/异常注释。(d)

无监督模式不需要训练数据注释。

(图1)

一类分类（OCC）方法的一个明显缺点是正常训练数据的有

限可用性，无法捕捉所有正常变化[9]。此外，OCC方法通

常不适用于视频监控中存在的具有多个类别和广泛动态情况

的复杂问题。在这种情况下，未见过的正常活动可能与学习

到的正常表示显著偏离，被预测为异常，导致误报[14,

67]。最近，弱监督异常检测方法变得越来越受欢迎[24,26,

34,46,56,63]，通过使用视频级别标签[50,65,67,69,

74]来减少获取手动细粒度注释的成本。具体而言，如果视

频的某些内容是异常的，则将其标记为异常，如果所有内容

都是正常的，则将其标记为正常，需要对整个视频进行手动

检查。尽管这种注释相对具有成本效益，但在许多实际应用

中仍然不切实际。有大量的视频数据，特别是原始镜头，可

以用于异常检测训练，而不需要注释成本。不幸的是，据我

们所知，几乎没有任何值得注意的尝试利用未标记的训练数

据进行视频异常检测。在这项工作中，我们探索了用于视频

异常检测的无监督模式，这显然比完全、弱或一类监督更具

挑战性(图1)。然而，由于假设最少，因此更有回报，将鼓励

开发新颖且更实用的算法。请注意，文献中的“无监督”一

词通常指的是假设所有正常训练数据的OCC方法[11,37,64,

66]。然而，它也表示不需要训练数据注释。

14745

将整体学习问题部分监督[19]。在处理视频的无监督异常检

测时，我们利用了视频相对于静态图像更丰富的信息和异常

事件相对于正常事件更少的事实[8,29,51,

67]，并试图以结构化的方式利用这种领域知识。为此，我

们提出了一种生成协作学习（GCL）方法，它以无标签视频

作为输入，并学习预测帧级异常分数预测作为输出。所提出

的GCL包括两个关键组件，一个生成器和一个判别器，它们

以相互合作的方式进行训练，以提高异常检测性能。生成器

不仅重构丰富可用的正常表示，还通过使用一种新颖的负学

习（NL）方法扭曲可能的高置信度异常表示。相反，判别器

估计实例为异常的概率。对于无监督异常检测，我们从生成

器创建伪标签，并使用这些标签来训练判别器。在下一步中

，我们从经过训练的判别器的版本创建伪标签，然后使用这

些标签来改进生成器。整个系统以交替的方式进行训练，在

每次迭代中，生成器和判别器都通过相互合作得到改进。贡

献。我们提出了一种能够在复杂的监控场景中定位异常事件

而不需要标记的训练数据的异常检测方法。据我们所知，我

们的方法是第一个在完全无监督模式下解决监控视频异常检

测的严格尝试。提出了一种新颖的生成协作学习（GCL）框

架，包括生成器、判别器和交叉监督。通过使用一种新颖的

负学习方法，强制生成器网络不重构异常。在两个大规模复

杂异常事件检测数据集UCF-Crime和ShanghaiTech上进行

了大量实验，结果显示我们的方法在基线和现有的无监督方

法以及OCC方法上都取得了可见的增益。

2.相关工作

异常检测是图像[7,16,39]和视频[49,50,64,67,

69]领域中广泛研究的问题。我们回顾了视频异常检测的不

同监督模式和相互学习策略。一类分类异常检测（OCC）。

OCC方法已经在包括医学诊断[58]、网络安全[11]、监控安

全系统[20,29,32,

64]和工业检测[5]等各种异常检测问题中得到应用。其中一

些方法使用手工设计的特征[3,31,38,55,

71]，而其他方法使用使用预训练模型提取的深度特征[42,

47]。随着生成模型的出现，许多方法

提出了多种方法来学习正常数据表示[12,35,36,43-45,61,

62,

64]。OCC方法在避免对异常测试输入进行良好重构方面具

有挑战性。这个问题归因于OCC方法在训练时只使用正常类

数据，可能会得到一个有效的分类器边界，该边界在包含正

常数据的同时排除异常数据[64]。为了解决这个限制，一些

研究人员最近提出了伪监督方法，其中使用正常训练数据生

成伪异常实例[1,

64]。弱监督异常检测。使用视频级二进制注释来训练能够

预测帧级异常分数的弱监督分类器[40,50,52,65,67,69,

74]。视频级标签以这样的方式提供，即正常标记的视频完

全正常，而异常标记的视频包含正常和异常内容，没有关于

时间位置的任何信息（图1）。无监督异常检测。使用无标

签训练数据的异常检测方法在文献中非常稀少。根据图1所

示的命名方式，文献中的大多数无监督方法实际上属于OCC

类别。例如，MVTecAD[5]基准确保训练数据只是正常的，

因此其评估协议是OCC，继承这个假设的方法本质上也是一

类分类器[6,

12]。与这些算法相反，我们提出的GCL方法能够从无标签

训练数据中学习，而不假设任何正常性。以视频形式的训练

数据符合关于异常检测的几个重要属性，例如，异常事件比

正常事件更少，事件通常在时间上保持一致。我们从这些线

索中得到启发，以完全无监督的方式进行训练。教师学生网

络。我们提出的GCL与知识蒸馏的教师学生（TS）框架有一

些相似之处[18]。GCL与TS框架的不同之处主要在于其目标

不是知识蒸馏。此外，我们的生成器生成带有噪声的标签，

而我们的判别器对噪声相对鲁棒，清除这些标签，而在TS框

架中不是这种情况。相互学习（ML）。GCL框架与ML算法[

73]也有一些相似之处。然而，GCL的两个组成部分学习不

同类型的信息，并通过交叉监督进行训练，而ML算法使用

的是监督学习。此外，在GCL中，每个网络的输出通过阈值

处理产生伪标签。在ML中，队伍学习使每个成员的分布相

匹配，而在GCL中，每个成员试图从其他成员生成的伪标签

中学习。使用无标签训练数据的无监督模式下的队伍相互学

习尚未被探索。

...

…

14746

特

征

提

取

器

判别器（D）

生成器（G）

输入批次

无标签视频

生成器的伪标

签

判别器的伪标签

G损失

D损失

训练数据组织

V1

V2

Vn

生成协作学习框架

图2.

提出的生成协作学习（GCL）算法引入了交叉监督，用于训练生成器G和判别器D。由G生成的伪标签用于计算D损失，同样地，由D生成的伪

标签用于计算G的损失。G和D都是从无标签训练数据中迭代训练以进行异常事件检测。

双向学习。这也是一种相关方法，其中两个语言翻译模型相

互教授

[15]。然而，外部监督是使用预训练的无条件语言专家模型

提供的，这些模型检查翻译的质量。这样，不同的模型有不

同的学习任务，而在我们提出的GCL方法中，学习任务是相

同的。合作学习的另一个变体[4]曾经被提出，用于在不同领

域中联合学习相同任务的多个模型。例如，通过在RGB图像

上训练一个模型和在深度图像上训练另一个模型来形成对象

识别，然后这两个模型之间进行通信以获得域不变的对象属

性。而在我们的GCL方法中，两个模型都在相同的领域中解

决相同的任务。

3.方法

我们提出的用于异常检测的生成协作学习方法（GCL）包括

特征提取器、生成器网络、判别器网络和两个伪标签生成器

。图2显示了整体架构。接下来将讨论每个组件。

3.1.训练数据组织

为了减少GCL的计算复杂度并减少训练时间，类似于现有的

SOTA[50,52,65,67,69,

74]，我们利用深度特征提取器将视频数据转换为紧凑特征

。所有输入视频都被排列为片段，然后提取这些片段的特征

。此外，这些特征被随机排列为批次。在每次迭代中，随机

选择一个批次用于训练GCL模型（图2）。形式上，给定一

个包含n个视频的训练数据集，每个视频被划分为不重叠的p

帧的片段S(i,j)，其中i∈[1,n]是视频索引，j∈[1,mi]是片段

索引

索引。段大小p在数据集的所有训练和测试视频中保持不变

。对于每个S(i,j)，使用特征提取器E(∙)计算特征向量f(i,j)∈R

d，其中f(i,j)=E(S(i,j))。在现有的弱监督异常检测方法中，

每个训练迭代都在一个或多个完整的视频上进行[50,

74]。最近，CLAWSNet

[67]提出了提取多个时间一致性特征批次，然后随机输入到

网络中。这样的配置可以最小化连续批次之间的相关性。在

这些现有方法中，保持批次或视频级别的时间顺序很重要。

然而，在提出的GCL方法中，我们随机排列输入特征的顺序

，从而消除了批次内部和批次间的相关性。

3.2.生成协作学习

我们提出的用于异常检测的生成协作学习（GCL）方法包括

一个生成器G，它是一个自编码器（AE），和一个判别器D

，它是一个全连接（FC）分类器。这两个模型以协作的方式

进行训练，而不使用任何数据注释。具体而言，我们既不使

用正常类别的注释，如单类分类（OCC）方法[12,37,

54]，也不使用弱监督异常检测系统[50,67,69,

74]中使用的二进制注释。如第1节所讨论的，使用自编码器

的直觉是这样的模型可以在一定程度上捕捉到整体主导的数

据趋势[12]。另一方面，作为判别器使用的FC分类网络在提

供有监督的、虽然有噪声的训练时被认为是高效的[67]。为

了进行训练，首先使用G创建的伪注释来训练D。然后，使

用D创建的伪注释来训练G。

剩余10页未读，继续阅读

cpongm

粉丝: 6

无监督生成协作学习用于视频异常检测

Anomaly-detection:使用无监督，半监督和监督机器学习方法进行异常检测

无监督学习模式检测

MATLAB实现无监督异常增量学习的DBN技术

智能运维中的异常检测：K-means与孤立森林算法应用

【深度学习异常检测】：数据挖掘中的异常检测与深度学习应用

YOLO视频检测训练集：迁移学习、半监督学习，提升模型性能

自编码器的原理与在特征学习和异常检测中的应用

探索MATLAB智能算法在异常检测中的应用：揭秘异常检测算法的奥秘

算法选择指南：揭秘监督学习与无监督学习的对决！

游戏领域的异常检测利器：作弊行为检测，保障游戏公平性

最新资源