鲁棒时域特征幅度学习提升视频异常检测

"本文介绍了一种新型的视频异常检测方法，称为鲁棒时域特征幅度学习（RTFM），主要用于解决在多实例学习（MIL）框架下，异常检测任务中的阳性实例识别问题。该方法强调了视频时间依赖性的关键作用，并通过膨胀卷积和自注意力机制增强对长时间和短时间间隔的依赖性的捕捉。RTFM显著提升了异常检测的性能，特别是在区分微妙异常和提高采样效率方面。实验显示，RTFM在多个基准数据集上优于现有先进方法。" 在视频异常检测领域，异常检测的目标是识别监控视频中发生异常事件的时间窗口。传统方法往往面临挑战，尤其是在异常事件与正常事件差异微小的情况下，容易受到占主导地位的正常事件的干扰。为了解决这个问题，文章提出了鲁棒时域特征幅度学习（RTFM）框架。RTFM是针对多实例学习（MIL）问题设计的，MIL常用于处理仅具有视频级标签（即整个视频是否包含异常）的情况。 RTFM的核心在于训练一个特征幅度学习函数，这个函数能够更准确地识别出阳性实例，即异常视频中的罕见异常片段。通过衡量异常视频和正常视频之间的特征幅度差异（Δ得分），RTFM能够在大量正常片段中突出异常片段。膨胀卷积和自注意力机制的结合，使得RTFM能够捕捉到视频中的长期和短期时间关系，这对于理解和区分异常行为至关重要。 实验部分，RTFM在四个基准数据集（上海科技、UCF-Crime、XD-Violence和UCSD-Peds）上展现了优越的性能，不仅在整体检测效果上超越了多种最先进的方法，还在细微异常区分和采样效率上有所提升。这意味着RTFM在保持高检测准确率的同时，减少了对大量正常样本的依赖，这对于实时监控系统来说具有很高的实用价值。 鲁棒时域特征幅度学习（RTFM）提供了一种创新的解决方案，通过增强对时间依赖性的建模，改进了异常检测的性能，尤其在处理与正常事件差异较小的异常事件时表现出色。这种方法对于推动视频异常检测技术的进步，以及在实际监控系统中的应用具有重要意义。