AutoLoc：弱监督时间动作定位新方法，外-内-对比技术

"本文主要探讨了在未修剪的视频中进行时间动作定位（TAL）的方法，特别是提出了一种名为AutoLoc的弱监督框架，该框架利用外-内-对比（OIC）损失来预测每个动作实例的时间边界，从而提高了定位精度。在弱监督的情况下，仅使用视频级别的注释进行训练，解决了全面注释的高成本问题。文章指出，AutoLoc在IoU阈值为0.5时的mAP提高了13.7%到27.3%，并且其性能接近某些完全监督方法。关键词包括时间动作定位、弱监督、外-内-对比、类激活序列。" 文章详细内容: 时间动作定位（TAL）在视频分析中扮演着关键角色，尤其在未修剪的视频中，它能够帮助识别和定位特定时间段内的动作。然而，获取片段级别的精确动作注释既昂贵又耗时。因此，研究者们转向了弱监督学习，旨在在只有视频级别标签（即视频包含哪些动作，但不提供具体时间信息）的情况下进行TAL。 AutoLoc是本文提出的一种新方法，它直接预测每个动作实例的开始和结束时间，而非仅仅生成类激活序列（CAS）。CAS通常是用于表示视频中动作活跃程度的序列，但它在动作定位上的表现受限，因为它需要通过阈值化来确定动作边界，这可能导致不准确的定位。AutoLoc通过引入OIC损失，自动发现训练边界预测所需的段级监督，从而提高了定位的准确性。 OIC损失函数的核心思想在于，通过比较视频内部不同时间点的动作相似性和外部（即不同视频）之间的差异性，来指导模型学习区分动作边界。这种方法促进了模型对动作开始和结束时间的精确估计，即使在缺乏详细注释的情况下。 实验结果显示，AutoLoc在多个标准评估指标上表现出显著的提升。在IoU阈值为0.5时，mAP（平均精度）从7.4%提高到27.3%，这表明弱监督模型在动作定位任务上可以达到与完全监督方法相当的效果。这一进展对于扩展TAL的应用范围，尤其是在那些难以获取大量注释数据的新领域，具有重要意义。 AutoLoc是一种创新的弱监督TAL方法，它通过外-内-对比技术优化时间边界预测，解决了注释成本高的问题，并且在性能上与强监督方法相媲美。未来的研究可能进一步探索如何在更广泛的场景中应用这种技术，以及如何提高弱监督学习在其他视频分析任务中的效能。