UCSD研究：无偏数据集校准法RESOUND提升动作识别准确度

本文主要探讨了在计算机视觉特别是行动识别领域，数据集偏见问题的重要性及其对模型性能的影响。大型数据集如ImageNet和MSCOCO在推动CNN技术进步中发挥了关键作用，然而，这些数据集可能存在表示偏差，即模型可能在非真实世界的表示上表现良好，而忽视了实际应用场景中的多样性。这种现象被称为数据集校准不良。 为了应对这一问题，作者们提出了名为RE-SOUND（Representative Sample-based ON-balance Data Sampling）的程序，它旨在量化并最小化数据集的代表性偏见。RE-SOUND的两个版本，一是显式版本，通过有意识地采样现有数据集以创建新的平衡数据集；二是隐式版本，通过指导数据集的创建，如在研究中开发的Div-ing48，这个包含18,000多个潜水动作视频片段的精细分类数据集，旨在覆盖48个不同的潜水类别，减少静态表示的偏见。 文章指出，传统数据集中，静态表示（如物体、场景和人物）往往倾向于占据主导地位，而在视频分类任务中，尤其是涉及时间维度的活动识别，如区分"playing music inside"和比赛中的不同运动模式，动态表示（视频的时空布局变化）是必不可少的。RE-SOUND通过考虑这些动态特性，帮助纠正了当前数据集在静态偏见上的不足。 实验结果显示，RE-SOUND的有效应用显著降低了当前数据集的静态偏差，这对于提升动作识别模型的泛化能力和公平性至关重要。这表明在构建和评估数据集时，需要更深入地考虑各种表示层次，确保数据集不仅包含丰富的样本，而且在各个层次上都有均衡的代表性，从而促进计算机视觉技术的健康发展。