时空插值一致性训练：提升视频阴影检测的准确性

"本文介绍了一种在视频阴影检测中基于时空插值一致性训练（STICT）的方法，旨在解决大规模数据集注释难题和视频帧间的时间不一致性问题。通过结合未标记的视频帧与标记的图像进行训练，该方法提升了模型的泛化能力和时间一致性。文中提出的空间和时间ICT策略包含空间内插和时间内插，以及相应的约束条件，以优化像素分类任务并确保预测的一致性。此外，还设计了尺度感知网络以学习图像中的多尺度阴影知识，并引入尺度一致性约束减少不同尺度预测结果的差异。实验结果证明，即使没有视频标签，该方法在ViSha数据集和自注释数据集上也优于大多数现有的监督、半监督或无监督的图像/视频阴影检测方法。" 在计算机视觉领域，阴影检测是关键任务之一，广泛应用于各种场景，如目标识别、场景理解等。传统的阴影检测方法主要依赖于静态图像，但在视频处理中，由于连续帧之间的变化，直接应用静态图像的检测模型可能导致泛化误差和时间不一致。为了解决这些问题，本文提出的STICT框架创新性地引入时空插值一致性训练。 首先，STICT通过空间ICT在空间维度上扩展了训练数据，通过定义空间内插策略，将未标记的视频帧与标记图像相结合，增加了模型的训练样本，有助于模型学习更多的场景信息。其次，时间ICT则关注时间维度，利用时间内插来保持连续帧间的预测一致性，减少时间上的漂移现象。 为了处理不同尺度的阴影，文章还介绍了尺度感知网络（SANet），这是一种能够捕捉图像中不同尺度阴影特征的网络结构。通过尺度一致性约束，该网络能够在不同尺度上提供更稳定和一致的阴影检测结果。 实验部分，作者在ViSha数据集和自构建的标注数据集上验证了STICT的有效性，对比了其他先进方法，显示了其在无视频标签情况下的优越性能。这为未来无监督或弱监督的视频阴影检测提供了新的思路和解决方案。 这项工作为视频阴影检测提供了一个创新的训练策略，通过时空插值和尺度感知，提高了模型的泛化能力和时间一致性，对于推动计算机视觉领域的阴影检测研究具有重要意义。