自正则化与多样性的全自动视频着色技术

"该文提出了一种全新的全自动视频着色方法，强调了自正则化和多样性的关键特性。该模型由彩色化网络和时空颜色细化网络构成，能够在没有标注数据的情况下，通过双边损失和时间损失来保持颜色的一致性和时间上的连贯性。此外，感知损失的多样性用于处理多模态解决方案空间，以产生自然的彩色结果。文章还对比了该方法与现有图像着色技术的差异，并展示了在经典黑白电影着色上的优秀表现。" 在视频彩色化领域，由于其固有的多模态性质和对全局时空一致性的要求，一直以来都是一个极具挑战性的问题。传统的图像和视频彩色化方法大多依赖于用户引导或特定的颜色传播算法，但这些方法往往需要大量的人工干预，或者在结果中产生不自然的色彩分布。 近年来，深度学习技术的发展为自动化图像和视频着色提供了新的可能。然而，现有的深度学习模型在处理视频时，常常无法有效地保持时间一致性，导致色彩在不同帧之间跳跃不连续。此外，基于分类的损失函数可能导致色彩的离散化伪影，降低了图像的真实感。 针对这些问题，文中提出的全自动视频着色方法引入了自正则化机制，通过双边损失来强制像素间在双边空间内的颜色一致性，以增强空间色彩连贯性。同时，时间损失则确保了相邻帧中对应像素的颜色一致性，从而增强了时间连贯性。这种方法在无监督的环境下进行训练，无需额外的标注数据。 更重要的是，为了解决彩色化过程中的多模态问题，即同一物体可能存在多种合理颜色，作者采用了感知损失的多样性策略。这使得模型能够探索并生成多种可能的、看起来自然的彩色结果，而非仅仅局限于单一的“正确”颜色。这种多样性不仅增加了结果的自然感，还避免了基于离散颜色采样的方法可能导致的伪影问题。 在实际应用中，如视觉理解和对象跟踪，高质量的视频彩色化能够提供更为丰富的视觉信息，提高这些任务的性能。通过对比实验，该方法被证明在全自动视频彩色化方面超越了当前的先进技术，尤其是在经典黑白电影的彩色化上，显示出了显著的优势。 该文提出的全自动视频着色方法结合了自正则化、多样性和时间一致性，为视频彩色化提供了一种高效且自然的解决方案，为后续的相关研究和应用开发奠定了坚实的基础。