基于JND的像素域多视点视频编码框架及其应用

本文主要探讨了像素域JND模型在视频编码中的应用，特别是针对多视点视频编码的优化策略。随着3D视频技术的兴起，传统的二维视频面临着视点增加导致的数据量和编码复杂度提升的问题。感知视频编码作为一种解决方法，着重于考虑人类视觉系统的特性，其中关键的概念就是最小可察觉失真（JND）。 JND模型是基于人类视觉系统生理学和心理学的研究，它揭示了人眼对图像变化的敏感程度，能够量化图像中的感知冗余。像素域JND模型和频率域JND模型是两种不同的JND表示方式，前者关注图像细节的局部变化，后者则关注频率域中信号的变化。 视频编码的基本知识涉及到了多种冗余类型：空间冗余（帧内的相似性）、时间冗余（帧间的连续性）、统计冗余（不同频域数据的相关性）以及心理冗余（人眼感知的限制）。为了利用这些冗余，编码过程通常包括以下几个步骤： 1. 编码帧：首先，视频被分割成互不重叠的块，这是减少空间冗余的基础。 2. DCT（离散余弦变换）：用于将像素数据转换到频率域，便于后续处理。 3. 像素JND滤波：在频率域应用JND模型，选择性地保留或丢弃那些人眼难以察觉的细节，减少编码数据。 4. 量化和 VLC（变长编码）：将处理过的数据进行量化，并采用变长编码来进一步压缩，减少统计冗余。 5. 帧内预测和参考帧缓存：利用时间冗余，通过帧内预测和存储先前帧的信息来提高编码效率。 6. 运动补偿和视差补偿：在多视点编码中，通过运动估计和视差估计技术，处理不同视点之间的帧间差异，减少数据传输。 7. 去块滤波器：编码完成后，使用去块滤波器对重构的图像进行平滑，恢复丢失的部分细节。 将JND模型融入视频编码框架，旨在通过模拟人眼的感知特性，更高效地去除感知冗余，从而实现多视点视频编码的优化，减少数据量和编码时间，推动3D视频技术的实际应用和发展。