深入理解音视频编解码：H.264、I帧、PTS/DTS与图像表示

"音视频编解码相关的基础知识点包括RGB与YUV颜色空间转换、预测编码技术、视频帧类型（I帧、P帧、B帧）、PTS与DTS时间戳、GOP（Group of Pictures）结构、以及编码标准如H.264和H.265。此外，还涉及IDR帧与I帧的关系、SPS与PPS参数集以及宏块的概念。" 视频编解码是将视频文件从一种格式转换为另一种格式的过程，涉及到的关键标准包括国际电联的H.261、H.263、H.264以及运动静止图像专家组的MPEG系列，如MPEG1、MPEG2、MPEG4AVC。H.264，也称为MPEG-4AVC，是两者合作制定的标准，它的后续版本是H.265，即高效率视频编码（HEVC），提供了更高的压缩效率。 RGB是颜色模型的一种，代表红色、绿色和蓝色三种原色，它们的组合可以形成几乎所有的颜色。在手机屏幕中，每个像素由红、绿、蓝三个子像素构成。RGB颜色可以以浮点或整数形式表示，如Android中的RGB_565和RGBA_8888格式。例如，一个1280x720分辨率的RGBA_8888图像在内存中占用3.516MB，这就需要压缩技术如JPEG、PNG、WEBP来减少存储和传输的需求。 预测编码是视频编码中的核心技术，分为帧内预测和帧间预测。帧内预测仅依赖于同一帧内的其他像素，常用于I帧；帧间预测则利用前后帧的信息，适用于P帧和B帧。I帧是关键帧，包含了完整的图像信息；P帧基于前一帧预测，而B帧则同时依赖前一帧和后一帧，以节省带宽。 PTS（Presentation Time Stamp）和DTS（Decoding Time Stamp）是视频流中的时间戳，用于正确同步解码和播放。GOP序列是由I帧、P帧、B帧组成的结构，控制了帧的编码顺序和解码依赖关系。 H.264码流包含多个元素，如IDR帧（即时解码刷新帧，类似I帧但强制解码器重新初始化）和非IDR I帧。SPS（Sequence Parameter Set）和PPS（Picture Parameter Set）参数集存储了编码的全局信息，如画面尺寸、编码模式等。宏块是编码的基本单位，通常包含16x16像素的区域，可以进一步分割处理。 这些基础知识构成了音视频编解码的基础，对于理解视频编码的原理、优化流媒体传输和存储、以及开发相关应用至关重要。