H264在RTP中的封装格式详解

"本文档详细描述了H.264视频编码在RTP（实时传输协议）中的封装格式，适用于从低比特率的对话应用到高比特率的视频点播等多种场景。" 在互联网多媒体通信中，H.264是一种高效、先进的视频压缩标准，而RTP则是一种用于实时数据传输的协议。将H.264编码的视频流通过RTP进行封装，可以确保数据在网络中高效、可靠地传输。 H.264编解码器（ITU-T推荐H.264和ISO/IEC国际标准14496-10）通过网络抽象层单元（NALUs）来处理视频信息。每个NALU包含了编码后的视频数据块，这些数据块可以在RTP包的有效载荷中进行打包。NALUs的结构使得编码器能够适应不同网络条件，实现灵活的编码策略。 RTP封装格式主要包括以下几个部分： 1. RTP头：RTP头包含版本信息、标志位、时间戳、序列号、同步源（SSRC）标识符等，用于同步和错误检测。时间戳反映了第一个NALU的编码时间，序列号用于检测丢失和乱序的包。 2. RTP有效载荷头：通常包含一个字节的起始码（如0x00 0x00 0x00 0x01或0x00 0x00 0x01），用于指示NALU的开始。此外，可能还包含NALU类型信息，这有助于接收端解析和处理视频数据。 3. NALU分割：如果一个NALU太大无法放入单个RTP包，它可以被分割成多个RTP包，每个包携带一部分NALU数据。这种情况下，需要在RTP头或有效载荷头中附加信息来指示NALU的分割状态。 4. STAP（Single-Time Auxiliary Payload）和MTAP（Multi-Time Auxiliary Payload）：这些格式允许在一个RTP包中携带多个NALUs，节省了传输开销。STAP用于携带同一时间片内的多个NALUs，而MTAP则支持跨时间片的NALUs组合。 5. FU（Fragmentation Unit）：当NALU太大，既不适合单独发送也不适合STAP或MTAP时，可以将其分解为FU。FU头包含NALU类型和分片标识，以便接收端重组原始NALU。 6. 序列和丢包恢复：RTP序列号用于检测和恢复丢失的包。结合RTCP（RTP控制协议）反馈，接收端可以请求重传丢失的包，或者使用前向误差校正（FEC）数据来恢复视频流。 H264的RTP封装格式提供了在各种网络环境下高效传输视频数据的方法。它考虑了网络抖动、丢包以及带宽变化，确保了视频流的稳定性和质量。这份文档对理解H264视频在互联网环境中的传输机制具有重要的参考价值。