H.264媒体流通过RTP包发送与接收解析

"H264媒体流通过RTP包的发送与接收涉及到RTP协议的基本结构、H.264编码技术以及网络抽象层（NAL）的概念。RTP（Real-time Transport Protocol）是一种用于传输实时数据的协议，常用于视频会议、流媒体等应用。在H.264编码的视频流中，RTP被用来封装和传输编码后的数据包。" RTP发送原理： RTP包头包含关键信息以确保数据的正确传输和同步。包头的结构如图所示，包括版本（V）、保留位（P）、扩展标志（X）、载荷类型（PT）、序列号、时间戳、同步源标识符（SSRC）以及可能的贡献源（CSRC）标识符。 1. 版本（V）：通常设置为2，表示使用RTP协议的第二版。 2. 保留位（P）：用于未来扩展，通常置0。 3. 扩展标志（X）：如果设置，表示包头存在扩展部分，本例未详细讨论。 4. 载荷类型（PT）：指示包内携带的数据类型，对于H.264，会有一个特定的PT值。 5. 序列号：用于检测包丢失和重新排序，每个RTP包都有一个递增的序列号。 6. 时间戳：记录了包内的数据生成的时间，用于同步接收端的解码。 7. 同步源标识符（SSRC）：唯一标识发送RTP数据的源，避免在网络中混淆。 8. 贡献源（CSRC）标识符：用于混合或组合来自多个源的数据，例如在多点会议中。 H.264 规范中的关键概念： 1. 视频编码层（VCL）：这是实际的视频编码过程，包含了编码器的信号处理，如转换、量化、运动补偿预测以及循环滤波器，目的是将原始视频信号压缩成可传输的格式。 2. 网络抽象层（NAL）：将VCL编码后的数据片段封装成NAL单元，这些单元适合通过网络传输，并可以适应面向包的多路复用环境。NAL单元前有一个字节，包含F、NRI和NAL单元类型字段。 - F：禁止零比特，应为0。 - NRI：nal_ref_idc，指示NAL单元的优先级，值为00表示该单元不用于帧间预测。 - Type：NAL单元的类型，不同的类型对应不同的编码数据，如I帧、P帧、B帧等。 在发送H.264媒体流时，编码器产生的VCL数据会被封装成NAL单元，然后每个NAL单元会被放入一个或多个RTP包中。接收端接收到RTP包后，会解析包头，根据SSRC找到对应的流，解码NAL单元并重建VCL数据，最终解码出原始视频帧。整个过程保证了视频数据的实时性和可靠性。