H.264视频的RTP负载格式与解封装策略

"包括附加的封装-jvm specification 8" 这篇文档描述了在处理H.264视频通过RTP（实时传输协议）进行传输时的负载格式，主要关注如何有效地封装和解封装NAL单元（Network Abstraction Layer Units），并处理传输过程中的延迟和抖动问题。RFC3984是这个标准的文档编号，它规定了互联网社区的标准协议，并欢迎讨论和改进建议。 在H.264编解码器中，视频数据被分割成多个NAL单元，这些单元可以在RTP包中单独或组合打包。文档分为几个部分，详细解释了两种不同的打包方式：非交错方式和交错方式。 7.1. 非交错方式： 在非交错方式下，接收者有一个接收缓冲区来补偿传输延迟和抖动。收到的RTP包按照接收顺序存储在缓冲区中。解封装后，如果是单个NAL单元包，直接送入解码器；如果是STAP-A（Single-Time Aggregation Packet - Aggregate）或FU-A（Fragment Unit - Aggregate）包，NAL单元则按顺序或分片重组后送入解码器。值得注意的是，如果解码器支持任意分片顺序，编码的图像片可以不受接收顺序限制地传送给解码器。 7.2. 交错方式： 交错方式的主要目的是重新排序NAL单元，从传输顺序调整到解码顺序。接收者需要一个接收缓冲区（这里称为解交错缓冲区）来处理传输延迟和抖动。在这种模式下，接收者首先将包存储在缓冲区，然后按照NAL单元的解码顺序进行处理。文档建议接收者应准备好应对传输抖动，可以使用单独的缓冲区或者将解交错和传输抖动补偿功能合并到同一缓冲区。 在处理RTP负载格式时，接收者需要考虑到传输延迟的影响，例如，在开始解码和回放之前需要适当增加缓冲区内容，以确保视频流的连续性和正确同步。整个过程涉及到了RTP头的使用、NAL单元的类型和处理策略，以及适应不同应用场景（如低带宽对话、交织传输的互联网视频流和高带宽点播视频）的灵活性。 这篇文档详细阐述了H.264视频在RTP环境下的封装和解封装机制，特别是如何处理传输过程中可能出现的问题，以保证视频数据的正确解码和流畅播放。