TS码流解析：PTS/DTS与视音频同步

"TS码流解析用于视频处理的学习资料" TS码流解析是数字视频广播领域中的一个重要概念，尤其对于那些从事视频编码、传输和解码的工程师来说，理解TS码流的工作原理至关重要。TS（Transport Stream，传输流）是MPEG-2标准的一部分，主要设计用于不可靠的传输环境，如无线广播和卫星通信。 TS码流由一系列固定长度的包（通常为188字节）组成，这些包包括一个包头和数据负载(payload)。每个TS包头包含了包同步字节、错误检测字段、PID(包标识符)以及其它控制信息。PID用于区分不同的服务，例如视频流、音频流或字幕流。这种结构使得TS流能够在一个通道中同时传输多个独立的节目，实现多路复用。 在TS码流中，原始的编码数据流（ES, Elementary Stream）首先被封装成PES包（Packetized Elementary Stream）。PES包包含了PTS（Presentation Time Stamp）和DTS（Decoding Time Stamp）两个时间戳，它们是解决视频和音频同步的关键。PTS表示数据应该在解码器显示的时间，而DTS则是数据从解码器缓冲区中取出的时间。I、P、B帧都有PTS和DTS，但由于B帧依赖于I或P帧，其PTS和DTS通常是相同的。 PES包可以进一步被复用成PS（Program Stream）或TS流。PS流通常用于存储，如DVD，其中每个PES包头包含了PTS、DTS和流识别码，用于区分不同类型的ES。在解码时，PS流通过解复用器还原为PES包，然后拆包器将PES包拆分成视频和音频的ES流，送入各自的解码器。 在TS流中，不同PES包可能共享相同的时间基准，也可能不同。TS流的复用机制允许在单个传输流中混合不同节目和不同时间基准的ES，每个ES都有自己的PTS和DTS。TS包的长度固定，有利于在网络中快速同步和错误检测，即使在有丢包的情况下，通过错误恢复机制也能较好地重建数据。 为了保证视音频同步，除了PTS和DTS之外，还有SCR（System Clock Reference）参数。编码时，PTS、DTS和SCR都由STC（System Time Clock）生成，解码时，解码器再生STC并通过锁相环路与输入的SCR相位比较，调整本地时钟以确保同步。通过PTS、DTS和SCR的协同工作，TS流能够在播放时准确地同步视频和音频。 TS流的特性使其适用于不可靠的传输环境，而PS流则更适合无误码的存储环境。了解这两种流的差异和相互转换的过程，对于理解和优化视频传输系统的性能至关重要。