超低延迟实时流媒体传输技术探析

"刘泓昊在Qcon会议上分享的《超低延迟实时流媒体传输技术》" 超低延迟实时流媒体传输技术是当前音视频领域的一个重要研究方向，随着网络基础设施的发展，新的应用场景如直播、视频会议等对传输速度提出了更高的要求。在这样的背景下，降低延迟成为了提升用户体验的关键因素。 首先，内容提到了码率与延迟的关系。点播、直播和互动视频的平均码率变化趋势显示，未来将追求更低的延迟和更大的带宽。为了实现零缓冲的超低延迟，传输技术需要从依赖buffer抗抖动转变为寻找消除抖动的方法。 在确保可靠性方面，流控算法和网络传输协议的设计至关重要。一个关键观点是，应用层丢包应当尽量避免。为此，可以采用类前向纠错（FEC）和重传相结合的方式。FEC能够通过发送冗余数据来减少丢包对延迟的影响，但它可能会增加CPU利用率；而重传则可以在丢包时恢复数据，但可能导致延迟增加。理想的策略是在低RTT环境下优先考虑带宽利用率，而在高RTT情况下优先保证冗余。 在NACK（否定确认）和SACK（选择重传确认）的选取上，NACK对于首次丢包的判断简单，但其ACK丢包敏感且重传包丢包判断逻辑不闭环。相比之下，SACK虽然判断逻辑复杂，但其ACK不丢包敏感，能更准确、实时地识别丢包情况。 在流控策略上，新的目标是不仅要在不超出网络瓶颈带宽的情况下充分利用网络带宽，还要尽可能保持帧粒度的传输，并结合发端和收端的采集数据。流控算法应基于实时数据而非简单的buffer管理，因为buffer一旦达到阈值就已经晚了。基于丢包的流控方法更能有效应对网络卡顿，因为它可以先于延迟抖动检测到问题并采取相应措施，如降速、清阻反弹和丢帧。 对比UDP与TCP，UDP由于其无连接特性和较少的头部开销，通常提供更低的延迟，更适合实时流媒体传输。然而，TCP的可靠传输机制在某些场景下仍不可或缺，因此，设计兼顾两者优点的传输协议成为优化实时流媒体传输的挑战。 超低延迟实时流媒体传输技术涉及到多个层面，包括码率控制、丢包处理、流控策略以及传输协议的优化。为了实现这一目标，开发者需要综合考虑网络状况、应用需求和系统资源，不断探索和创新。