WebRTC native API 深入解析：Stream与PeerConnection

"WebRTCnativeAPI1 - 用于实现WebRTCjavascriptAPIs和本地RTC应用的程序员和工程师的指南，详细介绍了StreamAPIs和PeerConnectionAPIs，包括类定义、调用序列、线程模型等关键概念。" WebRTC是一种开放的实时通信技术，允许在浏览器和其他平台之间进行实时音视频通信，无需插件或额外的软件。本资源主要关注WebRTC的原生APIs，这些APIs是基于WebRTC规范文档编写的，旨在为开发者提供直接操作底层RTC功能的能力。 1. 新的内容 新版本的WebRTC native APIs引入了Stream APIs，将媒体处理集中在MediaTrack对象中，这使得音视频媒体的管理更为独立，不再直接由PeerConnection负责。这一变化提高了灵活性和可维护性。 2. 模块架构图 尽管没有提供具体的模块架构图，但可以推测WebRTC的架构通常包括数据传输层、信令层、媒体处理层以及API接口层。数据传输层负责网络通信，信令层处理会话控制信息，媒体处理层包含编码、解码和渲染等功能，而API接口层则对外暴露供开发者使用的接口。 3. 调用序列 调用序列涉及发起通话、接收通话和结束通话的过程。发起通话通常从创建PeerConnection开始，设置必要的配置和会话描述，然后添加媒体流。接收通话则涉及到处理来自另一端的信令消息，创建或更新PeerConnection，并添加远程流。结束通话时，需要关闭PeerConnection并清理相关资源。 4. 线程模型 WebRTC使用复杂的线程模型来确保音视频处理的实时性和低延迟，通常包括工作线程、主控制线程、网络线程和文件线程等，确保不同任务在合适的线程上执行。 5. Stream APIs - MediaStreamTrackInterface：表示音视频流的一个轨道，可以是音频或视频。 - VideoTrackInterface：处理视频轨道，包括视频源和渲染器。 - LocalVideoTrackInterface：本地视频轨道，用于发送。 - AudioTrackInterface：音频轨道接口，处理音频数据。 - LocalAudioTrackInterface：本地音频轨道，用于发送音频。 - cricket::VideoRenderer, cricket::VideoCapturer：视频渲染和捕获组件。 - webrtc::AudioDeviceModule：音频设备模块，处理音频输入和输出。 - MediaStreamInterface, LocalMediaStreamInterface：媒体流接口，包含一组音视频轨道。 6. PeerConnection APIs - StreamCollectionInterface：管理多个音视频流的集合。 - PeerConnectionObserver：监听PeerConnection的状态变化，如连接建立、媒体流的添加和删除等。 - PortAllocatorFactoryInterface：端口分配器工厂，负责创建端口分配器实例。 - PeerConnectionFactoryInterface：创建和管理PeerConnection的接口。 - CreatePeerConnectionFactory 函数：创建PeerConnectionFactory对象。 - PeerConnectionInterface：核心接口，负责连接管理和媒体协商。 7. 引用 文档中可能引用了相关的WebRTC规范、libjingle项目（Google的开源库，包含WebRTC的早期实现）和其他参考资料，为开发者提供了深入理解WebRTC实现的基础。 通过以上内容，开发者可以了解如何利用WebRTC native APIs构建自己的音视频通信应用，无论是Web上的JavaScript应用还是本地RTC应用。同时，对各个接口和类的理解有助于定制化需求，如自定义信令协议、媒体处理策略等。