FFmpeg 实现多屏录制源码解析

FFmpeg 是一个开源的跨平台音视频处理工具库，它提供了强大的音视频处理能力，包括音视频编解码、格式转换、流媒体协议处理等。多屏录制是一种常见的音视频处理需求，实现多屏录制的方法有很多种，比如使用 DirectShow、Qt、OpenGL 等技术。本文将介绍使用 FFmpeg 实现多屏录制的方法。

首先，需要明确的是，多屏录制并不是 FFmpeg 的主要用途，FFmpeg 主要用于音视频编解码和格式转换等方面，如果要实现多屏录制，需要使用 FFmpeg 的视频采集功能。

下面是使用 FFmpeg 实现多屏录制的主要步骤：

1. 初始化 FFmpeg 库

在使用 FFmpeg 库之前，需要先初始化 FFmpeg 库，并注册 FFmpeg 的所有组件。初始化 FFmpeg 库的代码如下：

av_register_all();
avformat_network_init();
avdevice_register_all();

2. 打开视频采集设备

打开视频采集设备需要使用 FFmpeg 的 avformat_open_input() 函数，该函数需要传入一个 AVFormatContext 结构体指针，并指定视频采集设备的地址。视频采集设备的地址可以是本地摄像头、屏幕、网络摄像头等。如果要同时采集多个设备的视频，需要多次调用 avformat_open_input() 函数来打开多个视频采集设备。

AVFormatContext* fmt_ctx = NULL;
AVInputFormat* input_fmt = NULL;
AVDictionary* options = NULL;
// 打开视频采集设备
avformat_open_input(&fmt_ctx, "video=screen-capture-recorder", input_fmt, &options);

3. 查找视频流

打开视频采集设备之后，需要查找视频流。在 FFmpeg 中，每个视频采集设备都对应一个视频流，可以使用 av_find_best_stream() 函数查找视频流。

AVStream* video_stream = NULL;
// 查找视频流
av_find_best_stream(fmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);

4. 打开视频解码器

打开视频解码器需要使用 FFmpeg 的 avcodec_find_decoder() 和 avcodec_open2() 函数。在多屏录制中，由于不同的视频采集设备可能使用不同的视频编码格式，因此需要为每个视频流分别打开视频解码器。

AVCodecContext* codec_ctx = NULL;
AVCodec* codec = NULL;
// 查找视频解码器
codec = avcodec_find_decoder(video_stream->codecpar->codec_id);
if (codec == NULL) {
    printf("Can't find codec.\n");
    return -1;
}
// 打开解码器
codec_ctx = avcodec_alloc_context3(codec);
avcodec_parameters_to_context(codec_ctx, video_stream->codecpar);
avcodec_open2(codec_ctx, codec, NULL);

5. 创建输出文件

在多屏录制中，需要将多个视频流合并为一个视频文件。为了实现这个功能，需要创建一个输出文件，使用 FFmpeg 的 avformat_alloc_output_context2() 函数创建一个 AVFormatContext 结构体，并指定输出文件的格式和输出文件路径。

AVFormatContext* out_fmt_ctx = NULL;
// 创建输出文件
avformat_alloc_output_context2(&out_fmt_ctx, NULL, NULL, output_file);

6. 添加视频流

创建输出文件之后，需要为每个视频流创建一个输出流，并将它们添加到输出文件中。创建输出流需要使用 FFmpeg 的 avformat_new_stream() 函数。创建输出流之后，需要设置输出流的参数，并将输出流添加到输出文件中。

AVStream* out_video_stream = NULL;
// 创建输出流
out_video_stream = avformat_new_stream(out_fmt_ctx, NULL);
// 设置输出流参数
out_video_stream->codecpar->codec_id = codec->id;
out_video_stream->codecpar->codec_type = AVMEDIA_TYPE_VIDEO;
out_video_stream->codecpar->width = codec_ctx->width;
out_video_stream->codecpar->height = codec_ctx->height;
out_video_stream->codecpar->format = codec_ctx->pix_fmt;
out_video_stream->codecpar->bit_rate = codec_ctx->bit_rate;
out_video_stream->codecpar->extradata = codec_ctx->extradata;
out_video_stream->codecpar->extradata_size = codec_ctx->extradata_size;
// 添加输出流
avformat_write_header(out_fmt_ctx, NULL);

7. 读取视频帧

在多屏录制中，需要同时读取多个视频流的视频帧，并将它们合并为一个视频文件。读取视频帧需要使用 FFmpeg 的 av_read_frame() 函数，该函数会返回一个 AVPacket 结构体，包含了一个视频帧的所有信息。

AVPacket packet;
// 读取视频帧
av_read_frame(fmt_ctx, &packet);

8. 解码视频帧

读取视频帧之后，需要将视频帧解码为原始的视频数据。解码视频帧需要使用 FFmpeg 的 avcodec_send_packet() 和 avcodec_receive_frame() 函数，前者将视频帧发送给视频解码器，后者从视频解码器中获取解码后的视频帧。

AVFrame* frame = NULL;
// 解码视频帧
avcodec_send_packet(codec_ctx, &packet);
while (avcodec_receive_frame(codec_ctx, frame) == 0) {
    // 处理解码后的视频帧
}

9. 将视频帧写入输出文件

解码视频帧之后，需要将视频帧写入输出文件。写入视频帧需要使用 FFmpeg 的 av_write_frame() 函数，该函数会将一个视频帧写入输出文件。

// 将视频帧写入输出文件
av_write_frame(out_fmt_ctx, &packet);

10. 释放资源

多屏录制结束之后，需要释放所有资源，包括视频采集设备、视频解码器、输入文件和输出文件等。

avcodec_free_context(&codec_ctx);
avformat_close_input(&fmt_ctx);
avformat_free_context(fmt_ctx);
avformat_close_input(&out_fmt_ctx);

以上就是使用 FFmpeg 实现多屏录制的主要步骤。需要注意的是，不同的视频采集设备可能使用不同的视频编码格式，因此需要为每个视频流分别打开视频解码器，并将解码后的视频帧写入输出文件中。此外，多屏录制需要同时读取多个视频流的视频帧，并将它们合并为一个视频文件，因此需要使用多线程或多进程来实现。