ffmepg C++ 编码后 混合 aac h264 数据流 到文件 pts 音视频同步

您好，针对您的问题，我可以给出如下思路：

1. 使用FFmpeg的C++ API来编码H264和AAC数据流，并将它们混合在一起。

2. 对于每个视频帧和音频帧，使用PTS（Presentation Time Stamp）来保证它们的时间戳是正确的。

3. 将编码后的H264和AAC数据流写入一个文件中，同时确保它们的时间戳是同步的。

下面是一个简单的示例代码，仅供参考：

#include <iostream>
#include <string>
#include <vector>
#include <chrono>
#include <thread>

extern "C" {
#include <libavformat/avformat.h>
#include <libavcodec/avcodec.h>
#include <libavutil/opt.h>
#include <libavutil/timestamp.h>
#include <libavutil/audio_fifo.h>
}

#define AUDIO_SAMPLE_RATE 48000
#define AUDIO_CHANNELS 2
#define AUDIO_FORMAT AV_SAMPLE_FMT_FLT
#define AUDIO_BITRATE 128000

using namespace std;

int main(int argc, char* argv[])
{
    // Initialize FFmpeg
    av_register_all();
    avcodec_register_all();

    // Open video output file
    AVFormatContext* out_ctx;
    avformat_alloc_output_context2(&out_ctx, NULL, NULL, "output.mp4");
    AVStream* video_stream = avformat_new_stream(out_ctx, NULL);
    AVStream* audio_stream = avformat_new_stream(out_ctx, NULL);

    // Configure video stream
    AVCodec* video_codec = avcodec_find_encoder(AV_CODEC_ID_H264);
    AVCodecContext* video_ctx = avcodec_alloc_context3(video_codec);
    video_ctx->bit_rate = 400000;
    video_ctx->width = 640;
    video_ctx->height = 480;
    video_ctx->time_base = { 1, 25 };
    video_ctx->gop_size = 10;
    video_ctx->max_b_frames = 1;
    avcodec_open2(video_ctx, video_codec, NULL);
    avcodec_parameters_from_context(video_stream->codecpar, video_ctx);
    video_stream->time_base = video_ctx->time_base;

    // Configure audio stream
    AVCodec* audio_codec = avcodec_find_encoder(AV_CODEC_ID_AAC);
    AVCodecContext* audio_ctx = avcodec_alloc_context3(audio_codec);
    audio_ctx->sample_rate = AUDIO_SAMPLE_RATE;
    audio_ctx->channels = AUDIO_CHANNELS;
    audio_ctx->sample_fmt = AUDIO_FORMAT;
    audio_ctx->bit_rate = AUDIO_BITRATE;
    audio_ctx->time_base = { 1, AUDIO_SAMPLE_RATE };
    avcodec_open2(audio_ctx, audio_codec, NULL);
    avcodec_parameters_from_context(audio_stream->codecpar, audio_ctx);
    audio_stream->time_base = audio_ctx->time_base;

    // Open output file
    avio_open(&out_ctx->pb, "output.mp4", AVIO_FLAG_WRITE);

    // Write header to output file
    avformat_write_header(out_ctx, NULL);

    // Encode and write frames to output file
    for (int i = 0; i < 100; i++) {
        // Encode video frame
        AVFrame* video_frame = av_frame_alloc();
        video_frame->width = video_ctx->width;
        video_frame->height = video_ctx->height;
        video_frame->format = video_ctx->pix_fmt;
        av_frame_get_buffer(video_frame, 0);
        // Fill video frame with data...
        avcodec_send_frame(video_ctx, video_frame);
        AVPacket video_pkt;
        av_init_packet(&video_pkt);
        avcodec_receive_packet(video_ctx, &video_pkt);
        video_pkt.stream_index = video_stream->index;
        video_pkt.pts = i * video_ctx->time_base.den / (video_ctx->time_base.num * 25);
        video_pkt.dts = video_pkt.pts;
        av_interleaved_write_frame(out_ctx, &video_pkt);
        av_packet_unref(&video_pkt);
        av_frame_free(&video_frame);

        // Encode audio frame
        AVFrame* audio_frame = av_frame_alloc();
        audio_frame->sample_rate = audio_ctx->sample_rate;
        audio_frame->channels = audio_ctx->channels;
        audio_frame->format = audio_ctx->sample_fmt;
        av_frame_get_buffer(audio_frame, 0);
        // Fill audio frame with data...
        avcodec_send_frame(audio_ctx, audio_frame);
        AVPacket audio_pkt;
        av_init_packet(&audio_pkt);
        avcodec_receive_packet(audio_ctx, &audio_pkt);
        audio_pkt.stream_index = audio_stream->index;
        audio_pkt.pts = i * audio_ctx->time_base.den / AUDIO_SAMPLE_RATE;
        audio_pkt.dts = audio_pkt.pts;
        av_interleaved_write_frame(out_ctx, &audio_pkt);
        av_packet_unref(&audio_pkt);
        av_frame_free(&audio_frame);

        // Sleep for a while to simulate real-time processing
        this_thread::sleep_for(chrono::milliseconds(40));
    }

    // Write trailer to output file
    av_write_trailer(out_ctx);

    // Close output file
    avio_close(out_ctx->pb);
    avformat_free_context(out_ctx);

    // Cleanup FFmpeg
    avcodec_free_context(&video_ctx);
    avcodec_free_context(&audio_ctx);

    return 0;
}

在上述示例代码中，我们先初始化了FFmpeg，并创建了一个输出文件。然后，我们分别配置了视频流和音频流的编码参数，并将它们添加到输出文件中。接下来，我们编码并写入了100个视频帧和音频帧，并使用PTS保证它们的时间戳是正确的。最后，我们写入了输出文件的尾部，并关闭了输出文件。

请注意，上述示例代码仅供参考，您需要根据自己的实际需求进行修改和优化。