FFmpeg转成Mat

FFmpeg是一个开源的跨平台音视频处理工具，可以用它来对音视频进行编解码、转码、剪辑等操作。如果你需要将FFmpeg处理后的视频转换成Mat格式（即OpenCV中的Mat类对象），可以使用OpenCV库中的VideoCapture类来实现。具体的方法如下：

1. 使用VideoCapture类打开FFmpeg处理后的视频文件：

cv::VideoCapture capture("input.mp4");

2. 循环读取视频帧，将每一帧转换成Mat格式：

cv::Mat frame;
while (capture.read(frame)) {
    // 处理视频帧
}

在循环中，每次调用capture.read(frame)方法会读取下一帧视频，并将其存储到Mat对象frame中。你可以在循环中对视频帧进行处理，例如对每一帧进行图像处理、特征提取等操作。

需要注意的是，Mat对象的大小和格式需要与视频帧的大小和格式匹配，否则可能会出现图像失真等问题。如果你需要调整Mat对象的大小和格式，可以使用OpenCV中的resize()和cvtColor()等函数来实现。

相关问题

opencv4 FFmpeg AVframe 转mat

可以使用以下代码将 FFmpeg 中的 AVFrame 转换为 OpenCV 的 Mat 对象：

#include <opencv2/opencv.hpp>
extern "C" {
#include <libavutil/imgutils.h>
#include <libswscale/swscale.h>
#include <libavcodec/avcodec.h>
}

cv::Mat avframe_to_mat(const AVFrame* frame) {
    cv::Mat mat;
    int width = frame->width;
    int height = frame->height;
    AVPixelFormat pFormat = static_cast<AVPixelFormat>(frame->format);

    // 分配 AVFrame 中数据所需的内存
    av_image_alloc(frame->data, frame->linesize, width, height, pFormat, 1);

    // 将 AVFrame 转换为 BGR 格式的 Mat 对象
    SwsContext* sws_ctx = sws_getContext(width, height, pFormat, width, height, AV_PIX_FMT_BGR24, SWS_BILINEAR, NULL, NULL, NULL);
    if (sws_ctx == NULL) {
        return mat;
    }

    int size = av_image_get_buffer_size(AV_PIX_FMT_BGR24, width, height, 1);
    uint8_t* buffer = (uint8_t*)av_malloc(size * sizeof(uint8_t));
    if (buffer == NULL) {
        sws_freeContext(sws_ctx);
        return mat;
    }

    AVFrame* pFrame = av_frame_alloc();
    av_image_fill_arrays(pFrame->data, pFrame->linesize, buffer, AV_PIX_FMT_BGR24, width, height, 1);

    sws_scale(sws_ctx, frame->data, frame->linesize, 0, height, pFrame->data, pFrame->linesize);

    mat = cv::Mat(height, width, CV_8UC3, buffer);

    sws_freeContext(sws_ctx);
    av_frame_free(&pFrame);

    return mat;
}

其中，AVFrame 为要转换的帧，返回值为转换后的 Mat 对象。注意，需要在使用完 Mat 对象后释放内存。

opencv4 FFmpeg6 AVframe 转mat

可以使用以下代码将 FFmpeg 中的 AVFrame 转换为 OpenCV 的 Mat 对象：

#include <opencv2/opencv.hpp>
extern "C" {
#include <libavutil/imgutils.h>
#include <libswscale/swscale.h>
#include <libavcodec/avcodec.h>
}

cv::Mat avframe_to_mat(const AVFrame* frame) {
    cv::Mat mat;
    int width = frame->width;
    int height = frame->height;
    AVPixelFormat pFormat = static_cast<AVPixelFormat>(frame->format);

    // 分配 AVFrame 中数据所需的内存
    av_image_alloc(frame->data, frame->linesize, width, height, pFormat, 1);

    // 将 AVFrame 转换为 BGR 格式的 Mat 对象
    SwsContext* sws_ctx = sws_getContext(width, height, pFormat, width, height, AV_PIX_FMT_BGR24, SWS_BILINEAR, NULL, NULL, NULL);
    if (sws_ctx == NULL) {
        return mat;
    }

    uint8_t* buffer = new uint8_t[av_image_get_buffer_size(AV_PIX_FMT_BGR24, width, height, 1)];

    AVFrame* pFrame = av_frame_alloc();
    av_image_fill_arrays(pFrame->data, pFrame->linesize, buffer, AV_PIX_FMT_BGR24, width, height, 1);

    sws_scale(sws_ctx, frame->data, frame->linesize, 0, height, pFrame->data, pFrame->linesize);

    mat = cv::Mat(height, width, CV_8UC3, buffer);

    sws_freeContext(sws_ctx);
    av_frame_free(&pFrame);

    return mat;
}

其中，AVFrame 为要转换的帧，返回值为转换后的 Mat 对象。注意，需要在使用完 Mat 对象后释放内存。而在此代码中，我使用了 new 关键字来分配内存，因为这样可以方便的在使用完 Mat 对象后释放内存，避免内存泄漏。