mp4 转 h264 原理

MP4和H.264都是视频编码格式，MP4是一种封装格式，而H.264是一种视频压缩编码标准。将MP4文件转换为H.264编码的视频需要进行以下步骤：

1. 解封装：将MP4文件解封装，提取出其中的视频流和音频流；
2. 解码：对视频流进行解码，得到未压缩的视频数据；
3. 转码：将解码后的视频数据进行压缩编码，采用H.264编码标准进行压缩编码；
4. 封装：将压缩后的视频数据封装成一个新的文件，可以采用MP4等格式进行封装。

在实现上述过程时，可以使用FFmpeg等开源库来实现。通过使用这些库，可以很方便地实现视频转码的功能。

相关问题

C#H264转BMP

根据提供的引用内容，您可以使用FFmpeg API在C#中编写程序，以实现将H264关键帧转换为BMP的功能。以下是大致的流程原理：

1.使用FFmpeg API解复用mp4文件，得到一个视频流。
2.将视频流解码为yuv序列。
3.将yuv序列中指定的一帧图片内容转换为rgb。
4.将rgb数据存储为bmp位图。

以下是一个C#的示例代码：

using System;
using System.Drawing;
using System.Drawing.Imaging;
using System.Runtime.InteropServices;

namespace H264ToBmp
{
    class Program
    {
        static void Main(string[] args)
        {
            // 初始化FFmpeg
            FFmpeg.av_register_all();
            FFmpeg.avcodec_register_all();

            // 打开输入文件
            string inputFileName = "input.mp4";
            AVFormatContext* inputFormatContext = null;
            if (FFmpeg.avformat_open_input(&inputFormatContext, inputFileName, null, null) != 0)
            {
                Console.WriteLine("无法打开输入文件");
                return;
            }

            // 查找视频流
            int videoStreamIndex = -1;
            for (int i = 0; i < inputFormatContext->nb_streams; i++)
            {
                if (inputFormatContext->streams[i]->codecpar->codec_type == AVMediaType.AVMEDIA_TYPE_VIDEO)
                {
                    videoStreamIndex = i;
                    break;
                }
            }
            if (videoStreamIndex == -1)
            {
                Console.WriteLine("无法找到视频流");
                return;
            }

            // 打开视频解码器
            AVCodec* videoCodec = FFmpeg.avcodec_find_decoder(inputFormatContext->streams[videoStreamIndex]->codecpar->codec_id);
            if (videoCodec == null)
            {
                Console.WriteLine("无法找到视频解码器");
                return;
            }
            AVCodecContext* videoCodecContext = FFmpeg.avcodec_alloc_context3(videoCodec);
            if (FFmpeg.avcodec_parameters_to_context(videoCodecContext, inputFormatContext->streams[videoStreamIndex]->codecpar) < 0)
            {
                Console.WriteLine("无法初始化视频解码器上下文");
                return;
            }
            if (FFmpeg.avcodec_open2(videoCodecContext, videoCodec, null) < 0)
            {
                Console.WriteLine("无法打开视频解码器");
                return;
            }

            // 查找关键帧
            AVPacket packet = new AVPacket();
            AVFrame* frame = FFmpeg.av_frame_alloc();
            int gotPicture = 0;
            while (FFmpeg.av_read_frame(inputFormatContext, &packet) >= 0)
            {
                if (packet.stream_index == videoStreamIndex)
                {
                    if (FFmpeg.avcodec_decode_video2(videoCodecContext, frame, &gotPicture, &packet) < 0)
                    {
                        Console.WriteLine("无法解码视频帧");
                        return;
                    }
                    if (gotPicture != 0 && (frame->key_frame != 0 || frame->pict_type == AVPictureType.AV_PICTURE_TYPE_I))
                    {
                        break;
                    }
                }
                FFmpeg.av_packet_unref(&packet);
            }

            // 将yuv序列转换为rgb
            SwsContext* swsContext = FFmpeg.sws_getContext(videoCodecContext->width, videoCodecContext->height, videoCodecContext->pix_fmt,
                videoCodecContext->width, videoCodecContext->height, AVPixelFormat.AV_PIX_FMT_RGB24, 0, null, null, null);
            AVFrame* rgbFrame = FFmpeg.av_frame_alloc();
            byte_ptrArray4 rgbData = new byte_ptrArray4();
            int rgbDataSize = FFmpeg.av_image_alloc(rgbData, null, videoCodecContext->width, videoCodecContext->height, AVPixelFormat.AV_PIX_FMT_RGB24, 1);
            FFmpeg.sws_scale(swsContext, frame->data, frame->linesize, 0, videoCodecContext->height, rgbData, rgbFrame->linesize);

            // 将rgb数据存储为bmp位图
            Bitmap bmp = new Bitmap(videoCodecContext->width, videoCodecContext->height, videoCodecContext->width * 3, PixelFormat.Format24bppRgb, new IntPtr(rgbData[0]));
            bmp.Save("output.bmp", ImageFormat.Bmp);

            // 释放资源
            FFmpeg.avformat_close_input(&inputFormatContext);
            FFmpeg.avcodec_free_context(&videoCodecContext);
            FFmpeg.av_frame_free(&frame);
            FFmpeg.sws_freeContext(swsContext);
            FFmpeg.av_frame_free(&rgbFrame);
            FFmpeg.av_freep(&rgbData[0]);
        }
    }

    public unsafe static class FFmpeg
    {
        private const string DllName = "ffmpeg.dll";

        [DllImport(DllName)]
        public static extern void av_register_all();

        [DllImport(DllName)]
        public static extern void avcodec_register_all();

        [DllImport(DllName)]
        public static extern int avformat_open_input(AVFormatContext** ps, string url, AVInputFormat* fmt, AVDictionary** options);

        [DllImport(DllName)]
        public static extern int avcodec_decode_video2(AVCodecContext* avctx, AVFrame* picture, int* got_picture_ptr, AVPacket* avpkt);

        [DllImport(DllName)]
        public static extern AVCodec* avcodec_find_decoder(AVCodecID id);

        [DllImport(DllName)]
        public static extern AVCodecContext* avcodec_alloc_context3(AVCodec* codec);

        [DllImport(DllName)]
        public static extern int avcodec_parameters_to_context(AVCodecContext* codec, AVCodecParameters* par);

        [DllImport(DllName)]
        public static extern int avcodec_open2(AVCodecContext* avctx, AVCodec* codec, AVDictionary** options);

        [DllImport(DllName)]
        public static extern int av_read_frame(AVFormatContext* s, AVPacket* pkt);

        [DllImport(DllName)]
        public static extern void av_packet_unref(AVPacket* pkt);

        [DllImport(DllName)]
        public static extern AVFrame* av_frame_alloc();

        [DllImport(DllName)]
        public static extern SwsContext* sws_getContext(int srcW, int srcH, AVPixelFormat srcFormat,
            int dstW, int dstH, AVPixelFormat dstFormat, int flags, SwsFilter* srcFilter, SwsFilter* dstFilter, double* param);

        [DllImport(DllName)]
        public static extern int av_image_alloc(byte_ptrArray4 pointers, int_array4 linesizes, int w, int h, AVPixelFormat pix_fmt, int align);

        [DllImport(DllName)]
        public static extern void sws_scale(SwsContext* c, byte_ptrArray4 srcSlice, int_array4 srcStride,
            int srcSliceY, int srcSliceH, byte_ptrArray4 dst, int_array4 dstStride);

        [DllImport(DllName)]
        public static extern void sws_freeContext(SwsContext* swsContext);

        [DllImport(DllName)]
        public static extern void av_frame_free(AVFrame** frame);

        [DllImport(DllName)]
        public static extern void avcodec_free_context(AVCodecContext** avctx);

        [DllImport(DllName)]
        public static extern void avformat_close_input(AVFormatContext** s);

        [DllImport(DllName)]
        public static extern void av_freep(void* ptr);
    }

    public enum AVMediaType
    {
        AVMEDIA_TYPE_UNKNOWN = -1,
        AVMEDIA_TYPE_VIDEO,
        AVMEDIA_TYPE_AUDIO,
        AVMEDIA_TYPE_DATA,
        AVMEDIA_TYPE_SUBTITLE,
        AVMEDIA_TYPE_ATTACHMENT,
        AVMEDIA_TYPE_NB
    }

    public enum AVCodecID
    {
        AV_CODEC_ID_NONE,

        /* video codecs */
        AV_CODEC_ID_MPEG1VIDEO,
        AV_CODEC_ID_MPEG2VIDEO, ///< preferred ID for MPEG-1/2 video decoding
        AV_CODEC_ID_H261,
        AV_CODEC_ID_H263,
        AV_CODEC_ID_RV10,
        AV_CODEC_ID_RV20,
        AV_CODEC_ID_MJPEG,
        AV_CODEC_ID_MJPEGB,
        AV_CODEC_ID_LJPEG,
        AV_CODEC_ID_SP5X,
        AV_CODEC_ID_JPEGLS,
        AV_CODEC_ID_MPEG4,
        AV_CODEC_ID_RAWVIDEO,
        AV_CODEC_ID_MSMPEG4V1,
        AV_CODEC_ID_MSMPEG4V2,
        AV_CODEC_ID_MSMPEG4V3,
        AV_CODEC_ID_WMV1,
        AV_CODEC_ID_WMV2,
        AV_CODEC_ID_H263P,
        AV_CODEC_ID_H263I,
        AV_CODEC_ID_FLV1,
        AV_CODEC_ID_SVQ1,
        AV_CODEC_ID_SVQ3,
        AV_CODEC_ID_DVVIDEO,
        AV_CODEC_ID_HUFFYUV,
        AV_CODEC_ID_CYUV,
        AV_CODEC_ID_H264,
        AV_CODEC_ID_INDEO3,
        AV_CODEC_ID_VP3,
        AV_CODEC_ID_THEORA,
        AV_CODEC_ID_ASV1,
        AV_CODEC_ID_ASV2,
        AV_CODEC_ID_FFV1,
        AV_CODEC_ID_4XM,
        AV_CODEC_ID_VCR1,
        AV_CODEC_ID_CLJR,
        AV_CODEC_ID_MDEC,
        AV_CODEC_ID_ROQ,
        AV_CODEC_ID_INTERPLAY_VIDEO,
        AV_CODEC_ID_XAN_WC3,
        AV_CODEC_ID_XAN_WC4,
        AV_CODEC_ID_RPZA,
        AV_CODEC_ID_CINEPAK,
        AV_CODEC_ID_WS_VQA,
        AV_CODEC_ID_MSRLE,
        AV_CODEC_ID_MSVIDEO1,
        AV_CODEC_ID_IDCIN,
        AV_CODEC_ID_8BPS,
        AV_CODEC_ID_SMC,
        AV_CODEC_ID_FLIC,
        AV_CODEC_ID_TRUEMOTION1,
        AV_CODEC_ID_VMDVIDEO,
        AV_CODEC_ID_MSZH,
        AV_CODEC_ID_ZLIB,
        AV_CODEC_ID_QTRLE,
        AV_CODEC_ID_TSCC,
        AV_CODEC_ID_ULTI,
        AV_CODEC_ID_QDRAW,
        AV_CODEC_ID_VIXL,
        AV_CODEC_ID_QPEG,
        AV_CODEC_ID_PNG,
        AV_CODEC_ID_PPM,
        AV_CODEC_ID_PBM,
        AV_CODEC_ID_PGM,
        AV_CODEC_ID_PGMYUV,
        AV_CODEC_ID_PAM,
        AV_CODEC_ID_FFVHUFF,
        AV_CODEC_ID_RV30,
        AV_CODEC_ID_RV40,
        AV_CODEC_ID_VC1,
        AV_CODEC_ID_WMV3,
        AV_CODEC_ID_LOCO,
        AV_CODEC_ID_WNV1,
        AV_CODEC_ID_AASC,
        AV_CODEC_ID_INDEO2,
        AV_CODEC_ID_FRAPS,
        AV_CODEC_ID_TRUEMOTION2,
        AV_CODEC_ID_BMP,
        AV_CODEC_ID_CSCD,
        AV_CODEC_ID_MMVIDEO,
        AV_CODEC_ID_ZMBV,
        AV_CODEC_ID_AVS,
        AV_CODEC_ID_SMACKVIDEO,
        AV_CODEC_ID_NUV,
        AV_CODEC_ID_KMVC,
        AV_CODEC_ID_FLASHSV,
        AV_CODEC_ID_CAVS,
        AV_CODEC_ID_JPEG2000,
        AV_CODEC_ID_VMNC,
        AV_CODEC_ID_VP5,
        AV_CODEC_ID_VP6,
        AV_CODEC_ID_VP6F,
        AV_CODEC_ID_TARGA,
        AV_CODEC_ID_DSICINVIDEO,
        AV_CODEC_ID_TIERTEXSEQVIDEO,
        AV_CODEC_ID_TIFF,
        AV_CODEC_ID_GIF,
        AV_CODEC_ID_DXA,
        AV_CODEC_ID_DNXHD,
        AV_CODEC_ID_THP,
        AV_CODEC_ID_SGI,
        AV_CODEC_ID_C93,
        AV_CODEC_ID_BETHSOFTVID,
        AV_CODEC_ID_PTX,
        AV_CODEC_ID_TXD,
        AV_CODEC_ID_VP6A,
        AV_CODEC_ID_AMV,
        AV_CODEC_ID_VB,
        AV_CODEC_ID_PCX,
        AV_CODEC_ID_SUNRAST,
        AV_CODEC_ID_INDEO4,
        AV_CODEC_ID_INDEO5,
        AV_CODEC_ID_MIMIC,
        AV_CODEC_ID_RL2,
        AV_CODEC_ID_ESCAPE124,
        AV_CODEC_ID_DIRAC,
        AV_CODEC_ID_BFI,
        AV_CODEC_ID_CMV,
        AV_CODEC_ID_MOTIONPIXELS,
        AV_CODEC_ID_TGV,
        AV_CODEC_ID_TGQ,
        AV_CODEC_ID_TQI,
        AV_CODEC_ID_AURA,
        AV_CODEC_ID_AURA2,
        AV_CODEC_ID_V210X,
        AV_CODEC_ID_TMV,
        AV_CODEC_ID_V210,
        AV_CODEC_ID_DPX,
        AV_CODEC_ID_MAD,
        AV_CODEC_ID_FRWU,
        AV_CODEC_ID_FLASHSV2,
        AV_CODEC_ID_CDGRAPHICS,
        AV_CODEC_ID_R210,
        AV_CODEC_ID_ANM,
        AV_CODEC_ID_BINKVIDEO,
        AV_CODEC_ID_IFF_ILBM,
        AV_CODEC_ID_IFF_BYTERUN1,
        AV_CODEC_ID_KGV1,
        AV_CODEC_ID_YOP,
        AV_CODEC_ID_VP8,
        AV_CODEC_ID_PICTOR,
        AV_CODEC_ID_ANSI,
        AV_CODEC_ID_A64_MULTI,
        AV_CODEC_ID_A64_MULTI5,
        AV_CODEC_ID_R10K,
        AV_CODEC_ID_MXPEG,
        AV_CODEC_ID_LAGARITH,
        AV_CODEC_ID_PRORES,
        AV_CODEC_ID_JV,
        AV_CODEC_ID_DFA,
        AV_CODEC_ID_WMV3IMAGE,
        AV_CODEC_ID_VC1IMAGE,
        AV_CODEC_ID_UTVIDEO,
        AV_CODEC_ID_BMV_VIDEO,
        AV_CODEC_ID_VBLE,
        AV_CODEC_ID_DXTORY,
        AV_CODEC_ID_V410,
        AV_CODEC_ID_XWD,
        AV_CODEC_ID_CDXL,
        AV_CODEC_ID_XBM,
        AV_CODEC_ID_ZEROCODEC,

openGL ES 在android中通过MediaCodec RGB的buffer转换MP4原理

在 Android 中，要通过 MediaCodec 将 OpenGL ES 中的 RGB 数据转换为 MP4 格式的视频，需要以下步骤：

1. 创建一个 MediaCodec 编码器，并将其配置为编码 H.264 视频格式。

2. 使用 SurfaceTexture 将 OpenGL ES 中的图像渲染到 Surface 上。

3. 从 Surface 中获取帧数据，并将其传递给 MediaCodec 编码器进行编码。

4. 编码器将帧数据编码为 H.264 视频流，并将其存储到一个 MP4 文件中。

其中，步骤 2 和 3 是关键步骤，需要使用 Android 中提供的一些 API 来实现。具体来说，可以使用 SurfaceTexture 的 onFrameAvailable 回调函数来获取新的帧数据，然后将其传递给 MediaCodec 编码器进行编码。

需要注意的是，由于 OpenGL ES 中的帧数据是以 RGB 格式存储的，而 MediaCodec 编码器需要的是 YUV 格式的数据，因此需要在传递给编码器之前进行 RGB 到 YUV 的转换。这可以通过 OpenGL ES 中提供的一些函数来实现，例如 glReadPixels 和 glTexImage2D。

总体来说，将 OpenGL ES 中的 RGB 数据转换为 MP4 格式的视频是一个比较复杂的过程，需要涉及到多个方面的知识，包括 OpenGL ES、MediaCodec、SurfaceTexture 等。