使用Java合并视频和音频的stream流并将正在合并中的结果实时返回给前端

在Java中，您可以使用FFmpeg库来合并视频和音频的stream流，并使用WebSocket或SSE（Server-Sent Events）将正在合并中的结果实时返回给前端。以下是一个基本的示例代码：

import java.io.IOException;
import java.io.InputStream;
import java.util.ArrayList;
import java.util.List;

import org.bytedeco.ffmpeg.global.avcodec;
import org.bytedeco.ffmpeg.global.avformat;
import org.bytedeco.ffmpeg.global.avutil;
import org.bytedeco.javacv.FFmpegFrameGrabber;
import org.bytedeco.javacv.FFmpegFrameRecorder;
import org.springframework.stereotype.Component;
import org.springframework.web.servlet.mvc.method.annotation.StreamingResponseBody;

@Component
public class VideoAudioMergeService {

    private FFmpegFrameGrabber videoGrabber;
    private FFmpegFrameGrabber audioGrabber;
    private FFmpegFrameRecorder recorder;

    public StreamingResponseBody merge(String videoUrl, String audioUrl) throws Exception {
        // 初始化视频流抓取器
        videoGrabber = new FFmpegFrameGrabber(videoUrl);
        videoGrabber.setOption("rtsp_transport", "tcp");
        videoGrabber.start();

        // 初始化音频流抓取器
        audioGrabber = new FFmpegFrameGrabber(audioUrl);
        audioGrabber.start();

        // 创建合成后的输出流
        recorder = new FFmpegFrameRecorder("output.mp4", videoGrabber.getImageWidth(), videoGrabber.getImageHeight(), 2);
        recorder.setFormat("mp4");
        recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);
        recorder.setAudioCodec(avcodec.AV_CODEC_ID_AAC);
        recorder.setPixelFormat(avutil.AV_PIX_FMT_YUV420P);
        recorder.setSampleRate(audioGrabber.getSampleRate());
        recorder.setFrameRate(videoGrabber.getFrameRate());
        recorder.start();

        // 合并视频和音频流
        List<InputStream> inputStreams = new ArrayList<>();
        inputStreams.add(videoGrabber.getInputStream());
        inputStreams.add(audioGrabber.getInputStream());

        byte[] buffer = new byte[1024];
        int len;

        return outputStream -> {
            try {
                while ((len = inputStreams.get(0).read(buffer)) > 0) {
                    if (Thread.currentThread().isInterrupted()) {
                        break;
                    }

                    outputStream.write(buffer, 0, len);

                    // 读取视频帧和音频帧，合成后写入输出流
                    recorder.record(videoGrabber.grabImage(), audioGrabber.grabSamples());
                }
            } catch (IOException e) {
                e.printStackTrace();
            } finally {
                videoGrabber.stop();
                audioGrabber.stop();
                recorder.stop();
                outputStream.close();
            }
        };
    }
}

在上面的示例代码中，我们首先初始化视频流抓取器和音频流抓取器，并使用FFmpegFrameRecorder创建合成后的输出流。然后，我们将视频流和音频流添加到一个InputStream列表中，并在返回的StreamingResponseBody中循环读取第一个InputStream的内容并写入输出流中。每个循环迭代中，我们使用grabImage()方法从视频流中获取一帧图像，并使用grabSamples()方法从音频流中获取一帧音频样本。我们将这些帧合成为一个帧，并使用record()方法将其写入输出流中。

最后，我们使用WebSocket或SSE将输出流的内容实时返回给前端。您可以使用Spring框架的StreamingResponseBody类来实现这一点。