使用Java合并视频和音频的stream流并将正在合并中的结果以HTTP的方式实时返回给前端

要实现将视频和音频的stream流进行合并，并将正在合并中的结果以HTTP的方式实时返回给前端，可以使用Java的FFmpeg库和Spring Boot框架。

1. 首先，需要在项目中添加FFmpeg的依赖。可以使用以下Maven依赖：

<dependency>
    <groupId>com.github.sarxos</groupId>
    <artifactId>webcam-capture</artifactId>
    <version>0.3.12</version>
</dependency>

2. 在Spring Boot中创建一个Controller类，用于处理HTTP请求：

@RestController
@RequestMapping("/merge")
public class MergeController {

    @PostMapping("/video")
    public ResponseEntity<byte[]> mergeVideoWithAudio(@RequestParam("video") MultipartFile video,
                                                      @RequestParam("audio") MultipartFile audio) throws IOException {
        // 将视频和音频的流进行合并
        ByteArrayOutputStream outputStream = merge(video.getInputStream(), audio.getInputStream());

        // 将合并后的流以字节数组的形式返回给前端
        byte[] bytes = outputStream.toByteArray();

        HttpHeaders headers = new HttpHeaders();
        headers.setContentType(MediaType.APPLICATION_OCTET_STREAM);
        headers.setContentDispositionFormData("attachment", "merged.mp4");

        return new ResponseEntity<>(bytes, headers, HttpStatus.OK);
    }

    private ByteArrayOutputStream merge(InputStream videoStream, InputStream audioStream) throws IOException {
        // 使用FFmpeg进行合并
        FFmpeg ffmpeg = new FFmpeg("/path/to/ffmpeg");
        FFprobe ffprobe = new FFprobe("/path/to/ffprobe");

        FFmpegBuilder builder = new FFmpegBuilder()
                .addInput(FFmpegProbeResult.from(ffprobe, videoStream))
                .addInput(FFmpegProbeResult.from(ffprobe, audioStream))
                .addOutput("pipe:1")
                .setFormat("mp4")
                .setAudioCodec("aac")
                .setVideoCodec("copy")
                .done();

        FFmpegExecutor executor = new FFmpegExecutor(ffmpeg, ffprobe);
        ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
        FFmpegProbeResult result = executor.createJob(builder, outputStream).run();

        return outputStream;
    }
}

3. 在merge方法中，使用FFmpeg进行视频和音频的流合并，并将结果输出到一个ByteArrayOutputStream中。然后，将该流以字节数组的形式返回给前端。

4. 在前端页面中，可以使用JavaScript的XMLHttpRequest对象发送HTTP请求，并将返回的字节数组转换为Blob对象，然后使用URL.createObjectURL方法将其转换为可通过URL访问的地址，最后将该地址赋值给video元素的src属性即可实时播放合并后的视频。

function mergeVideoWithAudio(videoFile, audioFile) {
    let formData = new FormData();
    formData.append('video', videoFile);
    formData.append('audio', audioFile);

    let xhr = new XMLHttpRequest();
    xhr.open('POST', '/merge/video', true);
    xhr.responseType = 'arraybuffer';

    xhr.onload = function () {
        if (xhr.status === 200) {
            let blob = new Blob([xhr.response], {type: 'video/mp4'});
            let videoUrl = URL.createObjectURL(blob);

            let video = document.getElementById('merged-video');
            video.src = videoUrl;
            video.play();
        }
    };

    xhr.send(formData);
}

5. 最后，在前端页面中添加一个input元素，用于选择视频和音频文件，并将这些文件传递给mergeVideoWithAudio方法进行合并和播放。

<input type="file" id="video-file" accept="video/*">
<input type="file" id="audio-file" accept="audio/*">
<button onclick="mergeVideoWithAudio(document.getElementById('video-file').files[0], document.getElementById('audio-file').files[0])">Merge</button>
<video id="merged-video" controls></video>