opencv + gstreamer 的使用方法

Opencv提供了支持Gstreamer的模块，可以使用Gstreamer在Opencv中进行视频流处理。使用Gstreamer需要安装Gstreamer以及相关插件，然后在编译Opencv时加入相应的参数，具体方法如下：

1.安装Gstreamer及插件

在Linux系统中可以使用以下命令安装：

sudo apt-get install gstreamer1.0-tools gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav

2.编译安装Opencv

在编译Opencv时加入Gstreamer支持，需要在cmake命令中加入以下参数：

-D WITH_GSTREAMER=ON
-D BUILD_opencv_videoio=ON

其中，`WITH_GSTREAMER`参数表示开启Gstreamer支持，`BUILD_opencv_videoio`参数表示编译Opencv的视频模块。完整的cmake命令如下：

cmake -D CMAKE_BUILD_TYPE=RELEASE \
    -D CMAKE_INSTALL_PREFIX=/usr/local \
    -D WITH_CUDA=OFF \
    -D WITH_CUFFT=OFF \
    -D WITH_GSTREAMER=ON \
    -D BUILD_opencv_videoio=ON \
    -D BUILD_opencv_imgcodecs=ON \
    -D BUILD_opencv_highgui=ON \
    -D BUILD_EXAMPLES=ON \
    -D BUILD_TESTS=OFF \
    -D BUILD_PERF_TESTS=OFF \
    -D OPENCV_ENABLE_NONFREE=ON \
    -D OPENCV_EXTRA_MODULES_PATH=/home/user/opencv_contrib-master/modules \
    -D CUDA_ARCH_PTX="" \
    -D CUDA_ARCH_BIN="" \
    -D BUILD_SHARED_LIBS=ON \
    -D WITH_FFMPEG=ON \
    -D WITH_TBB=ON \
    -D WITH_OPENMP=ON \
    -D ENABLE_FAST_MATH=ON \
    -D CUDA_FAST_MATH=OFF \
    -D WITH_OPENCL=OFF \
    -D WITH_IPP=ON \
    -D WITH_MKL=ON \
    -D WITH_V4L=ON \
    -D WITH_XINE=ON \
    -D ENABLE_PRECOMPILED_HEADERS=OFF \
    -D INSTALL_C_EXAMPLES=ON \
    -D INSTALL_PYTHON_EXAMPLES=ON \
    -D INSTALL_TESTS=OFF \
    -D INSTALL_OPENCV=ON \
    -D OPENCV_PYTHON3_INSTALL_PATH=/usr/local/lib/python3.7/dist-packages \
    -D OPENCV_GENERATE_PKGCONFIG=ON \
    ../opencv-master

3.使用Opencv和Gstreamer处理视频流

使用Opencv和Gstreamer处理视频流的方法与常规的Opencv视频流处理基本一致，只需要指定使用Gstreamer的视频捕获设备即可。例如，以下代码使用Gstreamer捕获从摄像头中获取的视频流并显示在窗口中：

import cv2

cap = cv2.VideoCapture("v4l2src device=/dev/video0 ! video/x-raw,width=640,height=480 ! videoconvert ! appsink", cv2.CAP_GSTREAMER)

while True:
    ret, frame = cap.read()
    if not ret:
        break

    cv2.imshow("video", frame)

    if cv2.waitKey(10) == 27:
        break

cap.release()
cv2.destroyAllWindows()

以上代码中，`v4l2src device=/dev/video0 ! video/x-raw,width=640,height=480 ! videoconvert ! appsink`指定使用Gstreamer捕获视频流，并设置捕获的设备为`/dev/video0`，视频流的宽和高分别为`640`和`480`。`videoconvert`表示进行视频流格式转换，`appsink`表示将视频流发送给Opencv进行处理。