opencv+gstreamer python 读取视频流

在Python中，OpenCV (Open Source Computer Vision Library) 可以配合 GStreamer (一种跨平台多媒体框架) 来处理视频流。GStreamer允许你在多种协议、文件格式以及硬件设备间流畅地传递数据，包括网络摄像头、本地视频文件等。

下面是一个简单的示例，演示了如何使用OpenCV和GStreamer从视频源读取视频流：

import cv2
import gi
gi.require_version('Gst', '1.0')
from gi.repository import Gst, GObject

# 初始化GStreamer上下文
GObject.threads_init()
Gst.init(None)

def on_new_sample(sink):
    sample = sink.emit("pull-sample")
    if not sample:
        return False

    # 获取样本的数据
    buffer = sample.get_buffer()

    # 解析数据为图像
    caps = sample.get_caps()
    width, height, format = caps.get_structure(0).get_ints("width", "height", "format")
    img_data = buffer.extract_dup(0, buffer.get_size())

    # 转换数据为OpenCV可以使用的BGR格式
    img_array = np.frombuffer(img_data, dtype=np.uint8)
    img_array = img_array.reshape((height, width, 3))  # BGR order

    # 显示图像
    cv2.imshow("Video Stream", img_array)

    # 如果按下q键退出循环
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# 创建播放器 pipeline
pipeline_str = "v4l2src device=/dev/video0 ! video/x-raw,format=BGR ! omxh264dec ! videoconvert ! appsink"
player = Gst.parse_launch(pipeline_str)
sink = player.get_by_name("appsink")

# 连接信号处理器
bus = player.get_bus()
bus.add_signal_watch()
bus.connect("message", on_new_sample)

# 启动播放
player.set_state(Gst.State.PLAYING)

try:
    # 等待播放完成
    while player.query_state(Gst.QueryFlags.GET_STATE) == Gst.State.PLAYING:
        GObject.main_iteration()
except:
    pass

# 关闭和释放资源
player.set_state(Gst.State.NULL)
bus.remove_signal_watch()
cv2.destroyAllWindows()
player.stop()
player.release()

这个脚本首先初始化GStreamer，然后创建一个从/dev/video0读取的视频源，通过H.264解码，转换格式并发送到appsink。`on_new_sample`函数会接收每帧新的数据，并将其显示在OpenCV窗口中。