半全局立体匹配算法yolo

### 半全局立体匹配算法(SGM)与YOLO结合使用

#### 方法概述
半全局立体匹配算法（SGM）能够提供高精度的深度信息，而YOLO则擅长快速准确地识别物体边界框。两者结合可以在实时场景中实现高效的目标检测和距离测量。

对于目标检测任务而言，在获取到一对左右摄像头拍摄的画面之后，先利用YOLO模型来定位并分类前景中的各个对象；随后针对这些被标记出来的区域执行SGM计算其对应的视差图从而得到精确的距离数据[^1]。

#### 应用场景实例
- **自动驾驶汽车**：车辆前方安装有双目相机系统用于捕捉道路环境影像资料。借助于YOLO可迅速判断出行人、其他机动车辆以及交通标志牌等重要元素的位置关系，并通过SGM进一步确认它们离自己有多远以便做出合理避让动作规划。

- **机器人导航**：服务型机器人在室内环境中移动时同样依赖此类技术组合完成路径规划工作——即依靠视觉传感器收集周围障碍物情报再经由上述流程处理后决定前进方向及速度调整策略。

import cv2
from yolov5 import YOLOv5  # 假设这是加载YOLO v5的方式

def process_frame(frame_left, frame_right):
    yolo_model = YOLOv5('yolov5s.pt')  # 加载预训练好的YOLO模型
    
    results = yolo_model.detect([frame_left])  # 对左眼图像做目标检测
    
    disparity_map = compute_disparity_sgm(frame_left, frame_right)  # 计算两帧之间的视差图
    
    detected_objects_with_distance = []
    
    for result in results:
        bbox = result['bbox']
        class_name = result['class']
        
        object_depth = estimate_object_depth(disparity_map, bbox)
        
        detected_objects_with_distance.append({
            'class': class_name,
            'distance': object_depth
        })
    
    return detected_objects_with_distance


def compute_disparity_sgm(imgL, imgR):
    stereo = cv2.StereoSGBM_create(
        minDisparity=0,
        numDisparities=16*8,
        blockSize=7,
        P1=8 * 3 * 3**2,
        P2=32 * 3 * 3**2,
        disp12MaxDiff=1,
        uniquenessRatio=10,
        speckleWindowSize=100,
        speckleRange=32
    )
    
    disparity = stereo.compute(imgL, imgR).astype(np.float32)/16.
    return disparity


def estimate_object_depth(disparity_map, bounding_box):
    x_min, y_min, width, height = bounding_box
    avg_disp = np.mean(disparity_map[y_min:y_min+height, x_min:x_min+width])
    focal_length = ...  # 这里应该填入实际使用的焦距参数
    baseline = ...      # 双目摄像机基线长度也需要指定
    depth = (focal_length * baseline) / max(avg_disp, 1e-6)
    return depth