mediapipe手指数字

### MediaPipe 手指 数字识别 实现方法

MediaPipe 提供了一种高效的手掌关键点检测工具，能够精确捕捉手部姿态并提取手指关节位置数据。基于这些特征点信息，可以设计算法来解析不同手势所代表的具体含义。

#### 关键技术要点

- **手掌关键点模型加载**
使用预训练好的手掌关键点检测器初始化MediaPipe Hands模块实例[^1]。

import mediapipe as mp
mp_hands = mp.solutions.hands.Hands(
    static_image_mode=False,
    max_num_hands=2,     # 支持最多两只手的同时跟踪
    min_detection_confidence=0.7)

- **图像帧处理流程**
对每一帧视频输入执行如下操作：转换色彩空间、调整尺寸以及应用手掌关键点估计函数获取多组坐标集。

image_rgb = cv2.cvtColor(image_bgr, cv2.COLOR_BGR2RGB)  # 色彩空间变换
results = mp_hands.process(image_rgb).multi_hand_landmarks  # 获取所有手的关键点集合
if results is not None:
    for hand_landmarks in results:  # 遍历每一只手的数据
        landmark_positions = [(lm.x, lm.y, lm.z) for lm in hand_landmarks.landmark]

- **手指弯曲程度计算**
定义规则用于评估各个手指的状态（伸直/弯曲），进而推断出手势形态。通常情况下会考虑相邻两节骨骼向量之间的夹角大小作为评判依据之一。

def get_finger_state(finger_tip_pos, finger_pip_pos, finger_mcp_pos):
    """ 计算单根手指的弯曲情况 """
    vec_a = np.array([finger_tip_pos[0]-finger_pip_pos[0], finger_tip_pos[1]-finger_pip_pos[1]])
    vec_b = np.array([finger_pip_pos[0]-finger_mcp_pos[1]])
    
    cosine_angle = np.dot(vec_a, vec_b)/(np.linalg.norm(vec_a)*np.linalg.norm(vec_b))
    angle = np.arccos(cosine_angle)

    return 'bend' if abs(angle-np.pi)<0.3 else 'straight'

- **数字映射逻辑构建**
根据五根手指的不同组合模式建立一套完整的编码体系，使得特定的手势可以直接对应到相应的阿拉伯数值上。例如当拇指与其他四指均处于张开状态时表示数字5；而仅食指竖起则意味着数字1等等。

def recognize_number(thumb, index, middle, ring, pinky):
    states = [thumb, index, middle, ring, pinky]

    mapping_rules = {
        (True , True , False, False, False): 1,
        (False, True , True , False, False): 2,
        ...
        (True , True , True , True , True ): 5}
        
    state_tuple = tuple(['open'==state for state in states])
    number = mapping_rules.get(state_tuple,-1)
    return number

通过上述步骤即可完成从原始摄像头采集画面直至最终输出具体数字的过程，在实际开发过程中还需要针对各种复杂场景做进一步优化改进以提高鲁棒性和准确性。