使用opencv做一个眼球上下左右识别的程序

要使用OpenCV实现眼球上下左右的识别，可以使用Haar级联分类器和Pupil分割算法来实现。

1. 加载Haar级联分类器模型

首先，需要加载Haar级联分类器模型，该模型用于检测眼睛位置。可以使用以下代码加载模型：

import cv2

eye_cascade = cv2.CascadeClassifier('haarcascade_eye.xml')

其中，`haarcascade_eye.xml`是OpenCV自带的一个Haar级联分类器模型，用于检测眼睛位置。

2. 检测眼睛位置

接下来，需要使用Haar级联分类器模型来检测眼睛位置。可以使用以下代码来实现：

gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
eyes = eye_cascade.detectMultiScale(gray, scaleFactor=1.3, minNeighbors=5, minSize=(30, 30))

其中，`frame`是输入的图像帧，`gray`是将图像帧转换为灰度图像后的结果，`scaleFactor`是尺度因子，`minNeighbors`是邻居数，`minSize`是最小检测尺寸。检测完成后，会返回一个眼睛位置的列表。

3. 分割瞳孔

接下来，需要对眼睛区域进行分割，提取出眼球的位置。可以使用Pupil分割算法来实现。具体实现方法可以参考以下代码：

import numpy as np

for (x,y,w,h) in eyes:
    eye = frame[y:y+h, x:x+w]
    gray_eye = cv2.cvtColor(eye, cv2.COLOR_BGR2GRAY)
    _, threshold_eye = cv2.threshold(gray_eye, 70, 255, cv2.THRESH_BINARY)
    
    kernel = np.ones((2, 2), np.uint8)
    threshold_eye = cv2.morphologyEx(threshold_eye, cv2.MORPH_OPEN, kernel)
    
    contours, hierarchy = cv2.findContours(threshold_eye, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
    contours = sorted(contours, key=lambda x: cv2.contourArea(x), reverse=True)
    
    for cnt in contours:
        (x, y, w, h) = cv2.boundingRect(cnt)
        cv2.rectangle(eye, (x, y), (x + w, y + h), (0, 255, 0), 2)
        crop_eye = threshold_eye[y:y + h, x:x + w]
        _, crop_eye = cv2.threshold(crop_eye, 70, 255, cv2.THRESH_BINARY)
        
        if crop_eye.shape[0] != 0 and crop_eye.shape[1] != 0:
            cx, cy = np.mean(np.where(crop_eye == np.max(crop_eye)), axis=1)
            cv2.circle(eye, (int(cx+x), int(cy+y)), 4, (0, 0, 255), -1)

首先，将眼睛区域提取出来，并将其转换为灰度图像。然后，使用二值化的方法将图像转换为黑白图像，并使用开运算（`cv2.morphologyEx()`函数）来去除噪点。接下来，使用`cv2.findContours()`函数找到轮廓，并按照轮廓面积进行排序。然后，对每个轮廓进行矩形边框绘制，并将其裁剪出来。最后，使用np.mean()函数计算出瞳孔的中心位置，并绘制在眼球图像上。

4. 计算眼球位置

最后，根据瞳孔的位置，可以计算出眼球的位置。具体实现方法可以参考以下代码：

for (x,y,w,h) in eyes:
    eye_center = (int(x + w/2), int(y + h/2))
    pupil_center = (int(cx+x), int(cy+y))
    
    dx = pupil_center[0] - eye_center[0]
    dy = pupil_center[1] - eye_center[1]
    
    if dx > 20:
        print('right')
    elif dx < -20:
        print('left')
    elif dy > 20:
        print('down')
    elif dy < -20:
        print('up')

这里使用眼睛区域的中心点作为眼球的中心点，然后计算瞳孔中心点与眼球中心点的偏移量。如果偏移量超过一定阈值，则认为眼球向上、下、左或右移动。这里的阈值可以根据具体需求进行调整。

这样，就可以实现眼球上下左右的识别了。需要注意的是，实现过程中需要根据具体的图像和分辨率进行调整，以获得更好的识别效果。