panda机械臂d435眼在手外手眼标定

### Panda机械臂与D435相机手眼标定（眼在手外）

#### 准备工作

对于Panda机械臂和Intel RealSense D435深度相机的手眼标定，在开始之前需确认硬件连接无误并完成必要的软件配置。由于采用的是眼在手外的方式，即摄像头不安装于机械臂上而是固定在一个独立位置观察机械臂的动作。

确保已经正确设置了环境变量以及ROS节点能够正常启动，并且eye_on_hand参数设置为`False`表示这是眼在手外的情况[^2]。另外，如果未装配夹爪，则末端执行器的坐标系应指定为`panda_link8`作为参考点用于后续计算。

#### 解锁机械臂

当给Franka Emika Panda机械臂供电后，其基座上的指示灯变为黄色。此时可通过浏览器访问地址`http://172.16.0.2/`来打开控制页面，按照界面上提示操作以解锁机械臂以便进行下一步动作捕捉与数据采集工作[^3]。

#### 数据收集过程

为了获取足够的样本用于精确估计变换矩阵，建议移动机械臂到多个不同姿态下停止片刻让传感器记录当前位姿信息及其对应的图像特征点集合。这些采样应该覆盖尽可能广泛的空间范围从而提高最终模型准确性。

#### 计算转换关系

利用OpenCV库或者其他计算机视觉工具包实现基于张正友棋盘格或其他已知几何结构的目标物来进行角点检测，进而求解内外参及旋转平移向量。具体来说就是找到一系列配对好的空间点与其投影后的像素坐标之间的映射规律，以此为基础构建优化方程组并通过最小二乘法等手段得到最优解。

import cv2
import numpy as np

criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)

objp = np.zeros((6*9,3), np.float32)
objp[:,:2] = np.mgrid[0:9,0:6].T.reshape(-1,2)*20  # 假设每格宽度为20mm

axis = np.float32([[3,0,0], [0,3,0], [0,0,-3]]).reshape(-1,3)

def draw(img, corners, imgpts):
    corner = tuple(corners[0].ravel())
    img = cv2.line(img, corner, tuple(imgpts[0].ravel()), (255,0,0), 5)
    img = cv2.line(img, corner, tuple(imgpts[1].ravel()), (0,255,0), 5)
    img = cv2.line(img, corner, tuple(imgpts[2].ravel()), (0,0,255), 5)
    return img
    
for fname in images:
    img = cv2.imread(fname)
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    
    ret, corners = cv2.findChessboardCorners(gray, (9,6),None)

    if ret == True:
        objpoints.append(objp)   # 将每一个三维世界中的点的位置保存下来
        
        corners2 = cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)
        
        imgpoints.append(corners2) 

        # Draw and display the corners
        img = cv2.drawChessboardCorners(img, (9,6), corners2,ret)
        cv2.imshow('img',img)
        k = cv2.waitKey(500)

cv2.destroyAllWindows()

上述代码片段展示了如何使用Python结合OpenCV库读取图片序列寻找标准棋盘图案，并提取出精准定位后的角点位置列表供后面处理阶段调用[^1]。