opencv 双目 图片的 某一像素坐标求出 世界坐标

在使用OpenCV处理双目图像时，需要将某一像素坐标转换为世界坐标。这个过程的实质就是将像素坐标映射到相机坐标系下的坐标，再将相机坐标系下的坐标转换为世界坐标系下的坐标。

在进行这一过程之前，需要先获取相机的内参矩阵和外参矩阵。相机的内参矩阵包含了相机光心的位置、像素的大小和畸变参数等信息，而外参矩阵则包含了相机的位置和朝向等信息。

通过将像素坐标和内参矩阵相乘，可以得到在相机坐标系下的坐标。然后再将相机坐标系下的坐标和外参矩阵相乘，就可以得到在世界坐标系下的坐标。

具体步骤如下：

1. 定义相机内参和外参矩阵。

Mat K = Mat::eye(3, 3, CV_64F);
K.at<double>(0,0) = fx; // 相机的水平方向的焦距
K.at<double>(1,1) = fy; // 相机的垂直方向的焦距
K.at<double>(0,2) = cx; // 相机光心在水平方向上的坐标
K.at<double>(1,2) = cy; // 相机光心在垂直方向上的坐标

Mat R = Mat::eye(3, 3, CV_64F);
Mat T = Mat::zeros(3, 1, CV_64F);

2. 计算像素坐标对应的射线。

Point2f uv(x, y);
Mat uvMat = Mat::ones(3, 1, CV_64F);
uvMat.at<double>(0,0) = uv.x;
uvMat.at<double>(1,0) = uv.y;

Mat tempRay = K.inv() * uvMat;
Mat ray = Mat::zeros(3, 1, CV_64F);
ray.at<double>(0,0) = tempRay.at<double>(0,0);
ray.at<double>(1,0) = tempRay.at<double>(1,0);
ray.at<double>(2,0) = 1.0;

3. 计算像素坐标对应的相机坐标。

Mat cameraCoord = R.inv() * (ray - T);

4. 计算相机坐标对应的世界坐标。

Mat worldCoord = Mat::zeros(4, 1, CV_64F);
worldCoord.at<double>(2,0) = depthVal; // 相应的深度值
worldCoord = R.inv() * worldCoord;
worldCoord = worldCoord + T;

通过以上步骤，就可以将双目图像中的某一个像素坐标转换为世界坐标了。需要注意的是，这个过程只适用于已经获取了相机内参矩阵和外参矩阵的情况。