mediapipe 坐标转换到UE5中的世界坐标 c++

要将 Mediapipe 中的坐标转换为 UE4/UE5 中的世界坐标，需要进行以下步骤：

1. 获取 Mediapipe 中的坐标，例如左手关节的坐标 (x_mediapipe, y_mediapipe, z_mediapipe)。
2. 获取 Mediapipe 中相机的内参矩阵 K 和畸变系数 dist_coeffs。这可以通过 Mediapipe 的相机推导模块得到。
3. 使用 OpenCV 库中的函数 cv::undistortPoints 将 Mediapipe 坐标转换为归一化相机坐标系下的坐标 (x_cam, y_cam)。具体实现可以参考以下代码：

cv::Matx33d K( /* 3x3 相机内参矩阵 */ );
cv::Matx<double, 5, 1> dist_coeffs( /* 畸变系数 */ );
cv::Point2d mediapipe_coord( /* Mediapipe 坐标 */ );

// 构造输入点矩阵
cv::Matx<double, 1, 2> input_pt(mediapipe_coord.x, mediapipe_coord.y);

// 去畸变
cv::Matx<double, 1, 2> output_pt;
cv::undistortPoints(input_pt, output_pt, K, dist_coeffs);

// 归一化相机坐标系下的坐标
double x_cam = output_pt(0, 0);
double y_cam = output_pt(0, 1);

4. 根据相机的姿态矩阵和相机坐标系下的坐标 (x_cam, y_cam, z_mediapipe) 计算出相机在世界坐标系下的位置和方向。具体实现可以参考以下代码：

cv::Matx44d camera_pose( /* 相机姿态矩阵 */ );
double x_world = camera_pose(0, 3) + camera_pose(0, 0) * x_cam + camera_pose(0, 1) * y_cam + camera_pose(0, 2) * z_mediapipe;
double y_world = camera_pose(1, 3) + camera_pose(1, 0) * x_cam + camera_pose(1, 1) * y_cam + camera_pose(1, 2) * z_mediapipe;
double z_world = camera_pose(2, 3) + camera_pose(2, 0) * x_cam + camera_pose(2, 1) * y_cam + camera_pose(2, 2) * z_mediapipe;

// 得到相机在世界坐标系下的位置和方向
FVector camera_pos(x_world, y_world, z_world);
FRotator camera_rot(camera_pose);

5. 最后，将相机位置和方向应用到 UE4/UE5 的相机中即可。