mediapipe坐标转换ue世界坐标

要将 MediaPipe 中的坐标转换为 Unreal Engine 中的世界坐标，您需要执行以下步骤：

1. 获取 MediaPipe 中的坐标(x,y)。

2. 使用 Unreal Engine 的相机投影矩阵将 MediaPipe 坐标转换为相机空间坐标。

3. 使用相机的位置和旋转将相机空间坐标转换为世界坐标。

下面是一个示例代码：

// MediaPipe 中的坐标
float mediapipe_x = 0.5f;
float mediapipe_y = 0.5f;

// 获取 Unreal Engine 相机
APlayerCameraManager* cameraManager = GetWorld()->GetFirstPlayerController()->PlayerCameraManager;
if (cameraManager == nullptr) {
    return;
}

// 使用相机投影矩阵将 MediaPipe 坐标转换为相机空间坐标
FVector cameraSpacePos = FVector((mediapipe_x - 0.5f) * 2.0f, (mediapipe_y - 0.5f) * 2.0f, 0.0f);
FMatrix projectionMatrix = cameraManager->GetCameraProjectionMatrix();
FMatrix invProjectionMatrix = projectionMatrix.Inverse();
FVector cameraSpacePosHomogeneous = FVector::TransformPosition(cameraSpacePos, invProjectionMatrix);

// 使用相机位置和旋转将相机空间坐标转换为世界坐标
FVector cameraPos = cameraManager->GetCameraLocation();
FRotator cameraRot = cameraManager->GetCameraRotation();
FTransform cameraTransform(cameraRot, cameraPos);
FVector worldPos = cameraTransform.TransformPosition(cameraSpacePosHomogeneous);

在这个示例代码中，我们使用 MediaPipe 中的坐标(0.5, 0.5)，并假设您已经获取了 Unreal Engine 中的相机。我们首先将 MediaPipe 坐标转换为相机空间坐标，然后使用相机的位置和旋转将相机空间坐标转换为世界坐标。最终，我们得到了在 Unreal Engine 世界中的坐标。