单应矩阵详解：从像素到相机坐标转换

"单应矩阵的推导与理解 - 知乎1" 单应矩阵是计算机视觉和图像处理领域中的一个重要概念，它描述了一个三维空间点在不同摄像机坐标系下的二维投影之间的映射关系。单应矩阵是一个3x3的矩阵，能够表示平面在不同图像之间的几何变换，尤其在处理平面场景时特别有用，如图像拼接、图像校正等任务。 首先，我们来看相机系坐标和像素系坐标。相机系坐标是三维空间中的一个坐标系统，通常以相机的中心为原点，X、Y、Z轴分别代表左右、上下和镜头指向的方向。而像素系坐标是图像上的二维坐标，代表像素的位置，通常以图像左上角为原点。 相机内参矩阵（也称作焦距矩阵）K包含了一些固定参数，比如焦距、主点坐标等，它用于将相机系坐标转换为像素系坐标。3D空间点P在相机系下的坐标可以通过内参矩阵K投影到像素系，得到齐次坐标形式的像素坐标(x', y')。 接下来是平参数，它包含了3D空间点所在平面的信息。平参数包括平面的法向量n和原点到平面的距离d。对于位于该平面上的点P，其坐标满足法向量n与点P到平面原点的向量的点积等于d。利用这些信息，可以求解出3D点的深度z，从而进一步从像素坐标恢复出相机系坐标。 单应矩阵H的推导基于两个相机间的相对位置和姿态，以及平参数。假设我们有两个相机系统，一个为a系，另一个为b系。如果知道相机a到相机b的旋转R和位移t，以及平面参数，那么可以通过单应矩阵H来计算出3D点在b系下的像素坐标。单应矩阵H包含了这两个相机的相对关系和平面信息，可以将a系的像素坐标映射到b系。 具体来说，单应矩阵H可以由两相机的旋转和平移矩阵、相机内参矩阵和平面对应关系组合得出。通过H，我们可以将a系的像素坐标转换为b系的像素坐标，但通常由于深度信息缺失，直接的转换是不可行的。当引入3D点的平参数后，就可以通过求解来找到缺失的深度信息，进而完成像素坐标之间的转换。 总结来说，单应矩阵是连接两个图像平面的关键工具，通过它我们可以理解和计算不同视角下的相同场景的几何关系。理解单应矩阵的推导和应用，对于进行图像分析、匹配和重建等任务至关重要。在实际应用中，我们通常会用到一些算法，如RANSAC（随机样本一致）来处理噪声和异常值，以提高匹配的准确性。