PMVS多视图立体匹配技术详解

"PMVS的ppt讲解" PMVS（Patch-based Multi-view Stereo Software）是一个用于三维重建的算法，由Yasutaka Furukawa和Jean Ponce在2007年首次提出并开源。该算法专注于生成准确、密集且鲁棒的多视图立体匹配结果，适用于近景场景的重建。在2009年，PMVS发布了第二个版本，进一步提升了性能和适应性。 在PMVS中，输入是一组照片和相应的相机参数，输出是带有颜色信息的密集点云，每个点都有三维坐标和法向量。值得注意的是，PMVS能够自动忽略非刚性对象，如动态的人或物体，只重建静态的刚性结构。 1. PMVS简介 PMVS的核心在于通过比较不同视角的照片中的对应像素，利用多视图几何原理来估计三维空间中的点。它采用了基于补丁（patch-based）的方法，将图像中的一小块区域（patch）作为一个单位进行处理，提高了匹配的精度和稳定性。PMVS2是PMVS的一个优化版本，由Pierre Moulon修改，使其能在32位Windows系统下运行。 2. 基本概念 - 摄像机坐标系：摄像机坐标系的原点位于摄像机中心，Z轴指向摄像机的主光轴，即穿过图像平面的方向；X轴平行于图像平面的x轴，Y轴平行于图像平面的y轴。 - P矩阵：P矩阵是表示摄像机投影的3x4矩阵，包含了相机的内外参。它可以将三维世界坐标映射到二维图像平面上。如果已知摄像机的内外方位元素，可以计算出P矩阵。 - F矩阵： Fundamental Matrix，基础矩阵，是描述两个视图之间几何关系的3x3矩阵，用于两视图间的对应像素点的几何约束。 - patch：在PMVS中，patch是指图像中的一小块连续区域，通常用于局部特征的提取和匹配。 3. 算法流程 PMVS的算法大致分为以下步骤： 1. 特征匹配：通过SIFT、SURF等方法找到不同视图间对应的特征点。 2. 补丁创建：以特征点为中心，创建一系列的小图像块（patch）。 3. 补丁对齐：将所有视图的补丁进行对齐，以消除视差。 4. 立体匹配：对每个补丁，计算其在各个视图中的深度，采用随机样本一致性（RANSAC）或其他方法去除错误匹配。 5. 稠密重建：根据匹配的补丁，使用多视图几何方法扩展到整个图像，生成稠密的深度图。 6. 点云生成：将深度图转换为三维点云，同时估计点的法向量。 7. 后处理：去除噪声，如非刚性物体，优化点云的连续性和完整性。 PMVS是一种高效、准确的多视图立体匹配工具，特别适合近景场景的三维重建。通过理解其基本概念和工作流程，用户可以更好地运用PMVS进行实际的三维重建任务。