透视相机下的非刚性结构运动恢复：一种增量式方法

本文主要探讨了非刚性结构运动恢复（NRSfM）的问题，特别是在透视相机模型下，如何处理未知焦距的情况。作者提出了一种增量式的解决方案，适用于带有未知焦距的透视相机和等距表面。该方法不仅能够估计相机的内在参数，还能在无模板场景下，通过局部刚性和最大深度启发式（MDH）来升级重建，从而同时恢复焦距和非刚性形状。 1 介绍 传统的运动恢复结构（SfM）方法在处理刚性物体时效果良好，但在面对非刚性物体时则显得力不从心。NRSfM旨在解决这一问题，通过多视角的图像来重建单个相机视场内的3D非刚性物体变形。然而，由于缺乏足够的约束，NRSfM面临着解的不确定性。此外，如果没有任何先验知识（如变形或形状），问题会变得更加困难。 2 方法与技术 文章提出的增量式方法首先关注于在模板存在的场景中估计相机的内在参数，包括四个参数的相机模型。对于没有模板的NRSfM，文章提出使用局部刚性和MDH策略，以逐步改进重建结果。MDH是一种用于确定点云深度的方法，它基于假设最远的点提供了最多的运动信息。这种方法能有效地处理大量点和增加新视图的情况，通过二次锥规划（SOCP）求解，无需初始形状估计，而且计算速度显著快于其他方法。 3 实验与评估 作者对标准数据集进行了定量和定性的评估，并在具有挑战性的YouTube视频上进行了实地测试。结果显示，所提出的方法在速度和准确性上都优于现有的NRSfM技术。 4 结论 该文提出了一种有效且实用的非刚性结构运动恢复方法，解决了未知焦距带来的挑战，且在处理大规模数据和多视图集成时表现出优越的性能。这种方法有望推动非刚性3D重建领域的进步，特别是在单目视频分析和实时应用中。 该研究的意义在于，它为非刚性物体的3D重建提供了一个新的视角，即在不确定的焦距和复杂的相机模型下，也能实现高精度的运动恢复。这为未来的研究开辟了新的方向，例如在机器人导航、虚拟现实和医学影像分析等领域。