非刚性结构运动恢复方法和未知焦距的增量式重建

焦距未知的增量式非刚性结构运动恢复Thomas Probst1，Danda Pani Paudel1，Ajad Chhatkuli1，and Luc Van Gool1，21瑞士苏黎世联邦理工学院计算机视觉实验室2VISICS，ESAT/PSI，KU Leuven，比利时{probstt，paudel，ajad.chhatkuli，vangool}@ vision.ee.ethz.ch抽象。透视相机和等距表面之前最近聚集了越来越多的关注，从运动的非刚性结构（NRSfM）。尽管最近取得了进展，但仍存在一些挑战，特别是计算复杂性和未知的相机焦距。本文提出了一种增量式的非刚性结构运动恢复方法，该方法采用透视相机模型和未知焦距的等距曲面先验。在基于模板的情况下，我们提供了一种方法来估计四个参数的相机的内在。对于NRSfM的无模板场景，我们提出了一种方法来升级重建获得一个焦距到另一个基于局部刚性和所谓的最大深度启发式（MDH）。在此基础上，我们提出了一种方法，同时恢复焦距和非刚性形状。我们进一步解决了在基于MDH的NRSfM中包含大量点和添加更多视图的问题，并使用二阶锥规划（SOCP）有效地解决这不需要任何形状初始化，并且产生的结果比许多方法快几倍。我们对标准序列进行评估，并对具有挑战性的YouTube视频进行地面实况和定性重建。这些评估表明，我们的方法在速度和准确性方面都优于现有技术。1介绍给定来自不同视图的刚性对象的图像，运动恢复结构（SfM）[1然而，许多这样的感兴趣对象是非刚性的，并且SfM的刚性约束不成立。具有使对象变形的手段的单目视频的不断这样的重建问题可以用非刚性运动恢复结构（NRSfM）来解决，该非刚性运动恢复结构使用变形对象的多个图像来从单个相机重建其3D。另一种相关方法基于对象的模板形状及其变形图像来计算形状，也称为模板形状（SfT）。虽然SfM是适定的，并且已经在商业软件中看到了一些应用[4，5]，但非刚性重建具有固有的理论问题。在没有变形或形状的先验知识的情况下，它是严重约束不足的。事实上，给定多个图像，存在提供相同图像投影的变形的无限可能性。因此，在NRSfM的主要挑战之一是有效地结合现实的变形约束和相机投影模型，以减少解决方案的模糊性。2Thomas Probst、Danda Pani Paudel、Ajad Chhatkuli和Luc Van Gool图1：定性结果。我们的密集NRSfM方法的比较（右下） Ji et al.[6]（左上）和Dai et al.[7]（右上）在三个不同的序列。大多数先前的方法利用仿射相机模型和变形形状的低秩近似来处理NRSfM[7然而，这样的方法不能很好地处理透视效果和非线性变形。在本文中，我们研究了使用未标定的透视相机和等距变形前的非刚性重建。等距是一种几何先验，这意味着表面上的测地距离随着变形而保持不变。这对于许多真实对象（例如人体、纸状表面或布料）来说是一个很好的近似。在SfT中，在透视相机之前使用等距变形被认为是无参数方法中的最先进[15-特别地，[15，18]还在恢复变形的同时估计焦距。在NRSfM中，一些最近的方法[6，19]提供了一种凸公式，其具有用于校准的透视相机设置的不可扩展变形。通过沿着[20，21]中针对基于模板的重建引入的视线最大化深度来实现重建虽然这些方法使用透视相机模型和几何先验进行非刚性重建，但是它们的计算复杂性不允许重建大量的点。另一方面，最近使用透视相机模型的一些密集方法已经显示出有希望的结果，但是它们依赖于分段刚性约束[22，23]和形状初始化;这对于几种应用来说可能过于限制。此外，使用透视摄像机的方法要么依赖于已知的固有函数，要么不能处理显著的非刚性[24]。据我们所知，估计未知的焦距还没有被调查在NRSfM变形表面。在本文中，我们解决了上述问题的方法的基础上凸松弛等距。更准确地说，我们提供以下贡献：a）将使用不正确的相机内函数获得的非刚性重建“升级”为正确的相机内函数的重建的方法，b）估计内函数的方法-在SfT的情况下的所有五个条目和在无模板NRSfM的情况下的未知焦距通过添加图像。除了具有巨大的实际关注和理论价值之外，问题a）和b）还没有尝试用于使物体变形的NRSfM我们提供了一个统一的框架来解决问题a）到d），使用深度最大化和等距先验的关系。我们提供了理论上的理由，以及实用的方法为intrinics/焦距估计，以及致密化和在线重建。焦距未知的增量式非刚性结构运动恢复3结构战略尽管极具挑战性，我们展示了我们的方法的适用性与令人信服的结果。图1中示出了其中的几个示例。1.1相关工作简要讨论了基于等距先验和透视相机模型的方法这已经在基于模板的方法中被广泛探索[20，21，25]。特别地，[21]使用不可扩展性作为等距先验的松弛，以便通过逐点最大化深度来将非刚性重建公式化为凸问题几种最近的NRSfM方法[6，19，26-[27，28]要求对应映射函数及其一阶和二阶导数，限制了它们在实践中的应用。[19]在[26]的基础上进行了改进，为NRSfM提供了凸解他们通过在[21]的不可扩展锥约束下最大化所有视图中的逐点深度来实现这一点，同时还计算模板测地线。最近一种方法[6]改进了[19]，建议使用视线最大化而不是逐点深度。这两种方法都表明，在不可扩展性约束下移动表面远离相机可以被公式化为凸问题，有效地重建非刚性以及刚性对象。在初始解上使用能量最小化方法的不同类别的方法也使用透视相机模型，但是具有分段刚性先验[22，23]。然而，这里讨论的所有这些方法都需要校准的相机进行重建，并且没有提供关于它们如何可以扩展到未校准的相机的任何见解。[24]给出了一个值得注意的例外，然而这种方法仅限于具有几个独立移动对象的动态场景[29，30]。在[6，19]中尚未解决的另一个问题是大量点的增量重建。由于这些方法的高计算复杂度，因此半密集或密集重建在这里是不可能的。2问题建模我们提出的NRSfM问题，在每个视图中找到逐点深度我们将未知深度写为λ1，并且将已知的齐次图像坐标写为μ1，其中我我第L个图像中的点ii的相邻点的集合由N（i）表示。Dij表示点i和j之间的模板测地线距离，这是一个未知数NRSfM问题的已知量和SfT问题的已知量我们将最近邻域图定义为每个点i的固定数量的邻居的集合[19]。为了表示精确等距NRSfM问题，我们还在曲面S上的两个三维点之间引入了一个测地距离函数gS（x，y）：R3×R3→ R. 给定相机本征函数K，等距NRSfM问题可以写为：找到K，λlS.T. G我. K−1λlul，K−1λlulΣ=dij，i，j.（一）i i j j（1）定义了一个非凸问题，并且在其给定形式下也是不可处理的已经表明，利用各种松弛[6，19，26]，对于已知4Thomas Probst、Danda Pani Paudel、Ajad Chhatkuli和Luc Van Gool我我当观察到不同的视图和变形时。为了解决具有未知焦距的NRSfM问题，我们从观察到并非所有这样的解决方案通过所有视图提供等距一致的形状开始。我们在以下几节中阐述我们的方法。3未校准NRSfM给定已知的对象模板和校准的相机，（1）中的NRSfM问题可以通过用不可扩展性约束[21]放松等距约束来公式化为凸问题，如下所示：Σ ΣMaxLIl¨λ1，i¨（二）S.T.¨K−1（λlul−λlul）¨≤dij，j∈N（i）.i i j j然而，当di，j和K都未知时，我们对解决相同的问题感兴趣不幸的是，这个问题不仅是非凸的，而且是无界的。因此，我们在变量K和dij上使用两个额外的约束，使得对于未知的dij和K，（2）的问题变得有界。Σ Σ我j∈N（i）dij=1，K≤K.（三）尽管通过（3）的加法而有界，但重建问题仍然是非凸的。更重要的是，当K尽可能接近K时，目标函数的最大化有利于解。因此，我们用固定的初始猜测K#来解决（2）中的重建问题，并在以后寻求内在函数和重建的升级请注意，固定intrinsic使问题凸，并与[19]中的相同。Maxλl，dΣ Σλ1，iijli¨ ¨S.T.¨K¨−1（λlul−λlul）¨≤d、j∈ N（i），iijΣ Σ（四）我j∈N（i）dij=1。现在，我们感兴趣的是升级（4）的解决方案，使得升级后的重建正确地描述3D空间中的变形对象。在这项工作中，使用逐点升级方程进行升级。在下文中，我们首先推导出这个升级方程，假设正确的焦距是已知的，然后提供的理论和实际的方法来恢复未知的焦距。3.1升级公式让我们考虑r，λl和λl是由ul表示的点的深度，由（2）得到我我我和（4）。以下建议是我们工作的关键要素将λ（l）与λl相关联以用于重建升级。我我λ焦距未知的增量式非刚性结构运动恢复5我反对意见1. 若ul≈ul，则λl可以用已知的K用下式被提升到λl：iN（i）i i¨ ¨λl<$K−1ul<$我爱λl≈¨¨。（五）i¨K−1ul ¨我¨ ¨Pr of. 只要证明每个j∈N（i）满足¨K¨−1（λ¨lul−λ¨lul）¨≈¨¨ ¨¨iij jé¨2¨K−1（λlul−λlul）¨。从（5），对于任何u≈ul，¨K¨−1（λ¨lul−λ¨lul）¨可以i i j jiN（i）<$iij jé表示为，¨ ¨2¨¨2 ¨ ¨2≈¨K−1ul¨ <$K−1（λl−λl）ul<$/¨K¨−1ul¨，i¨i¨ ¨2jiéi騨2（六）=（λl−λl）2¨K−1ul¨≈¨K−1（λlul−λlul）¨. ⊔⊓i j i i i i j j请注意，条件ululN（i）对于任何两个足够接近的邻居都是有效的可以仅使用图像测量来选择这样的邻居。更重要的是，假设ul≈ul仍然允许深度λl和λl与众不同起到了iN（i）iN（i）重要的作用，特别是当相邻点的深度明显不同时，或者由于相机视角或高频结构变化。虽然，（5）只是重建升级的近似值，但实际上观察到其升级质量是准确的。以下是关于命题1的评论。注1. 由于对内部函数K的猜测趋向于真实的内部函数K，因此升级等于：甚至当ul/≈ul时，等式（5）对精确相等也成立.换句话说，iN（i）limλl=λl.（七）K→K我我3.2升级策略在命题1中提出的升级方程假设精确的本征函数K是已知的。然而，对于未校准的NRSfM，K未知。虽然对于大多数相机来说，主点可以被假设为在图像的中心[31]，但是关于焦距没有什么可以说的。因此，我们提出的策略，估计K在两种不同的情况下，已知和未知的形状模板。我们依赖于这样一个事实，即等距变形，在很大程度上，保持局部刚度。这在从（4）获得的重建中有所反映然而，由于透视图的变化和沿着不正确视线的点的延伸，使用不正确的固有函数产生的重建不太可能在不同视图中保持等距类似地，在这种情况下，向正确的本征函数的升级产生更好地满足等距的重建。第6节中的结果也支持这一点。存在可以使用重构表面的等距来确定正确的本征函数的各种方式。一个非常简单的方法是利用这样一个事实，即给定足够密集的重构点，正确的内在函数必须保持局部≈6Thomas Probst、Danda Pani Paudel、Ajad Chhatkuli和Luc Van Gool¨K−1u¨ ¨欧氏距离F或A=λK−1u，两个更新后的值之间的欧几里得距离i i¨i¨在任何视图中作为本征函数的相邻3D点可以表示为，¨−1 −1¨ˆ¨aˆiKuiaˆjKuj¨dij（K）=¨− i¨K−1uj现在，我们提出的技术来估计K时，形状模板是已知的（SfT），其次是一种方法来估计的焦距为无模板的情况下NRSfM。基于模板的校准为了简单起见，我们只使用一幅图像来给出校准理论。 这也是当形状模板已知时重建的充分条件[21]。 回想一下，对于Sf，T，在重建过程期间已经知道（4）中的di，j。根据已知的模板距离dij和重建升级后估计的欧氏距离dij（K），可以估计本征函数K通过最小化，ΦT（K）=Σ Σ我j∈N（i）.Σ2dij−dij（K）.（九）或者，我们也可以在所谓的绝对二次曲线（IAC）的图像上导出多项式方程，定义为k=K−K−1。第二个提案只要保持任意对{ui，uj}之间的刚性，无论是对任意K和ui≈uj，还是对任意{ui，uj}为K→K，都可以应用IA C通过求解，uΩuΩu=γ。uΩuΣ2、（10）iijj i ji j对于足够多的对，其中，γij=.2aiaja2+a2−d2Σ2.（十一）i j ij我们在补充材料中提供了证明注意，（10）是Ω项上的2次多项式。由于Ω具有5个自由度，因此可以使用数值方法从5对图像点估计它。我们基于模板的校准的核心思想包括三个步骤：（i）固定数量的假设生成，（ii）使用升级的重建的假设验证，结构质量，（iii）最佳假设的细化假设生成：给定来自（4）的基于模板的未校准重建，我们从随机选择的最小最近点对的集合生成用于相机固有函数的假设的集合。对于每个最小集合，我们求解（10）以获得这些假设。然后，通过对Ω执行Cholesky分解来恢复相机本征函数K。假设验证：通过计算其3D重建误差来验证每个假设。为此，我们首先使用针对当前假设的升级（5）来升级初始重建然后，使用（9）计算重构误差选择导致最小重构误差的假设以用于进一步细化。.（八）焦距未知的增量式非刚性结构运动恢复7内部细化：从最佳假设开始，我们通过最小化以下目标函数来优化内在函数：2个2.k（1，1）Σ2E（K）=ΦT（K）+k（1，3）+k（2，3）+1− k（2，2）、（十二）其中，k（i，j）是归一化的固有矩阵K的第i列条目，并且j是第h列条目。注意，我们通过K的预期结构（即靠近中心的主点和单位纵横比）来正则化3D重建误差ΦT（K）我们的正则化项通常是现有自动校准方法的主要目标[31，32]。最小-目标E（K）的最小化可以使用局部最优迭代精化方法有效地执行现在，我们总结我们的校准方法在算法。1.一、算法1[K]=使用T模板校准（K）1. 使用（4）重建3D，用于已知的dij和猜测2. 选择多组最小最近点对{ui，uj}。3. 对于每一组，(i) 通过求解（1 0）来生成假设K 〜。(ii) 使用（5）升级K〜的重建(iii) 使用（9）计算K~的重构误差4. 在所有集合中，选择具有最佳重构误差的K~。5. 利用（1 2）对最佳假设K进行精炼，得到K。无模板校准由于使用未知模板进行自校准非常具有挑战性，我们通过考虑主点位于图像中心并且两个焦距相等来放松它。我们假设内部函数在视图中是恒定的然后，我们在不同的视图中测量由（8）定义的升级后的局部欧氏距离的一致性更确切地说，我们希望通过最小化以下目标函数来估计以K为Φ（K）= Σ Σ ΣΣ.Σ2dk（K）−dl（K） .（十三）K l/=kij ij我j∈N（i）理想情况下，也可以推导出Ω上的多项式，类似于（10）。这可以通过从用于相同对的两个视图的两个方程中消除未知的变量dij来完成不幸的是，以这种方式导出的方程并不容易处理。或者，也可以尝试在不消除变量Ω 和di j 的 情况 下 求 解 多 项 式。然而，出于实际原因1，我们设计了一种方法，假设只有一个与焦距相对应的Ω条目是未知的。 在这种假设下，我们在补充材料中表明，也可以导出一个四次多项式，一个变量，相当于（10）。在本文中，我们避免对焦距做假设，因为这不是真正必要的。与基于模板的校准的情况不同，我们解决了1对于大多数相机，可以安全地假设它们的固有函数没有倾斜，单位宽高比，并且主点靠近图像中心。8Thomas Probst、Danda Pani Paudel、Ajad Chhatkuli和Luc Van Gool在两个步骤中迭代地进行无模板校准：（i）焦距细化，（ii）焦距验证。此后，对于无模板校准，除非另有说明，否则即使对于仅具有未知焦距的本征函数，我们也通过使用K来焦距细化：给定对焦距的初始猜测，通过最小化（13）的目标函数Φ（K）（可选地，在全本征函数上）来执行其细化。该细化过程找到细化的K，其导致跨视图的重建的更好的等距一致性。焦距确认：无模板校准的主要问题是获得给定的一对本征函数和重建的有效性。换句话说，如果给定来自所有可能焦距的所有重建，则知道正确的重建不是微不足道的。特别是当使用MDH使用高估的本征函数进行重建时，K允许平均深度主导目标，同时保持等距。这通常导致平坦且小规模的重建[17]。因此，过高估计的猜测K在最小化Φ（K）的同时，使其自身的重构优于任何升级的重构。依靠这个观察，我们寻求等距一致的重建与最小的焦距，这在实践中非常好。补充材料中提供了对我们推理的代数分析。在搜索焦距时，我们使用扫描过程。一方面，如果具有给定焦距的重建不支持任何升级，则以预定义的步长朝向较低焦距执行扫描，除非它开始支持升级。另一方面，如果重建有利于升级，我们遵循建议的焦距更新，直到它建议不再升级。所寻求的焦距是在其以下升级是有利的，而在其以上则不是有利的。设δ（K1，K2）是两个本征矩阵K1和K2的焦距差，ΔK是一个小的步长，当它加到本征矩阵K上时，它的焦距增加了该步长。我们的无模板校准方法总结在Algo中。二、算法2[K]=在没有模板的情况下校准W（K）0. 将扫描方向标志设置为0。1. 使用（4）重建3D，用于猜测K2. 从K开始，最小化（13）中的Φ（K）以获得K*。3. 如果δ（K*，K）≤，如果flag==0，则设置K=K−K，并转到步骤1。否则，返回K*。否则，设置和flag=1，K=K*并转到步骤1。我们在实验部分表明，算法。2收敛在非常少的迭代。在每次迭代中，除了重建本身之外，仅需要在最小化Φ（K）时进行主要计算。回想一下，使用局部方法迭代地最小化Φ（K）在局部搜索期间，需要针对每次更新的重建来计算Φ（K）。由于升级方程，可以立即计算成本Φ（K），而无需经过计算上昂贵的重建过程。焦距未知的增量式非刚性结构运动恢复9IJIJ我3.3在实践中的本质恢复虽然我们的重建方法使不可扩展的形状假设，升级策略使用分段刚性约束。尽管分段刚性假设对于不可扩展的形状大多是正确的，但在某些情况下，例如，当重建的点太稀疏时，它可能是有问题的。因此，需要特别注意稳健的校准。距离归一化和测地线：回想一下，升级等式（5）是在相邻图像点彼此足够接近或提供良好猜测的假设下的近似。当这些条件都不虽然较大的焦距可以减少残余误差，但它也减少了在不同视图的重建尺度中产生差异的个体距离。因此，在每次细化迭代期间，我们通过强制执行来固定规模Σ Σ我j∈N（i）dl（K）=1，l.（十四）这里另一个重要的实际方面是使用测地线gl（i，j）代替方程中的dl。（13）或Eq.（九）、当场景点稀疏时，使用测地线代替局部欧几里得距离可能是必要的。因此，我们选择使用根据Dijkstra算法[ 33 ]计算的测地线，稳定重新重建和重新校准：为了更好的校准准确度，特别是当初始猜测Kk不太准确时，我们从新估计的本征函数开始迭代地执行重新重建和重新校准，直到收敛。 这已经包含在Algo中。2，我们也包括在Algo之上。1、在我们的实践中在实践中，只有几个这样的迭代就足以收敛，即使对内在函数的初始猜测是非常任意的。4增量半密集NRSfM（4）的SOCP问题的时间复杂度为O（n3）。因此，在实践中，只有稀疏的点集可以以这种方式重建在这里，我们提出了一种方法来迭代加密的初始稀疏重建，然后在线新的视图/相机添加策略。除了增量重建的许多明显重要性之外，在我们的上下文中也有必要：（a）允许选择用于相机校准的最接近的图像点对，（b）计算用于单视图重建的3D测地线距离。4.1添加新点令P表示使用（4）重构的稀疏点的集合 我们想重新构造一组深度为ζ1的新点Q，使得Q∩ P=，与10Thomas Probst、Danda Pani Paudel、Ajad Chhatkuli和Luc Van Gool我现有的重建。这可以通过求解以下凸优化问题来实现Maxζl，eij，ααΛ+ Σ Σ布里尔，il i∈Q¨ ¨S.T.¨K¨ −1（ζlul−αλlul）¨≤e、j∈ N（i），我¨jj¨ijp¨（十五）¨K¨ −1（ζlul−ζlul）¨ ≤e，j∈N（i），¨i i j ¨ijqΣ Σ我j∈Nq（i）eij= 1 −α，Σ Σ其中，Λ=λ1，N（i）=N（i）∩ P，N（i）= N（i）∩ Q。标量αl i∈Pip q和1-α表示初始重建P和新重建的贡献Q，分别。注意，新重建的点不仅在它们之间而且相对于初始重建遵守不可扩展的这保持了重建P和Q之间的一致性。增量密集重建过程迭代地添加不相交集合Q1，Q2，. . . Qr到初始重构P，其中P编码整体形状，并且Qr表示细节。4.2添加新摄影机将新相机添加到NRSfM重建基本上是基于模板的重建问题。如果相机被校准，则可以直接从（2）获得重建。对于未校准的情况，可以首先使用（10）校准相机，并且使用（5）从（4重要的是要注意，仅当重建足够密集时，才可能计算基于模板的重建所需的精确模板测地距离di，j由于所提出的增量重建方法，这实际上不是问题。5讨论初始猜测K：在我们所有的实验中，我们通过将两个焦距设置为平均图像大小的一半并将主点设置为图像中心来选择初始猜测K缺少的功能：由于遮挡或匹配失败，某些图像可能会丢失特征点。这个问题可以在重建过程中通过丢弃与缺失点相对应的所有变量以及涉及它们的所有不可扩展约束来解决，如[19，26]中所做的。重建一致性：替代（15），也可以考虑重建两个重叠的集合P和Q，使得P ∩Q = R独立。然后，利用R从两个侧面完成它们之间的配准然而，这不仅由于重叠而在计算上是低效的，而且在几何上是不一致的。6实验结果我们进行了大量的实验，以验证所提出的理论和评估的性能，运行时间和所提出的方法的实用性。焦距未知的增量式非刚性结构运动恢复11(a) 加点：将25%的点增量添加到初始重建中。(b) 添加摄影机：将一半视图添加到初始重建中。图2：增量半密集NRSfM。Hand数据集上重建误差和运行时间的比较左：不同数量的点（视图数量=88）。右：不同数量的视图（点数=751）。运行时间以对数刻度显示。数据集。首先，我们简要描述了我们用来分析算法的数据集。KINECT纸。该VGA分辨率图像序列显示了平滑变形的纹理纸[34]。轨道包含大约1500个半密集但有噪声的点。绿巨人T恤数据集包含21种不同变形的漫画书封面，以及具有10种不同变形的纹理T恤[35]，高分辨率图像。虽然点数较低（分别为122和85），轨道具有非常小的噪声，因此我们获得非常精确的自动校准。旗该半合成数据集是从变形布料的mocap记录创建的[36]。我们使用虚拟640x480透视相机在30个视图中生成250个点报纸这个序列2包含双页报纸的变形和撕裂，用KINECT以HD分辨率记录[19]。手Hand数据集[19]具有中等分辨率图像。图像点的密集跟踪[37]在88个视图中产生多达1500个轨迹。数据集由序列的第一个和最后一个图像的地面实况3D组成。小黄人向日葵。这些序列用静态Kinect传感器记录[38]。Minion包含一个正在折叠和挤压变形的填充动物向日葵然而功能只有小翻译w.r.t.镜头我们逐渐重建了Minion的10，000多个点，Sunflower的5，000多个点，如图所1.一、我们能够重建全局变形和中级细节，例如Minion的眼镜不幸的是，由于光流跟踪的失败，我们无法重建均匀的区域和精细的细节。在向日葵中，我们可以捕捉到外部叶子的变形，而由于视点变化不足，花朵中心的细节无法恢复。第四章. 我们从YouTube视频中获取了两个序列，以显示增量半密集NRSfM2数据集由作者提供。3 https://www.youtube.com/watch? v=PhpeadpZsa44 https://www.youtube.com/watch? v= DIZM20MNc7c12Thomas Probst、Danda Pani Paudel、Ajad Chhatkuli和Luc Van Gool未校准的摄像头骆驼将头转向移动的摄像机，提供足够的运动来忠实地重建动物的3D运动。图1示出了针对重建的61个视图中的一个的超过3,000个点的3D结构在Kitten序列（每36个视图18，000个点）中，猫用身体和尾巴执行关节化和变形运动。同样，最先进的光流方法难以维持稳定的点轨迹，特别是在头部上。尽管如此，我们的方法在很好的程度上捕捉到了一般的运动。在上述所有数据集中，DLH无法获得正确的形状，而MaxRig无法忠实地重建形状，因为它无法处理足够的点。章该数据集包含两种不同变形的帽子的宽基线视图[18]。未变形帽的3D模板使用来自第一相机的图像的SfM流水线获得。然后，使用我们的基于模板的方法校准第二相机。6.1基于非刚性场景的摄像机标定为了衡量我们的校准结果的质量，我们报告的3D均方根误差（RMSE），相对焦距和主点估计误差。此外，我们在表1中提供了迭代次数和相应的运行时间。数据集数量点视图运行时间[s]托里格尼特 T总计焦点事件f初始化FGT估计节日误差%重建FGTn错误E接收器基于模板的焦距估计KINECT纸301232.3-16.8-52859011.743.00 0.54% 2.83 0.50%绿巨人122210.4-4.2-3784 430013.615.73 1.43% 5.53 1.37%标志250301.3-178.2-3844209.384.74 0.58% 4.54 0.56%帽13710.3-11.0-2039 230012.81.13 4.80% 1.13 4.80%无模板焦距估计KPaper301235.83110.12805285402.274.44 百分之零点八4.28 0.77%绿巨人122211.9536.51641 3784 38000.402.76 0.67% 2.75 0.66%t恤85100.61024.12000 3787 40005.633.52 1.10% 3.42 1.07%标志250302.66185.42803844004.175.24 0.64% 5.05 0.62%报纸4411924.55523.6750 105587016.67.79 1.09% 9.27百分之一点三表1：来自非刚性场景的焦距估计。我们报告的运行时间，重建误差和相对焦距估计误差，我们的基于模板和无模板的NRSfM校准方法。Torig是用给定焦距重建所需的时间，Ttotal是包括校准的运行时间对于无模板的情况，执行Niter迭代直到收敛。基于模板的相机校准。在算法的第一部分。1我们生成K的假设，并选择与模板具有最佳等距匹配的假设。我们在KINECT Paper、Hulk和Flag数据集上进行实验，并在表1中报告结果。我们观察到一致的改善重建精度与估计的内在。算法的第二部分1涉及通过最小化Eq.（十二）、为了分析这一部分，我们进行了两个实验：首先，我们对最初估计的内在函数f poly进行细化。在这里，我们可以通过改进的内在函数来不断改善重建误差。在Hulk和Flag数据集中，我们也得到了更好的焦距估计。然而在KINECT Paper上，焦距变差，而重建精度提高。这很可能是由于序列中的噪声轨道。由于有效的正则化，主点的误差始终很低。在第二个实验中，我们测量焦距未知的增量式非刚性结构运动恢复134我们的细化方法的鲁棒性。为此，我们通过在KGT的每个条目上独立地添加±20%的均匀噪声来模拟初始本征函数，并将重构误差与表2中所示的细化本征函数进行比较。我们比较Bartoli等人。[18]直接来自论文的Cap数据集，因为实现方法本身并不简单。我们用我们的方法观察到约13%的误差Ef，与[18]报道的3.8%-7.3%相比。Cap数据集中稍高的误差可以部分归因于重复的纹理，这使得我们的图像匹配不理想。总体而言，我们可以观察到几乎所有指标的一致改进，验证了该方法的鲁棒性及其所基于的假设。表2：校准细化。我们通过使用基于模板的校准fpoly初始化来计算完整的校准K，并通过在KGT上添加合成噪声来测试鲁棒性。重建误差Erec以mm为单位，其他以%为单位。无模板相机校准。可视化算法的动态。 2，我们在图2中的Hulk数据集上绘制了每次迭代的等距Φ（K）随焦距的误差。第3（a）段。通常，该方法收敛需要少于10次迭代作为我们假设上面，图。图3（b）经验性地验证了我们可以通过对焦距变化δ（K*，K）进行阈值化来找到扫描策略的终止准则。我们的方法始终恢复正确的估计intrinsic报告表1.此外，我们在几乎所有数据集中获得更好的重建精度的事实验证了我们使用等距一致性Φ（K）的方法。(a) 左：在第2步的每次迭代中，我们寻找一个使等距Φ（K）误差最小的K。(b) 右：在步骤3中，我们查询焦点长度gapδ（K*，K），并在它变得足够小时终止。图3：无模板校准（Algo. 2）的情况。我们迭代地搜索最小的K，最大化等距。6.2增量重建我们首先在图中的密集Hand数据集上进行实验。二、我们比较了两种最先进的NRSfM方法，MaxRig[6]和DLH[7]，以及我们的方法tlmdh[19]的批量版本。在第一行中，我们绘制了tlmdh-addPoints的性能：我们通过重建max{150，N}点的随机子集开始，并且数据集FGTKINECT纸528基于模板的精炼f聚EfErecfrefE fEPP Erec59011.742.8360414.45 0.042.73绿巨人37844300 13.61 5.53 4119 8.851.74 5.53国旗384 4209.384.544147.980.054.34第2039章230012.81.13 236013.12.331.13模拟初始K（103个样本平均值）EfEfEPP∆EPP Erec ∆Erec8.87-0.370.05-10.963.82-0.257.30-2.361.77-8.846.52-0.018.61-1.050.08 -10.45 6.05 +0.089.18-0.102.33-8.421.48- 0.0014Thomas Probst、Danda Pani Paudel、Ajad Chhatkuli和Luc Van Gool数据集incr-tlmdh tlmdhp-isomet p-isolh DLH o-kfacKPaper4.64176.16s5.41605.06s7.6313.6414.6613.93绿巨人2.990.80s2.761.99s10.7614.5422.98-t恤3.830.23s3.530.47s10.608.94--纸板13.2218.94s14.5634.35s-12.95--地毯26.40205.89s26.60542.39s26.1538.2631.01-桌垫15.995.54s14.367.65s14.2120.7117.5116.24报纸10.7989.27s11.63190.96s18.4037.2124.9430.74表3：NRSfM方法的比较。真实数据集中批量和增量重建的平均3D误差（mm）和运行时间比较。在后续迭代中根据等式（1）递增地添加剩余点。（15）、在实现与tlmdh相当的竞争重建精度的同时，我们观察到与所有其他方法相比在运行时间上的显著优势。MaxRig显示出良好的准确性，但存在严重的运行时间和内存问题。另一方面，由于透视和非线性变形，DLH图的第二行2显示了使用tlmdh-addViews的相同实验设置。在这里，我们一次重建所有点，但将剩余的50%的视图增量添加到前半部分的重建中为此，我们根据第一次重建计算模板并采用SfT。该图清楚地示出了tlmdh-addViews在不损害重构准确性的情况下展现出有利的运行时间复杂度。我们在补充材料中提供了更多结果此外，我们在各种其他数据集上进行了广泛的实验，并与p-isomet[28]，p-isolh[35]，DLH[7]和o-kfc[39]的重建进行了比较。在表3中从[40]获得。总的来说，我们观察到一个显着的优势，特别是在准确性和运行时间相比，最好的表现基线tlmdh。7结论在本文中，我们制定了一个方法，解决未知的焦距在NRSfM和未知的内在SfT。尽管凸NRSfM的计算复杂性我们发展了我们的理论的基础上表面等距先验inthe context上下文of the perspective透视camera相机.我们开发并验证了我们的方法，用于基于模板和无模板的非刚性重建的固有/焦距恢复我们的方法是一个新的升级方程，解析关系，不同的内在重建。我们在不同的数据集上对我们的方法进行了广泛的定量和定性分析，这表明尽管解决了非常具有挑战性的问题，但所提出的方法表现良好。确认该研究由欧盟地平线2020计划资助，资助号为645331- EurEyeCase和授权号687757- REPLICATE和瑞士技术与创新委员会（CTI，批准号：26253.1 PFES-ES，EXASOLVED）。焦距未知的增量式非刚性结构运动恢复15引用1. Longuet-Higgins，H.：一种从两个投影重建场景的计算机算法Nature293（1981）1332. 你好，D.：五点关系问题的有效解决方案。IEEET rans.P型Anal.马赫内特尔26（6）（2004）7563. 哈特利，RI，齐瑟曼，A.：计算机视觉中的多视图几何。第二个edn。剑桥大学出版社，ISBN：0521540518（2004）14. PhotoScan，A.：Agisoft PhotoScan用户手册专业版，版本1.2。（2017年）15. ReCap，A.：ReCap 360 -高级工作流。（2015年）16. Ji，P.，Li，H.，戴，Y.，Reid，I.：“刚性最大化”再访：基于凸规划的多视角通用三维形状重建方法。In：ICCV. （2017）2，3，137. 戴，Y.，Li，H.，He，M.：非刚体运动恢复结构分解的一种简单的无先验方法。在：CVPR中。（2012）2、13、148. 布雷格勒角Hertzmann，A.，Biermann，H.：从图像流中恢复非刚性3D形状。在：CVPR中。（2000年）29. 托雷萨尼湖Hertzmann，A.，Bregler，C.：Nonrigid structure-from-motion：Estimatingshape and motion with hierarchical priors.IEEE传输模式分析马赫内特尔（2008年）3010. Del Bue，A.：一种基于形状先验的运动恢复结构的因式分解方法在：CVPR中。（2008年）211. 加格河Roussos，A.，阿加皮托，L.：从单目视频的非刚性表面的密集变分重建。在：CVPR中。（2013年）212. Fayad，J.，阿加皮托湖Del Bue，A.：基于单目序列的非刚性表面的分段二次重建In：ECCV.（2010年）213. Agudo，A.，Montiel，J.，阿加皮托湖卡尔沃，B.：在线密集非刚性三维形状和相机运动恢复。在：BMVC.（2014年）214. Taylor，J.Jepson，A.D.Kutulakos，K.N.：局部刚性运动的非刚性结构在：CVPR中。（2010年）215. Bartoli，A.，Pizarro，D.柯林斯，T.：基于焦距标定的等轴测形状算法的鲁棒解析解。In：ICCV.（2013年）216. Ngo，T. D.， Oüstlund，J.O.，Fua，P.：基于模板的单目3D形状检索使用拉普拉斯网格。IEEE Transactions on Pattern Analysis and Machine Intelligence38（1）（2016）17217. Chhatkuli，A.，Pizarro，D.Bartoli，A.，柯林斯，T.：一个稳定的分析框架isometric形 状 从 模 板 表 面 积 分 。 IEEE Transactions on Pattern Analysis and MachineIntelligence39（5）