自校准等距非刚性结构的运动恢复及性能评估

自校准等距非刚性结构运动恢复Shaifali Parashar1，Adrien Bartoli1，and Daniel Pizarro2， 11IstitutPascal-CNRS/Uiverrit´eClermontAuverge，Clermont-Ferrrnd，France2GEINTRA，UniveriesidddeAlcala´，Alcala´deHenares，Spanin Code可在http://igt.ip.uca.fr/~ ab/上获得抽象。我们提出了自校准等距非刚性结构从运动（SCIso-NRSfM），第一种方法来重建一个非刚性物体从至少三个单目图像具有恒定的，但未知的焦距。使用透视相机的大多数NRSfM方法简单地假设校准是已知的。SCIso-NRSfM基于公式化局部多项式约束将最近的强大差分方法用于NRSfM，其中局部意味着对应。在NRSfM中，可以从这些约束求解局部形状在SCIso-NRSfM中，困难在于还求解作为全局变量的焦距。我们建议消除的形状使用resultants，获得单变量多项式的焦距，其平方和，因此，SCIso-NRSfM通过整合所有对应关系和整个图像集的约束来求解焦距。一旦这样做了，局部形状很容易被重新覆盖。 我们的实验表明，它的性能是非常接近的国家的最先进的方法，使用校准的相机。关键词：NRSfM，自标定，未标定相机，微分几何，度量张量，Christoffel符号，结式1介绍从图像中估计相机的内部参数被称为相机自校准。在运动恢复结构（SfM）中，这是用于从单目图像进行刚性对象的3D重建的成熟技术，需要内在参数来实现欧几里得3D重建[12]。SfM可以直接使用校准图像[23，29]或使用具有自校准的未校准图像[26，22]。在过去的二十年中，SfM被扩展到处理非刚性（可变形）对象，其中包括非刚性运动结构（NRSfM）。虽然最新的SfM方法使用透视相机，但许多早期的NRSfM方法[9，34，28，3，7，30]使用度量仿射相机，即正交或弱透视相机。它们处理未校准的图像，因为这些度量仿射相机仅具有比例因子作为内在参数，其与重建方程中的3D结构的比例耦合。然而，这些度量仿射相机的使用限制了成像条件[12]，其2S. Parashar和A. Bartoli和D. 皮萨罗限制了实用性。具体地，仿射相机模型不捕获透视效果，并且因此可能是不准确的。它们还可能在重建中产生翻转模糊最近的NRSfM方法[17，6，5，18]使用透视相机。因此，它们可以应对更广泛的成像条件，通常更准确，并且不会遭受翻转模糊。然而，他们假设相机是校准的，这对他们的适用性提出了不同的限制。两个例外是[17，24]，其假设场景的部分保持刚性。这些刚性部件用于使用SfM方法（如[20]）自校准相机。然后将估计的校准用于校准的NRSfM方法中。因此，[17，24]严格地说并没有解决NRSfM中的自校准问题，而是使用基于对场景内容的合理但非常强的假设的由于在选择透视相机中存在正增益，因此自校准NRSfM似乎是要研究的自然且重要的问题。我们研究了等距变形表面的自校准NRSfM，广泛用于最近的工作[18，5，24，34，28，4，33]。等距是最直观的变形模型之一为了处理未校准的图像，我们使用的共同假设，相机有方形像素和一个已知的主点躺在图像中心，ter。因此，需要估计的唯一固有参数是焦距。假设焦距是恒定的，我们提出了一种解决方案，基于求解一元多项式，以最小二乘方式建模N≥3个图像的贡献我们的方法从等距NRSfM[18]的最近解决方案中获得灵感。该解决方案使用图像扭曲来约束差分3D结构。该方法使用了黎曼几何中的先进概念MT表示局部表面结构，CS表示速率MT的变化。此外，该方法还利用了微分几何中广泛应用的无穷小平面性的概念。根据该假设，表面在无穷小水平上是平面的 ，但在全局 水平上保持 其曲率。 该方法到达 偏微分方程（PDE），可以转换为两个形状变量的代数方程，并在本地解决。所谓局部，我们是指在每个点对应处独立地获得解。与局部3D形状相关的两个变量在[18]中通过使用计算昂贵的多项式优化引擎[13]最小化代数方程的平方和来计算这种局部解决方案处理宽基线和短基线数据，并且自然地处理丢失的数据和遮挡。我们引入焦距作为[18]的黎曼框架的附加变量。这使得CS不变，但改变了MT。重建方程也会改变，包含两个局部形状变量，类似于[18]，以及表示焦距的全局变量这些方程是5次多项式，这意味着它们的平方和的导数是3个变量的9次多项式，这远远超出了现有多项式优化引擎（例如[13]）的界限我们提出了一个解决方案自校准等距非刚性结构运动恢复3通过使用结果将全局焦距与局部形状变量分离。我们得到一元多项式的焦距。尽管他们的高度，他们可以很容易地解决全球最小化其平方和使用标准的根查找算法。这种全局公式化累积了所有对应和所有图像的局部约束，使得焦距受到良好约束并且解是稳定的。最后，我们使用焦距估计来局部求解等距NRSfM。我们的解决方案通过放弃对[13]的依赖来改进[18]具体地说，它最小化的两个形状变量的每一个的单变量多项式的平方和，使用原始的多元重建方程的结果我们的实验表明，通过SCIso-NRSfM估计的焦距接近地面真实值，并且3D重建形状非常接近校准的NRSfM方法[5，18]。我们还与使用正交相机的NRSfM方法[9，34]进行了比较，发现SCIso-NRSfM优于这些方法。2最新技术和贡献自校准已被广泛研究的SfM。它遵循几种可能的场景之一，其中摄影机内部函数被部分约束。第一个解决方案[8]引入了Kruppa方程，该方程使用对极几何来绘制相机本质的约束然而，他们遭受奇异性。后来，[21]提出了一种分层方法，其中使用模约束将投影相比之下，[14]完成最成功的方法是使用绝对二次曲面的对偶[31]找到绝对二次曲面的显式它通过求解代数方程组获得固定摄像机固有场景基于该模型，[20]提出了一种线性算法来估计变化的焦距。自校准几乎没有研究可变形物体，部分原因是这个问题比SfM更近，部分原因是它形成了一个约束较少的与NRSfM相关的问题是模板形状（SfT），它使用可变形的3D模板和单个输入图像[1，25]。在[2]中提出了具有焦距校准的等距SfT的解决方案它的工作原理是局部求解焦距，并使用这些局部解的中值作为最终估计。局部解决方案被发现有一个大的蔓延整个输入图像。这是因为局部地焦距受到弱约束。NRSfM中的自校准形成困难且开放的问题。首先，对偶绝对二次曲面的严格代数框架是基于刚性约束的，因此不能从SfM中借用。第二，在SfT校准的差分方法显示出不稳定的迹象，即使SfT是一个比NRSfM约束更多的问题。我们的解决方案使用了一个差分框架，以处理变形，但估计焦距全局，通过结合所有点对应和所有图像的局部约束。更确切地说，我们做出了以下主要贡献。1）我们展示了如何为每个点对应和图像对形成代数约束这些4S. Parashar和A. Bartoli和D. 皮萨罗z z这些约束取决于与焦距和局部3D形状相关的三个变量，并且不是直接可解的。我们将展示如何将这些约束转换为易于求解的一元多项式。2）我们展示了如何通过在所有点和图像上集成局部约束并最小化它们的平方和来形成数值稳定的焦距全局解。3）我们示出了在给定估计的焦距的情况下，如何可以通过最小化单变量多项式的平方和来重新覆盖局部3D形状。4）我们给出了一个完全基于标准数值工具的算法3数学背景记法。拉丁字母表示标量，希腊字母表示函数。粗体拉丁字母表示向量和矩阵。然而，也有一些例外，表示CS矩阵的Γ是其中之一。我们使用上标来索引N多3个图像。不失一般性，参考图像具有索引1。其他图像具有索引（j，r）∈ {2，. . .，N}。为了清楚起见，我们经常从等式中删除参考图像索引。例如，图像1的逆深度函数将被定义为β1，但通常被称为β。我们使用下标i∈ {1，. . .η}来指代特定点对应，其中η是对应的总数。表面和相机模型。我们将3D表面建模为黎曼流形。图图1示出了在图像I中观察到的表面M。 我们用透视摄影机模型Ⅱ.它将3D点Q =.Σ⊤x y z并输出其归一化r=Π（Q）=. xyΣ。我们将信息存储在存储器中主点与原点对齐这允许内部参数矩阵K仅以焦距f表示，其中f >0为以px表示，意思是像素数像素坐标p =.Σ⊤u v. u然后与视网膜坐标相关为r =fvΣpf= f。图1：主要符号。自校准等距非刚性结构运动恢复5φηj1由φ构成的图像元素是针对该点的p_o_jec_i_on的i_v_s_e_r_s_eM.它将视网膜坐标r映射到3D点Q，如下：φ（r）=1β（r）. r1Σ，（1）其中β（r）是逆深度函数。我们在随后使用φ（r）、β（r）和大多数其他函数时省略了自变量r。我们用φ来表示从黎曼几何的两个概念MT和CS导出的曲面的微分性质，我们将简短地描述这两个概念。建模NRSfM。我们使用与[18]非常相似的模型，如图所示1.一、[18]的目标是用校准的相机求解NRSfM，但我们也求解焦距。 该模型具有N个等距变形表面M1，. . . ，MN在输入图像S11中执行，. . . 、IN. 此信息墙将保留此信息.Σ−1optic在Ij和I1之间流动。 Wehavenij=nji。我们一起计算这些数据从关键点对应使用[19]。表面M1和Mj通过等距变形函数ψ1j相关。等距性是我们在SCIso-NRSfM中使用的主要约束度量张量表示为g[φ]，MT是描述物理表面特性（例如长度、角度和面积）的一阶微分量[16]。它可以从Jφ导出，J φ是φ的雅可比矩阵。使用来自等式（1）的φ，g[φ]被示出为由下式给出的2× 2矩阵：g[φ]= J Jφ其中Jφ =.Σ⊤11 −u−vζ−fζ，（2）fβ−uκ1−vκ−fκ其中，我们将逆深度导数定义为βu=β，βv=β，以及它们的∂u ∂v与反深度之比为ζ=βu，κ=βv。对于等距曲面，MTβ β可以使用扭曲的一阶导数在图像之间转移[18]：g[φj]=Jg[φ1]Jηj1。（三）Christoffel符号表示为Γ u [φ]和Γ v [φ]，CS是描述曲面曲率的二阶微分量[16]。它们被定义作为MT的变化率。它们通常有一个非常长和复杂的表达式。然而，这是减少使用无穷小平面性假设，这允许一个忽略的二阶导数的图像嵌入。这意味着等式⑴中的β是无限小线性的。使用来自等式（1）的φ，Γu[φ]和Γv [φ]被示出为由下式给出的2×Γu [φ]=−.Σ2ζ κκ0Γv [φ]=−.Σ0ζζ2κ.（四）对于等距曲面，CS可以使用扭曲的一阶和二阶导数跨图像转移[18]：Zj= u1 ζ1+ v1κ1− .2u1v2+2v1v2Σu2u2u2u26S. Parashar和A. Bartoli和D. 皮萨罗JJκj= u1 ζ1+ v1 κ1− .2u1u2+2v1u2Σ.（五）v2v2u2u2结果。两个多项式的结果是它们的系数的多项式表达式，当且仅当多项式具有公共根时，其等于零[35]。这允许人们找到多项式系统的公共根考虑两个二元多项式α（t，u）和γ（t，u）的例子，分别为l和m次，变量为t，u。它们关于t的结果Rest（α，γ）是u中的一元多项式。 它是所谓Sylvesterm在rixSt∈R（l+m）×（l+m）的行列式，Rest（α，γ）=det（St）. Sylvester矩阵的元素依赖于α、γ的系数。4自校准等距NRSfM我们首先推导出重建方程。这些是取决于两个局部形状变量和焦距的约束。然后，我们将展示如何对这些约束进行全局优化，然后对形状进行局部优化。4.1重建方程从MT传递方程（3）开始建立重建方程。该等式涉及MTg[φj]，其中由等式（2）给出的该矩阵的J_acobian J φ j的最小值是最小值。 该at_i_v_s（ζ，κ）是图像j中的逆深度导数与逆深度的比率。 因为这些是CS的元素，所以我们可以使用CS传递方程（5）以图像1中取得的相同比率（ζ，κ）来表示它们。从而得到了（f，β1，βj，ζ，κ）上MTg [ φ j ]的一个新表达式. 通过对MT传递方程（3）中的这种分解，我们得到了一个2 ×2矩阵方程。取比，（β1，β j）消失，并且我们得到（f，ζ，κ）中的两个独立的代数偏微分方程E1，2。PDE具有系数（aj，bj），并由以下公式给出：不不Ej（f，ζ，κ）=σj ζ3+σj ζ2+σjζ+σj（六）1 7 5 3 1Ej（f，ζ，κ）=σj ζ3+σj ζ2+σj ζ+σj，（7）使用：σj=ajj2j2j38 6 4 2j3 j2jj2j3j21 27+a 26κ+a 24κ+a21κ+s（a11κ+a14κ+a16κ+a17）+s（a4κ+a7κ）σj=bjjj2j3j3j2jj2j3j22 27+b 26κ+b 24κ+b21κ+s（b11κ+b14κ+b16κ+b17）+s（b4κ+b7κ）σj=ajjj2j2j2jj2153 25+a 23κ+a 20κ+s（a10κ+a13κ+a）+s（a6κ+a3κ）σj=bjjj2j2j2j j2154 25+b 23κ+b 20κ+s（b10κ+b13κ+b）+s（b6κ+b3κ）σj=aj+ajκ+s（ajj2JJjjj2j5 221912+a9κ）+s（a5+a2κ）σ7=a18+sa8+sa1σj=bj+bjκ+s（bjj2jjjjj2j26 221912+b9κ）+s（b5+ b2κ）σ8=b18+sb8+ sb1s=f.自校准等距非刚性结构运动恢复7一、二3不424不42系数（a，j，b，j）直接取决于波形pn，j 的 深 度。不不选择图像j，固定单个点r，并定义k1=ζ（r），k2= ζ（r）。κ（r），得到两个代数方程Ej（f，k1，k2）.对于N个图像和因此，我们有一组2（N−1）个多项式E12（f，k1，k2）={Ej（f，k1，k2），Ej（f，k1，k2）}N.得到了类似但更简单的方程1 2j =2在[18]中，对于已知的焦距。然后通过最小化局部求解这些问题它们的平方和使用计算昂贵的多项式优化引擎。然而，由于两个原因，该策略不能用于估计焦距首先，局部估计焦距将是极其不稳定的。第二，方程的程度对于现有的优化引擎变得令人望而却步接下来，我们讨论我们的方法，以获得一个全球性的和易于处理的解决方案，f和当地的解决方案（K1，K2）。4.2全局求解焦距我们展示了如何使用重建方程E12（f，k-1，k-2）找到f的全球。我们使用结式来消除对（k1，k2）的依赖，从k1开始。消除k1。Ej，Ej关于k1的结果给出了一个新的多晶1 2名义值Ej取决于（f，k2）。定义Sylvester矩阵Sk1∈R6×6as示于图2（左），我们有：Ej（f，k2）= Resk（E1（f，k1，k2），E2（f，k1，k2），k1）= det（Sk）31 1=cj k9+cj k8+cj k7+cj k6+cj k5+cj k4+cj k3+cj k2+cj k2+cj，（8）9 2 8 27 2 6 2 5 24 2 3 22 2 1 0其中cj是s=f2中的12次多项式。从数字上讲，它们通常是3级或4级。对于N个图像，我们由此得到N−1个多项式方程E3（f，k2）={Ej（f，k2）}N.3j =2消除k2。我们消除k2通过评估两个图像对，（1，j）和（1，r），在E3的方程的结果。这给出了一个新的多项式方程Ejr仅取决于f。定义Sylvester矩阵Sk∈R18×18，如图12所示。2（右），我们有：Ejr（f）= Res k（E j，E r）= det（S k）。（九）423 32对于N个图像，我们得到（N-1）（N-2）个一元多项式方程E4（f）={Ejr（f）}j，r∈[2，N]，j216度的r。由于等式（8）中的Cj在数值上为在次数3或4的情况下，这些多项式的次数位于54-72之间而不是216。解f。通过最小化方程组E4的平方和可以找到全局最优解。对于在N个图像上跟踪的n个点，我们将平方和成本定义为：ΣnC（f）=ΣN ΣN .Σ2Ejr（f） .（十）i=1j =2r =2r/=j8S. Parashar和A. Bartoli和D. 皮萨罗0fff2938765432109876543210cjcjcjcjc jcj cj c j c j cjcjcj987654321 00cjcjcjc jc jc j c jc j cj cjcjcj987654321 000cjcjcjc jc jcj cj c jc j cj cj9 8 7 6 5 4 3 2 1 0000 cjcjcjc jc j c j c j c jc j c jc jc jc jc jcj09 8 7 6 5 4 3 2 1 000 00 cjcjcjc jc j c j cj cjcjc j cj c j9 8 7 6 5 4 3 2 1 00cjcjcjcjc j c jc jcj cj c j c j c j cj c j cj00σjσj σjσj0 098 7JJ654321 0j j j j j j j j75310000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000σjσjσjσj0j j j j j j j j j j75 3 10000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000σjσjσjj j j j j j j j jj753 100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000jJJJ阿吉尔 RRRRRRRRrσ8σ6σ4σ2 00�C�C�CjJJjRRRRRRRRRr0σ8σ6σ4σ2 00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000JJJ jRRRRRRRRR0 0 σ8σ6σ4 σ200c9c8c7c6c5c4c3c2c1c000 00 0 0 0 0 0 0 0 0 0 0 0 0 0000987654321 02019 - 06 - 2800：00：00：00987654321 00crcrcrc rc r c r c r cr c rc rrcr c r c r cr r c r r c r c r c9 8 7 6 5 4 3 2 1 000 cccccccccc9 8 7 6 5 4 3 2 1 00 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 000 000 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0000图2：Sylvester矩阵S k1 （左）和Sk2（右）。使用Fermats i n t e r x t r e m m m，通过求解C（f）= 0获得临界点处的C o c u r s的局部x t e m。临界点的集合由Fc={f c|{f（c）=0}.实际上，成本函数C是次数为108-144的单变量多项式。我们简单地找到它的导数多项式的根来找到Fc。局部最小值是具有a的临界点2正向的αC值。因此，局部最小值Fl<$Fc的集合由下式给出：F={f∈F2| ∂C(f ) > 0}.最后给出了全局最优焦距L签署人：l cf2lf∈C（f）.（十一）f∈Fl4.3求解局部形状我们展示了如何局部形状，表示为（k1，k2），可以解决给定的估计f的焦距，从k2。给定f，我们有E3（f，k2）形成k2中的一元多项式的集合。我们找到了最佳的解决方案k2通过最小化这些多项式的平方和对于在N个图像上跟踪的点，成本为：C′（k2）= ΣNj=2.Σ2Ej（f，k2）.（十二）因为C′是一个单变量多项式，我们使用与前一节中描述的最小化C相同的过程来找到它的最小值。最优解0 0 0 0 0 000 0 0 0 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 00 0 0cr00 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 0 0 00 00 0 0 0R0 0 0 0自校准等距非刚性结构运动恢复9..我我我k2isthus：ˆ′.. . C′天后二k2= arg minC（k2）其中K2=k2∈ K2k2。（k2）=0，k2k22（k2）>0.（十三）对于（f_n，k_2），E12（f_n，k_1，k_2）f_n是k_1上的单变量多项式.我们找到了最佳的解决方案k1通过最小化这些多项式的平方和。对于在N个图像上跟踪的点，成本为：ΣNC′′（k1）=j=2.Σ2Σ2E1（f，k1，k2）+E2（f，k1，k2）.（十四）最佳选择是：..′′2′′Σk1=argminC′′（k1），其中K1=. Ck1（k1）= 0，C2（k1）>0. （ 十五）k1∈K 1. 1号线.Σ1号线我们在一个estimatek？1，k？2的本地化存储空间。By将该估计值代入等式（5），我们得到估计值.Σkj，kj的1 2其余图像的局部形状。5算法我们给出了我们的算法来解决SCISo-NRSfM。对于数值稳定性，如在S[M]中常见的那样，在使用各向同性比例因子映射接近[-1，1] 2的图像边界期间，在S中的点的像素坐标被保持并被确定输入：具有可见性指示符{v，j}的点对应{p，j}，i∈[1，n]，我我j∈[1，N]（vj= 1表示第i个点在第j个图像中可见1) Computeimagewarpsηj1，j∈[2，N]. 使用此点可在文件中查看和第j个图像，意味着索引{i∈ [1，n] |v1=v j= 1}，以估计我我这是一个值得注意的问题[19]。2) 计算f的最优全局解。 找到f，使C在等式中最小化（10）.3) 计算最优局部形状（k1，k2）。 使用在前一个步骤中获得的f，找到k2h，最小化C′in等式（12）。 然后，u∈（f∈， k∈2 ）找到k∈1，最小化方程（14）中的C′′。4) FINDNORMALS和3DPOINTS。在（k∈1，k∈2）的J_（？）在（2）上的i处的equ。ComputtesurfacenormalsNj通过规范化交叉-Jacobians列的乘积通过积分求出深度β−1的倒数使用[18]中的方法的法线。应用等式（1）中的嵌入φ来重新计算Q的点。O utputs：P oi nts{Qj}，nnn nals{Nj}，i∈[1，n]，j∈[1，N]，focalengthf.我我10S. Parashar和A. Bartoli和D. 皮萨罗SCIsoPa17 Vi12SCIsoPa17 Vi12SCIsoPa17 Vi12SCIsoPa17 Vi123D误差（mm）焦距25 15 5502010 500155 4501054 6 810视图数04 6 810视图数4004 6 8 10视图数(a) 不同数量的图像25 14 55020 1215 1010 850045050 1 23噪波（像素）60 1 23噪波（像素）(b) 变噪声4000 1 2 3噪波（像素）图3：Cylinder数据集的结果。针对不同数量的图像和噪声水平示出了平均形状和3D误差。还示出了估计焦距和真实最好用彩色观看。6实验我们在 合成Cylinder 数据集 [18]和两个 真实数据 集（即T恤[4]和Paper[32]）上测试了SCIso-NRSfM（SCIso），显示了等距变形的对象。由于自校准尚未在NRSfM中处理，因此我们将SCIso-NRSfM与假设透视投影并使用校准数据Pa 17 [18]和Ch 17 [5]的NRSfM方法进行比较。此外，我们还比较了假设正交投影并避免校准的方法Go11 [9]和Vi12 [34]。为了进行定量比较，我们测量了平均形状误差（计算的和地面实况法线之间的RMSE，以度为单位）和3D误差（计算的和地面实况3D点之间的RMSE，以mm为单位）。圆柱体数据集。 该数据集包含随机生成的视图的圆柱形表面变形等距。圆柱形表面具有在2和10之间变化的半径。图像尺寸为640× 480 px，相机焦距为540 px点对应的数量为400。我们改变数量图像和对应噪声。我们比较了除Go11外的所有方法Ch17这是因为Go11使用低秩模型，并且需要大量具有短基线的图像，而Ch17在该数据集上失败了。图3a示出了利用3-10个图像执行的重建的平均形状和3D误差。对应噪声被选择为遵循具有lpx的标准偏差的高斯分布。SCIso的性能与Pa17非常相似，Pa17使用校准的相机解决NRSfM，这意味着使用真实焦距，尽管Pa17的性能稍好。于增加估计焦距地面实况估计焦距地面实况形状误差（度）形状误差（度）3D误差（mm）焦距自校准等距非刚性结构运动恢复11SCIsoPA17Vi12Ch17SCIsoPA17Vi12Ch1760402002 4 6 810图像4030201002 4 6 8 10图像(a) T恤图像批处理SCIsoPA17Go11第17章SCIsoPA17Go11第17章40302010050 100 150图像604020050 100 150图像(b) 纸视频序列图4：T恤和纸数据集的结果。显示了平均形状和3D最好用彩色观看。图像的数量，所有的方法往往会获得更好的结果。SC150和Pa17的性能在5个图像中稳定。然而，它们也产生了3个图像因此，它们有效地解决了最小情况。SCIso中的焦距估计随着图像的数量而改进。对于8-10张图像来说，它非常接近真实的焦距。Vi12使用正交相机模型。其性能明显差于SCIso和Pa17。图3b示出了通过在0-3 px之间改变噪声来用10个图像执行的重建的平均形状和3D误差SCIso的性能在增加噪声时，它们都倾向于线性退化。有趣的是，Vi12在测试范围内几乎不受噪声的影响，然而，其性能始终明显低于其他方法。SCIso中的焦距估计有趣的是，因为使用真实焦距的SC150和Pa17的形状和3D误差非常接近，所以我们可以推测，在不向问题公式中添加额外先验的情况下，焦距估计不能得到实质性改善。形状误差（度）形状误差（度）3D误差（mm）3D误差（mm）12S. Parashar和A. Bartoli和D. 皮萨罗图像8地面实况PA17SCIsoCh17图像6地面实况E = 5.3E = 6.1E = 3.5E = 5.5E = 6.3E = 4.1图5：T恤数据集的两个E为平均3D误差（mm）。最好用彩色观看T恤数据集。 该数据集在[4]中引入。它由10个宽基线图像的等距变形T恤与85点对应。使用校准棋盘仔细地获得相机校准，并且M在实验室的校准中被校准为3780px，y被校准为3780px。 图4（a）示出了所有10个重建表面的平均形状和3D误差。Ch17在该数据集上具有最佳性能，Pa17和SCIso非常接近。SCIso估计的焦距为3954px，非常接近标定焦距为3780px，相对误差为4.6%。Vi12在这个数据集上表现不佳。我们没有在这个数据集上评估Go11，因为与圆柱体数据集上的原因相同。图5示出了两个图像的误差图和纹理化重建形状纸质数据集。该数据集在[32]中引入。它由来自视频序列的191个图像组成，其中1500个点对应于等距变形的纸张。提供了从标准方法获得的相机校准，焦距为528px。图4b示出了平均形状和3D误差所有191个重建表面。Ch17在该数据集上具有最佳性能，Pa17和SCIso非常接近。SCIso使用前10张图像估计的焦距为498 px，接近实际焦距528 px，相对误差为5.7%。Go11的表现不如其他方法。这可能是因为它使用了正交摄影机或者因为它基于低秩形状模型。我们无法在此数据集上评估Vi12，因为它的计算时间太长。图6示出了三个图像的误差图和纹理化重建形状自校准等距非刚性结构运动恢复13图像40地面实况图像90地面实况图像120地面实况Pa17 SCIso Ch17E = 2.0 E = 2.4E = 2.1E = 2.2 E = 4.7 E = 4.1E = 4.6 E = 3.8 E = 3.3图6：针对Paper数据集的三个E为平均3D误差（mm）。最好用彩色观看表1：T恤和纸数据集的结果总结。Es和Ep分别表示平均形状和3D误差%f表示与用作地面实况的校准焦距相比的焦距的相对误差xx表示无法计算的值，如正文所述。实验总结。 我们比较了一个合成和两个真实的数据集上的SCISo。我们发现它的性能非常接近目前最先进的NRSfM方法，即Pa17和Ch17，使用校准的透视相机。SCIso以良好的相对精度估计焦距。我们还比较了两种使用正交相机的NRSfM方法，即Go11和Vi12。这些方法在测试数据集上的表现不如Pa17和Ch17。所有比较方法在真实数据集上的性能总结在表1中。计算时间。我们在MATLAB中实现了我们的方法，代码没有优化。我们使用了一台配备i5 CPU和16 GB RAM的标准PC。我们首先求解f，然后求解形状。为了求解f，需要大约76s以形成等式（9）中的多项式，并且90s以计算其导数，14S. Parashar和A. Bartoli和D. 皮萨罗找到它的根。计算形状大约需要10 ms。根据[18]，它比Pa17（1.5 s）快得多，Pa17已经明显快于其他比较方法。7结论我们提出了SCIso-NRSfM，一个理论和算法来重建一个等距变形的物体从单目未标定的图像与常数，但未知的焦距。SCIso-NRSfM代表将自校准和NRSfM结合的第一步。我们使用了微分方法并推导出多项式偏微分方程系统。消除这些使用resultants的形状变量后，我们已经表明，焦距可以恢复最佳的全局最小化所产生的所有对应关系和所有图像在一个单一的最小二乘成本的约束。我们的实验结果表明，SCISo-NRSfM比较非常有利，现有的校准NRSfM算法对图像的数量和对应噪声，并恢复焦距与几个百分点的相对误差。他们还表明，SCIso-NRSfM对于三个图像的最小情况工作良好，并且随着图像的数量而改进。最后，我们给出了未来研究的两条可能的路线。首先，在SfM中，对于刚性对象，存在临界运动序列（CMS）[27，15]，在这种情况下，不能解决自校准这些通常发生在相机运动不够一般时，例如当所有光轴相交时。在SCIso-NRSfM中CMS的可能存在于是是一个非常自然的问题。然而，在可变形的情况下，必须通过考虑局部表面相对于相机的姿态来解决该问题换句话说，每个图像都没有唯一的姿势，而是在整个表面上连续变化的姿势这种多样性似乎有利于显著降低在SCIso-NRSfM中遇到退化病例的机会尽管如此，这是我们打算在不久的将来彻底研究的问题未来研究的第二条可能的路线几乎所有现有的方法，例如[10]，都将与输入图像相关的一组单应性作为输入。众所周知，当图像中观察到的平面较小时，计算的单应性可能是不稳定的。有趣的是，SCIso-NRSfM不需要单应性作为输入，但使用IP的假设，这表明它形成了无穷小平面的微分约束这些约束条件如何与自标定中广泛接受的绝对二次曲线形式联系起来，以及这些约束条件是否有助于基于平面的自标定，是我们在不久的将来确实要研究的深刻问题。鸣谢。该研究已通过ERC研究拨款307483 FLEXABLE获得欧盟FP7的资助，西班牙经济，工业和竞争力部在项目ARTEMISA（TIN2016 - 80939-R）下获得资助，西班牙国家航空航天局，西班牙国家航空航天局（CCGP2017-EXP/048）。自校准等距非刚性结构运动恢复15引用1. Bartoli，A.， 你好， Chadebecq，F.， C〇llins，T.， Pizarro，D. ：Shape-from-template 。IEEE TransactionsonPatternAnalysisandMachineIntelligence 37（10），2099- 2118（2015）2. Bartoli，A.，Pizarro，D.柯林斯，T.：基于焦距标定的等轴测模板形状的鲁棒解析解In：ICCV（2013）3. 布雷格勒角Hertzmann，A.，Biermann，H.：从图像流中恢复非刚性3D形状。载于：CVPR（2000年）4. Chhatkuli，A.，Pizarro，D. Bartoli，A.：使用无穷小平面性的等距曲面的非刚性运动形状。电影BMVC（2014）5. Chhatkuli，A.，Pizarro，D. Collins，T. Bartoli，A.：不可伸展非刚性结构--用二阶锥规划法解自运动。IEEE Transactions on Pattern AnalyisandMachin e ineintelligencepp. 16. 戴，Y.，Li，H.，He，M.：一种简单的无先验的非刚性结构- InternatinalJour nalofC〇mputerVison107（2），1017. Del Bue，A.，Smeraldi，F.，阿加皮托，L.：使用非参数跟踪和非线性优化的运动非刚性结构。第50集5.6 The Falling of the Falling（2004）8. Faugeras，O.梁，Q.T.，Maybank，S.J.：摄像机自校准：理论与实验。In：ECCV（1992）9. Gotardo，P.Martinez，A.：内核非刚性结构来自运动。In：ICCV（2011）10. Gurdjos，P.，Sturm，P.：用于基于平面的自校准的方法和几何结构。载于：CVPR（2003年）11. 哈特利，R.：使用旋转相机从多个视图进行自校准。In：ECCV（1994）12. 哈特利，RI，齐瑟曼，A.：计算机视觉中的多视图几何。剑桥大学出版社，ISBN：0521623049（2000）13. Henrion，D. Lasserre，J.B.：全局最优化：多项式的全局最优化，具有matlab和sedumi。ACMTransactionMathematicalSoftware29（2），16514. Heyden， A. ，Astrom