非刚性三维重建方法：KillingFusion

1386KillingFusion：无对应的非刚性三维重建Miroslava Slavcheva1，2 Maximilian Baust1 Daniel Cremers1 Slobodan Ilic1，21TechnischeUniv ersitaüt Muünchen2SiemensCorporateTechnology摘要我们介绍了一种几何驱动的方法，从一个单一的RGB-D流变形表面的实时三维重建，没有任何模板或形状先验。为此，我们解决了非刚性配准水平集进化没有明确的对应搜索的问题。部分扫描扭曲的活动框架典型姿势重建给 定 一 对 表 示 感 兴 趣 的 形 状 的 有 符 号 距 离 场（SDF），我们估计将它们对齐的密集变形场它被定义为与SDF具有相同分辨率的位移向量为了确保它生成合理的形状，我们提出了一种新的正则化器，通过要求变形是光滑的和近似的Killing向量场，即，产生近似等距运动。此外，我们强制执行的水平集属性的单位梯度幅度被保存在迭代。因此，KillingFusion可以可靠地重建正在经历拓扑变化和快速帧间运动的对象除了从零开始逐步建立模型外，我们的系统还可以使完整的表面变形。我们在几个公共数据集上展示了这些功能，并介绍了我们自己的序列，这些序列与相关方法进行了定性和定量比较。1. 介绍虚拟现实和增强现实的市场不断增长，加上廉价的RGB- D传感器的广泛可用性，不断增加了对能够实时捕获用户环境的各种应用的需求。虽然存在许多用于重建静态场景的优秀解决方案[5，12，23，31，33，34，43，54]，但更常见的现实生活场景-其中对象非刚性地移动和交互-仍然构成挑战。困难源于大量的未知参数和固有的模糊性的问题，因为各种变形可以产生相同的形状。这些问题可以通过额外的约束来缓解，因此用于多视图表面跟踪的解决方案[4，8，9，10，18，1922，50]和基于模板的方法[1，28，57]已经被图1. 从单个噪声Kinect深度流进行非刚性重建：KillingFusion可以在大变形、快速帧间运动和拓扑变化的情况下构建完整的模型。开发DynamicFusion [32]是一项开创性的工作，它解决了从单个Kinect流实时增量构建3D模型的一般情况，这也是我们工作的目标VolumeDeform [20]解决了同样的问题，将基于深度的对应与SIFT特征相结合，以增加对漂移的鲁棒性。虽然这两个系统都展示了令人印象深刻的视觉质量的结果，但由于底层的基于网格的对应性估计，它们可能会受到较大帧间运动的影响。最近许多关于可变形3D重建的工作使用带符号距离场（SDF）来累积恢复的几何形状[10，20，32]，受益于其平滑累积模型中的误差的能力[7]。然而，为了确定非刚性对齐的对应关系，它们间歇性地恢复到网格表示[20，32]，从而失去了准确性、计算速度和方便捕获拓扑变化的能力。另一方面，SDF固有地处理当表面合并或分裂时的情况，例如。一个男人把手放在臀部或把帽子摘下来（图。1，2），狗咬它的尾巴等。在本文中，我们提出了一种非刚性重建管道，其中变形场，数据解释和正则化都在单个形状表示上操作：SDF。我们将感兴趣的问题表述为通过估计从每个新深度帧到全局模型的3D变形场并随后融合其数据来构建其规范姿势的3D模型。为此，我们逐步发展的投影SDF的当前帧的目标SDF以下的变分框架工作。主要的能量分量是一个数据项，1387#0#50#85#94图2.来自两个对象拓扑变化的扭曲活动帧通过最小化它们的带符号距离的体素方式的差异来将当前帧与累积模型对齐-因此没有显式的对应搜索并且适合于并行化。为了处理噪声和丢失的数据，我们对变形场和SDF都施加平滑性，并要求一定的刚度。这是通过将变形场强制为近似Killing [3，41，46]来实现的，以便它生成局部近等距运动-类似于网格上尽可能刚性的约束[42]。此外，我们通过保存单位梯度幅度的水平集属性来确保SDF演化在几何上是正确的[26，35]。总之，我们贡献了一个新的变分非刚性三维重建系统，处理拓扑变化的内在和规避昂贵的对应估计。由于表示的通用性，它可以直接应用于进化完整的网格模型。最后但并非最不重要的是，我们提出了一种用于量化来自单个RGB-D流的重建误差的方法12. 相关工作在这里，我们讨论了现有的水平集演化，矢量场估计和变形表面跟踪RGB-D数据的方法，确定他们的局限性，在我们感兴趣的问题的背景下，并提出补救措施。水平集方法可变形重建系统通常依赖于用于对应性估计的网格，使得它们在较大变形或拓扑变化下极易受到错误的影响[24]。相反，水平集固有地处理这种情况[35]。它们已被用于图形学中的表面操作和动画[6，14，47，53]，其中模型是完整的且无噪声的，而我们的目标是从噪声部分扫描进行增量重建。在医学成像中，各种器官的高保真形状先验可用[13，16]，水平集方法已应用于分割[2，17]和配准[25，30]，通常由解析定义的演化方程[36]指导然而，由于我们没有模板或先验知识的场景，我们提出了一个能源，是由SDF和变形场的几何形状驱动在计算机视觉中，Paragioset al. [37]将距离函数用于由矢量场驱动非刚性配准1我们的数据可在http://campar.in.tum.de/personal/slavcheva/deformable-cheet/index.html上公开获取。但限于合成的2D示例。藤和al. [15]讨论了其局部刚性全局非刚性配准到3D的扩展，但仅展示了在全表面上的几个相反，我们在3D中定义能量并施加刚性约束，以便2.5D扫描可以从头开始融合在一起。场景流确定扭曲2.5D/3D帧的矢量场是场景流工作的目标[19，21，39，48，51，52]。它们通常在本质上是变化的，将数据对齐项与平滑项组合，以确保附近的点经历类似的运动。然而，这对于增量重建是不够的，在增量重建中，新的帧表现出以前看不见的几何形状，这些几何形状必须以几何一致的方式覆盖在模型上。这就是为什么我们包括另一个刚性先验，它要求场 近似 为Killing -generating 近等 距运 动[3 ，41，46]。通过这种方式，我们可以方便地通过变形场施加局部刚度，而不需要像嵌入变形[44]和尽可能刚性建模[42]中那样的控制网格多视图和基于模板的表面跟踪外部约束有助于缓解非刚性配准的高度不受约束的性质。Zoll hoferetal.[57]实时将模板变形为传入的深度帧多相机设置是避免渐进式构建模型的挑战性任务的Fusion4D [10]最近展示了一个强大的实时性能捕获系统，使用24个摄像头和多个GPU，这是一个普通用户无法使用的设置。此外，[10]的第8节指出，即使Fusion4D处理某些拓扑变化，该算法也不能从本质上解决问题。从单个RGB-D流进行增量非刚性重建使用单个传感器的便利性使得增量模型生成非常可取。Dou等人[11]提出了一种管道，该管道由于新颖的非刚性束调整而实现了令人印象深刻的DynamicFusion [32]是第一种同时实时重建和跟踪表面运动的方法。VolumeDeform [20]扩展了该方法，将密集的基于深度的对应与所有帧中稀疏SIFT特征的匹配相结合，以减少漂移并处理几何形状较差的场景中的切向运动虽然这两项工作证明了compelling结果，所示的例子表明，只有相对控制的运动可以恢复。我们的目标是利用距离场的性质，以实现自由一般运动下的完全演化。13883. 预赛在下文中，我们定义我们的数学符号并概述非刚性重建管线。3.1. 符号我们的基本表示是一个有符号距离场（SDF），它为空间中的每个点分配到其最近曲面位置的有符号距离。它的特征几何性质之一是它的梯度大小在任何可微的地方都等于1 [35]。它被广泛使用，因为它可以很容易地通过移动立方体转换为网格[29]-表面是负内部和正外部之间的零值界面SDF生成是在物理空间的预定义体积中完成的函数φ：N3<$→R将网格索引（x，y，z）映射到从相应体素的中心计算的有符号距离。我们遵循通常的创建过程[40，56]，其中另外，计数观测数目的置信权重与每个体素相关联。我们还应用截断有符号距离的标准做法。在我们的情况下，体素远于10体素远离表面-面夹持到±1。这也适用于窄带技术的目的，因为我们只估计变形-在近表面非截断体素上的梯度场在给定的离散设置中，空间中的所有点都是长到某个体素的，它们具有相同的属性。因此，索引（x，y，z）∈N3指的是整个体素。我们的目标是确定一个向量场N3→R3一对SDF的对齐。 它指定一个位移向量（u，v，w）到每个体素（x，y，z）。这一提法与3.3. 概述我们通过Curless和Levoy [7]的加权平均方案将模型φ全局累积到其正则姿态。 给定一个新的深度帧Dn，我们将其并获得其相对于全局模型的姿态的估计。接下来，我们从该姿势生成投影SDFφn。剩下的任务是估计变形场φ n，它将最好地对齐φglobal和φn（φ n），在下一节中详细解释。迭代地估计场，并且在每一步之后将增量应用于φn，使用三线性插值来更新其值一旦最小化过程收敛，我们就通过加权平均将完全变形的φn（n）融合选择使活动帧朝向规范模型变形而不是相反是基于多个原因。一方面，这种设置更容易将数据融合到累积模型中。另一方面，在融合了足够多的帧之后，全局SDF已经达到了一定程度的规律性因此，如果模型朝向活动框架变形而没有施加足够的刚度，则存在其将增长为传感器噪声的高风险。4. 非刚性重建在本节中，我们描述了我们的模型，用于确定将φn（φ）与φglobal对齐的向量场φn。4.1. 能源我们的基于水平集并且因此无对应的非刚性配准能量定义如下：Enon（n）=Edata（n）+ωkEKilling（n）+ωsEle ve l（n）.（一）[20]《易经》云：“君子之道，焉可诬也？有始有终。刚性设置与累积SDF相同的分辨率，而DynamicFusion [32]仅具有粗略的稀疏控制网格。然而，这两种方法都需要对每个网格点进行6D运动估计，而在我们的情况下，由于SDF表示的密集平滑性质和直接在场上使用对齐约束，3D流场就足够了。此外，这使得优化过程要求更低。3.2.运动的刚性分量虽然从目标到参考的整个运动可以被估计为变形，但是挑出它由一个数据项和两个正则化子组成，正则化子的影响由因子ωk和ωs控制。数据项 我们能量的主要成分如下 在完美对准下，变形的SDF和累积的SDF在3D空间中的任何地方都将具有相同的带符号距离值因此，在当前帧的SDF φ n的每个体素（x，y，z）处应用的流向量（u，v，w）为了简洁起见，我们省略了u，v，w对位置的依赖性：1Σ。该运动用作更好的初始化。变形字段是从前一帧初始化的，因此我们确定E数据（）=2x，y，zφn（x+u，y+v，z+w）−Σ2（二）帧到帧的刚性摄像机运动。我们使用SDF-2- SDF配准能量[40]，其通过直接最小化配准体素网格对。我们更喜欢这样的ICP，在ICP中，在更大的变形下，对点对应的搜索可能是高度错误的。然而，可以替代地使用所选择的任何鲁棒刚性配准算法。−φ global（x，y，z）.运动规则化为了防止不受控制的变形，例如。在由传感器噪声引起的伪像的情况下，我们对运动施加刚性。现有的方法通常采用尽可能刚性的[42]或1389ΨΨΨΨΨΨ数据ΨΨΨ嵌入式变形[44]正则化，确保潜在控制图的顶点以近似刚性的方式移动我们采取了一种完全不同的策略，直接通过变形场施加局部刚度产生等距运动的3D流场称为Killing矢量场[3，41，46]，以数学家Wilhelm Killing的名字命名。 它满足Killing条件J+ J= 0，其中J是的雅可比矩阵。一个Killing场是无发散的，也就是说。它是体积保持的，但不规则化角运动。仅产生近似等距运动并因此 平 衡 体 积 和 角 度 失 真 的 场 是 近 似 Killing 矢 量 场（AKVF）[41]。它最小化了Killing条件的Frobenius范数：1Σ⊤2值得注意的是，同一作者的后续工作提出了一种改进的正则化器，用于保持水平集属性[27]。然而，它只在要演化的函数用分段常数函数初始化而不是有符号距离函数初始化时才有用。当我们用SDF初始化φn时，等式2的正则化子7是绝对足够的考虑应用程序。4.2. 能量最小化我们的能量公式的主要优点之一是它可以独立地应用于每个体素，因为每个项仅包含变形场和SDF或其导数的当前估计值因此，可以并行计算位移矢量更新。我们遵循梯度下降方案。它是可变的EAKVF（V）=2 x，y，z||F.||F.（三）因为λ是空间坐标的函数只有最后这里给出了欧拉-拉格朗日方程的结果然而，当我们处理变形对象时，这个约束可能限制性太大。因此，我们建议降低Killing条件。为了做到这一点，我们重写了Eq。3使用列式堆叠运算符vec（·）：在补充材料中给出了完整的推导。我们将3D矢量场分解为空间坐标系，ponents，每个ponents都是一个标量场。这使我们能够计算能量项在每个空间方向上的偏导数，并将它们组合成向量，以便1ΣEAKVF（V）=2vec（J+J） vec（J+J）=执行梯度下降步骤。为了简化符号，我们将不再指定求和Σ=x，y，zx，y，zvec（ J）vec（J ）+vec（J）vec（J）.（四）voxel索引。此外，我们将用φ（x+u，y+v，z+w）代替φ（x + u，y + v，z + w）来表示施加变形场后φ的值注意，接下来，我们注意到第一项可以写为：整数和实值索引的插值是没有问题的，因为插值是在每一步之后完成的因此，我们得到vec（ J）vec（J ）=的|厄舒|2个以上|茨布夫|2个以上|w|第二条，第（五）项以下关于变形场的导数其是在以下中E′（λ）=.Σφn（n）−φglobaln（n）（8）场景和光流[19，45，52]。它只会鼓励E′（λ）=2H.vec（ J） vec（ JΣ。Σ）1、（9）附近的点以类似的方式移动，但不必然地施加刚性运动。基于这个观察，我们杀′UVW紫外线|φ n（|− 1设计阻尼Killing正则化子E级（）=设置|∇φn（）|ǫH φn（n）<$φ n（n）。（十）EKilling（杀戮）=这里，<$φn（n）∈R3×1是de的空间梯度Σ。⊤=vec（J）vec（J ）+γvec（J）Σvec（ J），（六）帧号n和H的形成的SDFφn（φ）∈R3×3是它的x，y，z海森矩阵，组成。二阶偏导数提维斯 类似地，H uvw= H uHvHw 是一个3 ×9的ma-其中γ控制Killing性质和体积失真惩罚，因此也可以恢复非刚性运动。γ= 1的值对应于纯Killing条件。我们建议感兴趣的读者参考补充材料以获得更详细的推导。ΨΨ1390由变形场的每个分量的3×3 为了避免被零除，我们使用|·|，等于范数加上一个小常数最后得到了变形场以α为梯度下降步长的梯度下降步长，从k开始：水平集性质为了保证φn演化过程中的几何正确性，梯度mag.k+1=刚性（丹麦文）。（十一）SDF的非截短区域中的nitude必须保持一致[35]：每个输入帧的字段都用前一帧。当然，对于第一帧，E水平设置（）=1Σ。2x，y，z|φ nΣ2（x+u，y+v，z+w）|-1。（ 七）初始状态没有变形。注册是终-当最大矢量更新的幅值降到0.1mm的阈值以下时，非1391当前重建扭曲到实时帧中图3.拓扑变化下的比较。我们基于水平集的KillingFusion完全演变为帧之间的正确几何形状，而VolumeDeform [20]仅部分地（第3和第5个实时帧），这在最终重建中反映为伪影4.3. 实现细节方程8-10非常适合于并行化，因为每个体素的更新仅取决于其直接邻域。因此，我们选择了GPU实现，我们在NVIDIA Quadro K2100M上进行了测试对于所有显示的示例，它以每秒3-30帧的速度运行特别地，对于由大约80× 3体素组成的网格，需要33 ms。当然，速度会随着网格分辨率的增加而降低然而，减速不是立方的，因为仅近表面体素有助于变形场估计，其通常构成小于全部的10%。5. 结果本节包含所提出的非刚性重建框架的定性和定量评估。参数固定如下：梯度下降步长α= 0。1，Killing能γ = 0时的阻尼因子。1，运动和水平集正则化的权重分别为ω k= 0。5，ω s= 0。二、 选择ωs和ωk的值不仅可以平衡它们的影响，而且还可以作为归一化，因为有符号距离被截断到区间[-1;1]，而变形场包含跨越多个体素的向量我们使用8 mm的体素尺寸用于人类大小的对象，4 mm用于较小规模的对象。改变拓扑结构和大帧间运动我们进行的第一个实验集中在高光-与其他单流可变形重建管道相比，我们的KillingFusion具有以下优势：改变拓扑结构和帧之间的快速运动。为了能够量化结果，我们使用了可以变形和自主移动的机械玩具。我们首先使用外部地面实况姿态估计的标记板在它们的静态静止姿态中重建它们。然后，我们记录了他们从静止姿势开始的非刚性运动，这让我们可以评估标准姿势重建中的误差。我们与VolumeDe- form [20]的作者分享了我们的录音，他们友好地运行了青蛙，鸭子和史努比序列，并给了我们他们最终的标准姿势描述和扭曲到现场图像上的模型视频。图3和图4并列显示了我们的结果。请注意，重建是部分的，因为这些对象不包含在其中。完成360个循环。这两种方法在一般运动下表现良好。但是，第三和第五个Frog活动帧表明，作为确定基于网格的对应关系的方法的示例类似地，后三个史努比实时帧显示，一旦当脚接触时发生拓扑变化，它就无法恢复此外，快速的耳朵运动，在5帧内从水平到垂直位置进行一次完整的旋转，无法捕获，并在最终重建中造成伪影，而我们基于水平集的KillingFusion即使在这种情况下也能完全进化表面。因此，SDF更适合于克服大的帧间运动和变化的拓扑。[20]第二十话KillingFusion（我们的）当前RGB图像1392当前重建扭曲到活动帧中典型模型误差[20]第二十话KillingFusion（我们的）当前RGB鸭子Groundtruthavg.误差：5.362mmavg.误差：3.896mm1393图4. KillingFusion与Volume Deform [20]在快速运动和拓扑变化下的比较。鸭子虽然基于网格的方法不能处理这种运动，但我们基于SDF的方法完全捕获了变形。这反映在最终模型中较少的伪影和较低的误差实时帧是按时间顺序排列的，对象不会完成360次循环。在所有误差图中，红色在1 cm处饱和图4的最后一列包含CloudCompare2中标准姿态输出与地面实况的评估快照。由于体素分辨率较粗，我们的模型往往不如VolumeDeform的模型详细然而，我们实现了更高的几何一致性：我们在史努比上的平均误差是3.5毫米，Duck上的3.9 mm，而VolumeDeform上的分别为4.2请注意，我们使用的体素大小为4 mm，这表明我们的精度保持在其限度内。正如预期的那样，KillingFusion在快速运动领域更接近地面实况模型，而VolumeDeform则更接近地面实况模型。2CloudCompare -三维点云和网格处理软件，http://www.danielgm.net/cc/网站。图5.360°序列上的标准姿势结果：KillingFusion重建了一个完整的、几何一致的模型。藏在那里的文物最后，在图我们扫描了另一个物体，该物体在非刚性移动时完成了完整的360°循环，以展示我们从头开始逐步构建完整的水密模型重建误差保持与部分视图扫描相同的顺序[20]第二十话KillingFusion（我们的）当前RGB史努比Groundtruth误差：4.852mmavg.误差：4.205mmavg.误差：3.543mm1394当前扭曲到实时帧最终规范模型图6. 我们的仅深度KillingFusion与SIFT匹配还依赖于颜色帧的KillingDeform [ 20 ]的比较：我们的重建是相当逼真的。特别是，我们的规范模型表现出较少的文物，较大的运动发生，如。脖子上有一个90度的弯此外，我们的实时帧显示KillingFusion更自然地跟随颈部的褶皱（见标记区域）。接下来，我们在相关单流非刚性重建工作中使用的数据集上测试了KillingFusion。我们选择了我们认为最具挑战性的序列，表现出大的变形，并在可用的情况下在摄像机前面完成完整的环首先，我们在来自于JumeDeform出版物的数据上测试了KillingFusion [20]。作者还公开了他们每100帧的经典姿势和扭曲重构。图6中的比较显示KillingFusion实现了类似的质量。值得注意的是，第二个变形帧表明我们的SDF更自然地变形为几何形状：我们的扭曲模型复制颈部周围的皮肤折叠，而VolumeDeform的模型不会弯曲超过一定程度，这也会在最终重建中造成伪影。这与我们在自己的快速运动记录中观察到的行为相似。总之，另一个数据集也表明，水平集进化允许比基于网格的技术更好地捕获更大的运动。接下来，我们在Dou等人中使用的360个序列上运行KillingFusion。的离线非刚性光束法平差论文[11]和DynamicFusion [32]。由于我们没有作者的结果网格，我们显示快照可从出版物。KillingFusion设法恢复与其他技术相当的保真度的完整模型。特别是，尽管体素分辨率较粗，但它在围绕对象进行完整循环后仍保留了精细尺度的细节，例如鼻子，耳朵和衬衫上的褶皱图7.与Dou等人的离线光束法平差方法的比较。[11]：我们的KillingFusion实时实现了类似的质量，在围绕对象进行完整循环后保留了精细结构，例如衬衫褶皱和鼻子。图 8. 来 自 DynamicFusion [32] 的 全 循 环 挤 压 序 列 的KillingFusion结果，显示了规范姿势重建的前后。(a)所有项（b）ωs= 0（c）ωk= 0（d）γ= 0（e）γ= 1图9.评价能源部分的影响。(a)标准参数设置。(b)无级别集属性保留。(c)没有运动规则化。(d)没有Killing组件的传统运动平滑度(e)纯粹的杀戮状态能量分量的贡献为了确认我们的非刚性能量公式中的所有正则化子都是必不可少的，我们研究了它们在图1中的作用。9.第九条。该模型是不平滑和精细的文物，可见的小孔，出现没有水平集属性（图。9 b），因为它在自卫队演进期间的一些地方受到侵犯。没有运动正则化（图）。9 c），物体的运动部分，如翅膀和头部，随着更多的框架融合而被破坏。在应用标准运动平滑度的情况下，不强制执行无发散的Killing行为（图1）。9d），模型有点[20]第20话我爱你KillingFusion（我们的）Dou等人[第十一届]动态融合[32]KillingFusion（我们的）1395图10.来自MIT数据集的完整3D形状的非刚性配准[49]。从初始SDF开始，我们逐渐发展它以匹配序列中的每个下一个模型每一对都显示了我们的重建及其相应的误差图（比例与之前相同更平滑，但是在几个区域中，不同帧之间的几何形状不一致，导致孔。相反，如果我们不阻尼的杀戮条件（图。因此能量转向完全刚性运动，非刚性运动的机翼几乎消失。我们根据经验确定γ的有利值为0. 05和0。3 .第三章。多视图网格数据集为了展示我们基于SDF的方法的通用 性 ， 我 们 在 MIT 多 视 图 网 格 数 据 集 上 运 行KillingFusion[49]，如Zollh oüfer等人所做的那样。[57 ]第50段。它包含几个序列的150-200个网格，融合从多视图捕捉周围的人谁是执行运动与相当大的变形。因此，它还允许另一种定量评价。图10显示了我们在整个序列中的重建，以及指示与地面实况偏差的对齐误差。我们从第一个网格初始化的SDF开始，并不断地将其发展到与每个下一帧相对应的SDF。虽然误差倾向于随时间略微增加，但漂移累积的影响并不严重。在两个序列中，模型误差均保持在2 mm以下，D弹跳平均值为1.3 mm，T摆动平均值为0.9 mm。我们纳入了其中一个舞女序列，因为它们通常用于文献中，以证明当裙子接触腿部时拓扑学变化的问题[11] -但不会对KillingFusion造成问题特别是，我们注意到没有更大的文物附近的衣服边缘比其他地区的模型。事实上，最大的错误通常在受试者的手附近。这是因为所使用的8 mm的体素尺寸并不总是能够以绝对准确度恢复像手指这样的精细最后但并非最不重要的是，我们注意到，如果我们将第一个SDF变形为每一帧，则需要更多的迭代来收敛，但错误不会显著改变。6. 局限性和未来工作我们的非刚性重建系统的主要目的是恢复变形对象的3D形状。由于这是通过水平集进化而不是通过确定每个点的新位置来完成的因此，我们计划在水平集中集成点对应的向后跟踪[38]，以开辟更多的可能性。此外，我们计划使用径向基函数插值[55]探索在较粗分辨率网格处表示流场，以便可以覆盖更大的体积。7. 结论我们已经提出了一种新的框架，非刚性三维重建，固有地处理不断变化的拓扑结构，并能够捕捉快速运动。我们的轻量级能量公式允许确定密集变形流场更新，而无需对应搜索，基于新引入的阻尼Killing运动约束和水平集有效性正则化的组合。各种定性和定量的示例表明，KillingFusion可以恢复经历各种变形的对象的几何形状我们相信，我们的贡献是朝着真正提供给一般用户的无约束运动的实时恢复向前迈出了一步致谢我们感谢Matthias Innmann在我们的数据上运行VolumeDeform; 感谢Mohamed Souiai 、 Gabriel Peyre 和Chun-Hao Huang进行了宝贵的讨论;和亚历山大·西伯在录音中提供了创造性的帮助。M. Baust感谢DFG资助的合作研究中心SFB 824-Z2成像对癌症治疗的支持。1396引用[1] B. Allain，J. Franco，and E.波耶一种用于形状跟踪的高效体视框架。IEEEInternational Conference on ComputerVision and Pattern Recognition（CVPR），2015年。1[2] E. Angelini，Y. Jin和A.莱恩水平集方法在医学图像分割与配准中的研究现状。生物医学图像分析手册：配准模型，III，2005年。2[3] M. Ben-Chen，A. Butscher，J. Solomon和L. Guibas 曲面上的离散Killing向量场和模式计算机图形论坛（CGF），29（5），2010年。二、四[4] C. Cagniart，E. Boyer和S.伊利克多视点系统中的迭代可变形第五届三维数据处理、可视化与传输国际研讨会（3DPVT），2010年。1[5] S. Choi，Q.- Y. Zhou和V.科尔顿。室内场景的鲁棒重建。在IEEE计算机视觉和模式识别会议（CVPR），2015年。1[6] D. Cohen-Or，A. Solomovic和D.莱文三维距离场变形术.ACM Transactions on Graphics（TOG），17（2）：116-141，1998. 2[7] B. Curless和M.勒沃一种从深度图像建立复杂模型的体积方法在第23届计算机图形与交互技术上，SIGGRAPH '96，第303-312页，1996年。第1、3条[8] E. de Aguiar 、 C. 斯 托 尔 角 Theobalt ， N. Ahmed ， H.Seidel和S. Thrun.从稀疏多视图视频中捕获性能。ACMTransactions on Graphics（TOG），27（3），2008.1[9] M. Dou，H. Fuchs和J.弗拉姆使用商用深度相机扫描和跟踪动态对象。IEEEInternational Symposium on Mixedand Augmented Reality（ISMAR），2013年。1[10]M. Dou，S. Khamis，Y. Degtyarev，P. Davidson，S. 法内洛A. Kowdle，S.埃斯科拉诺角Rhemann，D.金，J. 泰勒P. Kohli，V. Tankovich和S.伊扎迪Fusion4D：实时性能捕 获 的 摄 影 场 景 。 ACM Transactions on Graphics（TOG），35（4）：114，2016. 一、二[11] M. Dou，J.Taylor，H.Fuchs，A.Fitzgibbon和S.伊扎迪使用单个RGBD传感器对可变形物体进行3D扫描。在IEEE计算机视觉和模式识别会议，2015年。二七八[12] F. Endres ，J. Hess ，N. 恩 格尔 哈德 ，J 。Sturm 、 D.Cremers和W. Burgard RGB-D SLAM系统的评价。IEEEInternational Conference on Robotics and Automation（ICRA），2012年。1[13] A. Frangi，D. Rueckert，J. Schnabel和W.尼森多目标三维统计形状模型的自动构建：应用于心脏建模。IEEE医学成像学报（TMI），21（9）：11512[14] S. F. Frisken和R. N.佩里用距离场进行设计。在ACMSIGGRAPH 2006课程，SIGGRAPH2[15]K. 藤原K.Nishino，J. Takamatsu，B.zheng和K.池内 局部刚性全局非刚性曲面Reg-演 示 IEEEInternational Conference on Computer Vision（ICCV），2011年。2[16] B. 诉Ginneken案， A. 弗兰吉 J·斯塔尔， B. 罗梅尼，M. 维尔盖弗基于最优特征的主动形状模型分割IEEE医学成像学报（TMI），21（8）：924-933，2002年。2[17] S. Ho、E. Bullitt和G.格里格区域竞争的水平集进化：脑肿瘤的自动三维分割。2002年第16届模式识别国际会议2[18] C.黄角Cagniart，E. Boyer和S.伊利克多视图4D建模的贝叶 斯 方 法 International Journal of Computer Vision（IJCV），116（2）：115-135，2016. 1[19] F. Huguet和F.德弗奈一种基于变分的立体图像流估计方法在IEEE国际计算机视觉会议（ICCV），2007年。二、四[20] M. 因曼，M. Zol l hofer，M. 尼斯讷河角Theobalt和M. Stamminger体积变形：实时体积非刚性重建。欧洲计算机视觉会议，2016年。一、二、三、五、六、七[21] M. Jaimez，M.Souiai，J.Gonzalez-Jimenez和D.克莱姆斯一种用于实时密集RGB-D场景流的原始-对偶框架。IEEEInternational Conference on Robotics and Automation（ICRA），2015年。2[22] H. 朱，H。柳湖，加-地坦湖，澳-地Gui，B.纳贝岛马修斯T. Kanade，S. Nobuhara和Y.酋长Panoptic Studio：一种用 于 社 会 运 动 捕 捉 的 大 规 模 多 视 图 系 统 。IEEEInternationalConferenceonComputerVision（ICCV），2015年。1[23] O. K aühler，V.A. 普里萨卡留角Y. Ren，X.Sun，P.T或r，以及D. 默里移动设备上深度图像的极高帧率体积积分IEEE可视化和计算机图形学学报，21（11）：1241 1[24] O. Karpenko，J. Hughes和R.拉斯卡变分隐式曲面的自由曲面造型。计算机图形论坛（CGF），21（3）：585-594，2002。2[25] T. Lee和S. Lai. MPU隐式曲面的三维非刚性配准。IEEE计 算 机 协 会 计 算 机 视 觉 和 模 式 识 别 研 讨 会（CVPRW），2008年。2[26] C. Li，C. Xu，C. Gui和M. D.狐狸.无需重新初始化的水平集演化：一个新的变分公式IEEE计算机协会计算机视觉和模式识别会议（CVPR），2005年。2[27] C. Li，C. Xu，C. Gui和M. D.狐狸.距离正则化水平集演化 及 其 在 图 像 分 割 中 的 应 用 。 IEEE Transaction onImage Processing （ TIP ） ， 19 （ 12 ） ： 3243-3254 ，2010。4[28] H.李湾，澳-地亚当斯湖Guibas和M. Pauly.鲁棒的单视图几 何 和 运 动 重 建 。 ACM Transactions on Graphics（TOG），28（5），2009. 1[29] W. E. Lorensen和H. E.克莱恩Marching Cubes：一种高分辨率三维曲面构造算法。计算机图形学和交互技术，SIGGRAPH'87，第163- 169页，1987年31397[30] Maintz和M.维尔盖弗医学图像配准综述。医学图像分析，2（1）：1-36，1998年。2[31] M. Meilland和A.I. Comport. 基于关键帧和体素的大规模稠密视觉SLAM的统一研究2013年1[32] R. A. Newcombe，D. Fox和S. M.塞茨DynamicFusion：非刚性场景的实时重建与跟踪。在IEEE计算机视觉和模式识别会议（CVPR），2015年。一、二、三、七[33] R. A. 纽科姆，S。 伊扎迪河 希利格斯，D。莫利诺D. Kim ， A. J. 戴 维 森 ， P. Kohli ， J. Shotton ， S.Hodges，和A.菲茨吉本KinectFusion：实时密集表面映射和跟踪。2011年第10届混合与增强现实国际研讨会（ISMAR）。1[34] M. Nießne r，M. Zollh oüfer，S. I z adi和M. 斯塔明格河使用体素散列的实时3D重建。ACM Transactions on Graphics（TOG），2013年。1[35] S. Osher和R. Fedkiw. 水平集方法和动态隐式曲面，应用数学科学第153卷。施普林格，2003年。二、三、四[36] S. Osher和J.塞西安曲率相关速度的波前加速：基于Hamilton-Jacobi 公 式 的 算 法 Journal of ComputationalPhysics，79（1）：12 2[37] N. Paragios，M. Dallasson，和V.拉梅什使用距离函数的非刚性配准。计算机视觉与图像理解（CVIU），89（2-3）：142-165，2003。2[38] J. Pons，G.埃莫西约河Keriven和O.福格拉斯如何在水平集框架中处理点对应和切向速度。2003年第九届IEEE计算机视觉国际会议（ICCV）。8[39] J. Quiroga，T. Brox，F. Devernay和J.克劳力基于RGBD图像的稠密半刚性场景流估计。欧洲计算机视觉会议（ECCV），2014。2[40] M. 斯拉夫切瓦湾Kehl，N. Navab 和S. 伊利克SDF-2-SDF ： 高 精 度 3D物 体 重 建。 欧 洲 计 算 机 视觉 会 议（ECCV），2016。3[41] J. Solomon，M. Ben-Chen，A. Butscher和L. Guibas平面变形的尽可能杀死向量场计算机图形论坛（CGF），30（5），2011年。二、四[42] O. Sorkine和M. Alexa尽可能刚性的曲面建模。第五届欧洲图形学几何处理研讨会（SGP），2007年。二、三[43] F. St