全球运输重建流动运动的自我监督算法

1632学习自我监督埃里克·弗朗茨慕尼黑工业大学erik. tum.de苏黎世联邦理工学院solenthaler@inf.ethz.ch慕尼黑工业大学nils. tum.de利用重建运动传输密度...图1：我们提出了一种新的算法，重建运动u0.在输入序列的F个帧的整个过程中，全球运输。基于一个学习的自我监督，我们的算法产生了一个现实的运动高度约束的情况下，如一个单一的输入视图。摘要我们提出了一种新的方法来重建体积流量从稀疏的意见，通过全球运输制定。而不是获得观测的时空函数，我们重建其运动的基础上一个单一的初始状态。此外，我们引入了一个学习的自我监督，约束从看不见的角度观察。这些视觉约束通过传输约束和可微分渲染步骤耦合，以达到鲁棒的端到端重建算法。这使得重建高度逼真的流动运动成为可能，即使是从一个单一的输入视图。我们表明，与各种合成和真实的流量，建议的全球重建的运输过程中产生一个改进的重建的流体运动。1. 介绍许多人类活动和制造过程的周围空间充满了流体，我们只能间接观察其运动[53，61，72，79]。一旦被动标记，以墨水或染料的形式被注入流体中这种形式的运动重建对于各种各样的应用非常重要，从医疗设置[59]，到工程[67]到视觉效果[15]，但同时也带来了巨大的挑战。人类尺度上的流体通常是湍流的，并且是平移、剪切和旋转运动的高度复杂的混合物[60]。此外，通过遮挡的标记一些工作已经通过专门的硬件[18，77]或通过将已建立的流体物理模型（Navier-Stokes方程）纳入到表达式[11，21]中来缓解这些挑战。然而，尽管在重建质量方面有所改进，但重建问题的高非线性与模糊观测相结合可能导致优化找到偏离地面实况运动的不期望的极小化器。为了获得解决方案，现有方法计算随时间推移的体积观测[21，9，79]。因此，尽管包括物理模型，但观察到的量表示每个时间步长的未知数，并且允许偏离模型的约束。我们做了一个中心的观察：当在所观察到的流体的完整轨迹的过程中强制执行物理模型时，相应的重建产生了一个更好地坚持地面真理的运动因此，我们的重建结果不是一个序列，而是一个单一的密度初始状态。这种状态是纯粹通过物理模型和运动场的时间重建而随着时间的推移经由全局传输而演变的除了改进的运动重建，这种严格可微的物理先验[7，28]允许我们使用非常稀疏的观测，极端情况下只有一个视点。稀疏视图输入序列运动重建自我监督I600I900I1350u0u1新奇的风景…*……t= 1.0 st= 1.5 st= 2.25 sρ0，渲染可微t优化全球交通…uF0IF第一章0 0I0*It*Itρ0鉴别器真/假t= 1.0 st= 1.5 st= 2.25 s1633为了更好地限制这种单视点场景中的自由度，我们提出了一种受生成对抗网络（GAN）启发的方法[19，76]。由于完全缺乏来自其他观点的观察，我们使用了一个小的示例运动数据集，并在运动重建的同时训练了一个卷积神经网络。这discrim- inator随机采样的观点，以提供图像空间的约束，随着时间的推移，通过我们的全球运输配方进行评估虽然现有的作品通常也集中在线性图像形成模型[30，22]，我们结合了视觉和传输约束与完全可区分的体积渲染管道。我们考虑了复杂的照明效应，如吸收和自阴影，这是捕捉许多真实世界标记观察的视觉外观的关键因素。总而言之，我们工作的主要贡献是：• 一个全球多尺度传输优化通过不同的物理模型，产生纯粹的传输为基础的重建。• 在从非常稀疏和单一输入视图中获得运动之前，学习视觉。• 包含显式照明和体积自阴影的微分渲染。据我们所知，这些贡献使得有可能第一次构建一个流体运动从稀疏的意见，在一个端到端的优化，甚至从一个单一的角度来看。图1给出了概述。2. 相关工作根据观测数据重建流体流动在科学和工程中有着悠久的历史。已经提出了各种各样的方法，从纹影成像[6，2，1]、粒子成像测速（PIV）方法[20，12]到激光扫描仪[24，16]和结构光[23]和光路[33]方法。特别是PIV已被广泛使用，并看到了各种扩展和改进，如合成孔径[3]，专门的照明设置[77]和自定义硬件设置的租赁[14]。在下文中，我们关注可见光捕获方法，因为它们避免了对专用且通常昂贵的硬件的依赖这种捕获模态在与稀疏重建结合时特别有趣，医学断层摄影设置通常有利于视图稀疏[68，4，66]。这里，要从非常少量的输入视图重建的密集网格的大量自由度的高度欠约束设置对于重建算法是高度挑战性的。一个途径，以获得减少解决方案空间是引入物理先验。对于流体，Navier-Stokes方程[60]代表不可压缩流体的完善物理模型。例如，伴随方法用于体积流量的基于梯度的优化，例如流体控制[48]。另一方面，Gregsonet al. [21]介绍了一种多视图凸优化算法，该算法利用离散的前进步骤和无发散投影。这种方法被扩展到包含视图插值以获得额外的约束[79]。凸优化也用于稀疏视图重建[9]或特定单视图重建[8]。然而，这需要手工制作的正则化器来抑制深度对齐的运动。相比之下，我们依靠深度学习方法提供的梯度进行重建。并且，虽然这些方法中的若干方法引入了用于帧间约束的传输项，但是没有一种方法引入了产生从初始状态到最后观察到的帧的单个物理传输过程的通过偏微分方程的这种梯度传播也在可微物理模拟中进行了探索[28]。3D重建和外观解决静态散射体积介质的层析成像已经通过逆散射[17]或大规模云景[43]进行了研究。虽然我们的目标是体积重建，但我们的目标也部分符合清晰定义的表面可见的设置，例如，三维几何重建[54，42]，包括其变形[78]。提出了基于网格的方法来创建标记模板网格的变形[35]或球形原型[37]。虽然标记密度体积不显示清晰的表面，但它们与基于体素的重建有相似之处[58，52]。此外，学习的表示[69，45，70，51]具有对有关透明材料及其反射特性以及随时间变化的变形[50，55]的信息进行编码的灵活性结合稀疏视图重建，正则化变得越来越重要，以获得有意义的解决方案。有一种工作采用了不同形式的外观转移[10，32]，例如，以匹配流体重建的直方图[57]，而其他人则提出了通过光流的视图插值[79]。在自然图像的风格转换的背景下，通过GAN [19，62]学习的方法被证明是特别强大的[81，36]。GAN也同样用于流体合成设置[76]，我们提出了一种学习的神经网络，它与单个流重建过程一起工作。类似的想法被用于静态对象的单视图层析重建：Henzler等人的方法。[26]被扩展到包括一个特定类别的对象[25]来约束看不见的视图的学习模型。我们将这种方法扩展到序列，并表明，1634−1C一一学习自我监督的概念为身体重建提供了非常可微分绘制计算图像中像素对输入变量的导数对于许多反问题是必不可少已经提出了几种快速但近似的可区分渲染方法，用于模拟简单的光传输效果[46，38]。基于物理的神经渲染器考虑了次要效果，如阴影和间接光。Li等[44]提出了第一个通用的可微射线示踪剂，和尼米尔等。[56]一个多功能的MCMC渲染器，在其他例子中，应用于烟雾密度。神经渲染器[71]用于3D重建问题，例如，来呈现一个明确的给定初始密度ρ0，时间t的状态ρt由下式给出：ρ t：= At（ρ0）= A（A（A（ρ0，u0），u1）. . . ，ut−1）（2）我们只优化了ρ0和速度序列{u0，. . .，ut−1}，而不是像以前的方法那样单独优化所有ρ t。利用该公式，我们在整个流体流动轨迹上执行正确的输送tory，导致更好地遵循等式（1）的重建运动。 对于优化，所有ρt都受以下约束：一个复合损失Lρ，我们将在第4节详细介绍。因此，ρ0的梯度是所有标架t∈F，w.r.t.的Lρ到第一帧的密度：场景表示[25]或合成新视图[51]。在流体模拟的背景下，可微分渲染-Fρ0=Lρ（ρt）=<$At（ρ0）<$Lρ（At（ρ0））.（三）在使用和不使用微分求解器的情况下，一t=0时∂ρ0t=0时∂ρ0Δt（ρ0）timize机器人控制器[63]，初始化水波模拟器[29]，并将输入图像中的风格转移到3D密度场[39，40]。添加剂，即，线性，轻-通过每个传输步骤A（ρt，ut）的梯度的反向传播流动模型常用于流动重建[9，79]。ttA（ρt，ut）电话+1它们适用于标记密度较薄的情况，在均匀光照条件下吸收。 与此相反，ρA=汽车旅馆（4）我们的方法采用可微分的绘制模型，其中，Δρt=ΔLρ（ρt）/Δ ρt是每帧处理非线性衰减和自阴影。F梯度和ΔρA=Δρ F−1 .在实践中，我们发现，3. 方法使用具有衰减β为了累积梯度，即，我们算法的中心目标是重建一个ttA（ρt，ut）电话+1体积流体运动U的空间-时间序列，使得标记密度ρ的被动传输场与一组目标图像匹配。这些目标作为F帧时间序列的c∈C校准输入视图It给出，{t|t∈N0，

下载后可阅读完整内容，剩余1页未读，立即下载