非视线成像中基于表面的重建方法

1超越体积反照率- 非视线成像蔡佳茵，Aswin C.卡内基梅隆大学摘要非视线（NLOS）成像是使用通过中间漫反射间接地从被遮挡场景行进到传感器的光的测量来重建从传感器遮挡的场景的属性的问题。我们介绍了一种分析合成框架，可以重建复杂的形状和反射率的NLOS对象。我们的框架偏离了以前的工作NLOS重建，直接优化的表面表示的NLOS对象，在一般采用的体积表示。在我们的框架的核心是一个新的渲染公式，有效地计算相对于NLOS几何形状和反射率的辐射测量的导数通过将其与随机优化和几何处理技术相结合，我们能够以显著超过先前体积重建方法可能的细节水平重建1. 介绍非视线（NLOS）成像是一种新兴的技术，其涉及使用高阶光传输以便重建在传感器的直接视线之外的场景的属性。一个常见的设置是所谓的 该技术在过去十年中取得了快速发展，因为一些积极的[68，56，40，74，13，73，81，36，42，63，48，61，50，80]并且已经引入了被动[8，66，6，10，5]技术，其可以在逐渐更具挑战性的条件（环境照明、实时捕获等）下操作我们关注的问题，形状重建在环顾四周的角落设置使用主动照明。通常，主动技术使用可控图1. 环顾角落：非视线（NLOS）成像是通过分析在可见表面和被遮挡表面之间多次反射的光来重建被传感器遮挡的场景部分的问题。我们开发了一个逆渲染管道，使用精确的辐射成像模型来产生详细的NLOS表面重建。光源，例如激光束，通过可见墙壁上的反射将光间接注入NLOS场景。然后，他们使用时间分辨或瞬态强度测量[33]来重建NLOS场景。大多数现有技术使用Velten等人介绍的图像形成模型来执行3D重建al. [77]见附件。该模型将NLOS场景表示为一个三维体积，其中每个体素都是具有相关三维值的各向同性反射体。这种表示允许近似制定瞬态光传输在NLOS场景中，只有线性代数运算。反过来，这允许从1545可见表面NLOS场景封堵器源和传感器地面实况体积该方法1546通过求解潜在正则化的线性最小二乘系统[31，29，56，30，3，48，50]进行瞬态测量。这种数学上的易处理性是以物理上的精确性为代价的：在由不透明物体组成的NLOS场景中，光传输是物体界面处的离散光-表面相互作用的结果，而不是连续光-体积相互作用的结果。此外，这些相互作用包括诸如法线相关着色和非朗伯反射率之类的效果，这些效果被反射体积忽略。另一方面，代替体积反射，给定NLOS对象的表面和反射率的表示然而，与EQUIPDO体积模型不同，评估该方程仅可能通过计算昂贵的Monte Carlo渲染操作[75，64，18]。到目前为止，这种增加的计算复杂性阻碍了渲染的采用NLOS重建技术中的方程。在本文中，我们克服了计算的复杂性，并介绍了一个计算管道，重建NLOS对象的形状，在一个三角形网格的形式，和复杂的反射率，在一个微面BRDF的形式，同时准确地考虑到底层的光传输物理。在我们的管道的核心是一个不同的公式化的渲染方程在NLOS设置。该公式使Monte Carlo渲染的使用，以有效地估计相对于形状和反射率参数的辐射测量的衍生物。我们将优化的可微分渲染实现与逆向渲染框架中的随机优化相结合[53]，其中我们迭代地对NLOS表面进行变形，以便最小化测量和渲染光瞬变之间的差异。我们增加了这个表面优化管道的几何处理工具，帮助提高质量的三角网格。通过对合成和测量数据的实验，我们表明，该管道可以产生NLOS表面重建的详细程度与使用两个或多个量级的测量的非线性体积方法所实现的相当，同时还可以恢复非朗伯反射率。我们将发布我们的优化实现，以鼓励在NLOS成像中采用逆渲染管道，无论是作为独立的重建工具，还是作为后处理程序与三维体积方法结合使用。2. 相关工作非视线成像是指重建通常从传感器捕获的场景的属性的广泛问题。尽管对这个问题的兴趣可以追溯到几十年前[24]，但它最近在计算机视觉和图形学中引起了越来越多的关注，随后两篇开创性的论文[41，77]证明了这种能力。在拐角处的设置（图1）。从那时起引入的大多数NLOS成像技术都使用主动照明，但有几个值得注意的例外[8，66，6，10，5]。我们可以将主动非视距成像技术大致分为三类。首先是相干照明技术，其利用散斑统计来重新覆盖关于NLOS场景的信息[68，36，7，37]。第二类包括在激光或闪光照明下使用非相干强度测量来恢复NLOS运动信息[42]、语义标签[71]或在某些情况下甚至几何形状[81，73]的技术。与我们最相关的是第三类主动技术，其使用瞬态强度测量重建NLOS几何[33]。这已经使用包括超快光电二极管[41]、光学相干断层扫描[80]、条纹相机[77，29]、连续波飞行时间相机[31，34]和单光子雪崩二极管（SPAD）[13，56，30、45、3、74、63、61、50、80]。这些技术中的大多数使用NLOS场景的体积表示和由Velten等人引入的近似图像形成模型。[77]见附件。 我们从这一工作路线出发的目的是表明，使用基于渲染方程[35]的物理精确的图像形成模型，我们可以以更高的几何细节重建NLOS场景的表面，而不是体积与从瞬态中特定事件的时间戳重建表面表示的其他技术相比[74，80]，我们通过考虑完整的瞬态强度信息来实现这一点，这使我们能够额外重建反射率。表面优化是计算机视觉中用于3D重建的经典方法，其中它通常应用于基于立体的重建[2，21，22，25，16，69，83，15、82、65、44]。在相关的上下文中，表面优化技术用于计算机图形的网格编辑应用程序[17，54，70，20，49]。在高层次上，这两种类型的应用程序都是通过首先将目标函数（或能量）定义为曲面上的积分来操作的。然后，他们推导出该曲面积分关于某些曲面表示的导数的表达式最后，这些导数用于创建一个流动过程，该过程渐进地使一些初始表面变形，直到目标函数最小化。导数表达式的推导通常依赖于来自微分几何的工具，并且已经针对隐式（例如，水平集[55]）和参数（例如，三角网格[16]）表面表示。类似的表面积分出现在NLOS成像的情况下，通过渲染方程。因此，我们利用这一数学机制进行表面优化的NLOS重建。微分绘制作为一种从图像中恢复物理未知量的方法被引入。1547保证，其可以包括仅直接[52]和全局照明效果（例如，[28，27，84，46，26，38]或相互反射[51，47，4]）。通常，微分渲染用于执行合成分析，也称为逆渲染[53，60，59]。这是指搜索物理参数的值，当用于合成图像时，可以再现输入图像测量。为了通过梯度下降SNLOS，因为这种光分量通常使用时间选通机制[13]去除。此外，对于每对虚拟点l和s，我们假设我们已经校准了我们的测量结果，因此我们可以忽略连接l0→l和s→s0的辐射和路径长度项。在这些假设下，我们可以使用光传输的路径积分公式[75]将传感器在时间t测量的强度s0写为在最优化中，使用可微分绘制来估计图像关于未知参数的导数。在我们的设置中，我们设计了微分渲染算法，使表面优化，并定制的NLOS图像形成模型，以提高效率。I（t;l，s）=∫SNLOSg（x，n<$（x））联系我们W（x;t）f（x，n<$（x））·v（x，l）v（x，s）dA（x），（1）3. 问题设置我们关注的是环视角落成像设置，我们将在本节中详细描述。 沿着这条线，我们引入了相关的符号，并使用此符号来写下在此设置下捕获的辐射测量的表达式，作为NLOS场景的属性的函数这些表达式在基于物理 的 渲 染 文 献 中 很 常 见 （ 例 如 ， 参 见 [75 ， 64 ，18]），但我们详细描述了它们，作为导出第4节的逆渲染算法的必要背景。为了帮助浏览本节，在图2中，我们在二维中可视化了环视角设置和一些符号。我们使用脉冲源l0和瞬态检测器s0，对由两组不同曲面组成的场景进行成像：对于源和检测器都可见的表面S LOS，以及对于源和检测器都被遮挡的表面SNLOS。我们假设不存在既不在SLOS中也不在SNLOS中的曲面。我们还假设可见表面SLOS具有朗伯反射率。我们使用光源照射可见表面SLOS上的点l。同样，我们使用探测器对一个点进行成像其中，A（x）是S NLO S上的面积测量，n= 1是特定点 处 的 表 面 的 法 线 ， W （ x;t ） ， f （ x ， n=1（x）），v（x，s）将在下面讨论。当考虑作为所有可能的时间t、虚拟源l和虚拟检测器s的函数时，I（t;l，s）通常被称为五个维瞬态[13]。 我们注意到，由于三个反弹的假设，通常的路径积分减少到一个单一的表面积分NLOS表面SNLOS。等式（1）中的辐射通量f是流过路径l→x→s的辐射，f（x，n（x））=fs（n（x），ωl（x），ωs（x））<$−ω<$l（x），n<$（l）<$$>ω<$l（x），n<$（x）<$·x−l−ω·，（2）x−s其中fs是SNLOS在点x处的BRDF，ωl（x）是平行于l−x的归一化向量，并且对于ωs（x）是类似的。时间重要性W通过以下方式对该机制进行建模：其中传感器为每个测量值I（t;1，s）1选择在某个特定范围内的长度的路径， .Στ（x）−tS在S上。我们称点l和s为虚源和虚拟检测器。 这个术语源于W（x，t）= rect不、（3）这是因为这些点有效地用作直接附着到SLOS的各向同性光源和检测器，因为它们通过漫反射将光从光源重新定向到NLOS场景，并从NLOS场景重新定向到检测器。3.1. 图像形成模型我们把注意力限制在所谓的光效应上，其中rect是单位矩形函数，T是传感器τ（x）=+。（四）最后，可见性函数v是两点之间的遮挡的二元指示符，.形式为l0→l→x→s→s0的三跳路径其中x∈SNLOS;也就是说，在虚拟源l和虚拟1548检测器s之间的路径，与v（x，y）=1、如果x、y彼此可见，0，否则。（五）点x∈ SNLOS处的NLOS曲面。我们根据先前的观察结果进行了这种简化，即遵循高阶路径的光子难以用现有传感器检测[63]。我们还忽略了不与NLOS表面与EQUIPDO体积模型的比较。它是指令-目的是比较方程的曲面积分公式（1）用Velten et al. [77]见附件。[1]我们将几何路径长度和飞行时间视为等价的，因为它们通过光速相互关联1549图2. 管道概述：（左）2D可视化和符号。（中）我们对点x进行采样以估计瞬态及其相对于反射率π和三角形网格的顶点v（右）我们使用计算的梯度来演化曲面。该模型将NLOS场景表示为连续三维体（x∈ VNLOS）的所有点上定义的连续函数ρ（x）。然后，瞬态测量-搜索可用于模拟与测量结果最匹配的瞬态的参数值形式上，我们最小化以下损失函数，各部分表示为体积积分，∫E（v，π）=1Σ¨我是 （t）−I[v，π]（t;l¨2得双曲余切值. ）¨。（七）I（t;l，s）=VNLOSW（x;t）ρ（x）x−ldV（x），（6）2英寸m，tmm其中V（x）是VNLOS的标准度量。与等式（1）相比，我们注意到等式（6）的被积函数将反射率函数fs约束为朗伯函数，并且省略了法线相关的阴影项和可见度项v。最近的扩展通过在VNLOS[30]上各处定义的附加体积函数来合并法线和可见度效果。然而，垂直、垂直和可见度体积函数被视为彼此独立，即使它们实际上交织为基础NLOS表面SNLOS的函数。尽管缺乏物理精确性，但由于其数学上的一致性，我们使用符号I[v，π]（t;l，s）来指示通过等式（1），渲染瞬态是表面和反射率参数v和π的函数。虽然我们为了方便使用L2损失，但我们的技术可用于最小化相对于I[v，π]（t;l，s）可微分的任意损失，包括从底层瞬态传感器的噪声模型导出的损失[32]。我们的目标是使用梯度下降优化，以有效地最大限度地减少分析合成的目标和恢复的NLOS表面和反射率参数。关于表面和反射率参数对方程（7）的损失函数E（v，π）进行微分，我们得到：venience：通过一个直接离散化的EΣ。I（t;l），s）方程（6）的体积积分，=−Im（t）−I（t;lm，sm）（8）模型变成简单的矩阵-向量乘法运算。因此，反演模型以重建NLOS场景可以被视为线性最小二乘问题。相比之下，方程（1）的表面积分的前向评估依赖于所涉及的表面求积方法或蒙特卡洛渲染。反过来，这使得反演NLOS重建的模型变得不平凡。我们推迟到第4.2节讨论蒙特卡罗渲染，在我们第一次开发我们的方法进行这种反演。4. 综合分析优化我们现在可以公式化NLOS重建问题。我们给出了一组经过校准的瞬态测量值。∂y ∂ym，t其中y可以是v或π。计算导数不仅需要计算瞬态I，还需要计算它们相对于反射率和表面参数的导数I/ππ和I/πv这是具有挑战性的，因为I不是这些参数的解析函数，而是仅通过方程（1）的表面积分与它们我们使用基于以下方法克服了这一障碍：关于可微分渲染。 我们证明了导数可以将λ I/λπ和λ I/λv表示为类似于方程（1）的曲面积分。这使我们能够为随机数绘制高效的蒙特卡罗渲染算法线束段、I∈m（t），m=1，. . . 、M、，对应于近似反射率和表面导数，提维斯然后，我们可以将这些随机估计与虚拟点{（l m，s m），m = 1，. . . ，M}。 我们还采用参数形式SNLOS[v]和fs[π]分别用于NLOS表面和反射率。然后，我们通过合成分析（也称为逆渲染）从测量中恢复未知参数：1550随机梯度下降优化[39]以最小化方程（7）。在本节的其余部分，我们首先描述我们对NLOS表面和反射率参数化的选择，然后概述我们的方法可微渲染方法，将细节推迟到补充。15514.1. 微分瞬变曲面参数化。我们将NLOS表面SNLOS表示为一个带边界的三角形网格，我们使用两个矩阵来表示：首先，一个3×V几何模型可以提供其V顶点的三维坐标第二，一个3×T拓扑矩阵T提供了它的T个三角形的整数顶点指数我们不给顶点分配任何法线或纹理参数，并且在网格上的每一点，我们假设表面法线等于相应三角形我们使用网格而不是隐式表示（例如，水平集[55]或有符号距离函数[14]，以促进有效的蒙特卡罗渲染（见第4.2节）。另一方面，由于需要处理离散拓扑矩阵T，这使优化复杂化。正如在网格优化中常见的，我们使用可微渲染来最小化仅关于网格顶点的等式（7在这个迭代最小化过程中，我们使用标准的几何处理工具来改进网格拓扑（第5节）。反射率参数化。我们假设NLOS表面具有空间均匀的BRDF，我们表示使用广泛采用的GGX微面BRDF，如Walter等人所述。[79]见附件。为了完整起见，我们在补充中提供了GGX的完整表达式fs作为曲面积分的导数。我们现在陈述论文的主要技术结果，其允许我们导出图像形成模型（1）关于表面几何形状和反射率的导数的表达式。命题1瞬态I（t;l，s）相对于反射率和网格顶点的导数可以写为：∫0.20.10-0.1700 800 900 1000 1100 1200#bin图3. 梯度估计技术的比较：我们估计的衍生物的瞬态相对于一个坐标的一个NLOS表面顶点。我们绘制了两个估计值，一个使用第4.2节的渲染算法计算，另一个使用有限差分和对偶变量[23]。我们观察到，数值梯度比渲染的梯度明显更嘈杂，尽管使用两倍的路径样本进行计算。表面（即遮挡轮廓[43]），并且在计算机视觉和图形问题中很常见[2，67，49]。De- launoy和Prados [16]表明，即使不将可见度项v近似为常数，微分也是正如我们在增刊中所讨论的，我们可以类似地扩展命题1来解释可见性。然而，在实践中，我们发现，这使蒙特卡罗渲染复杂化，而没有显着改善优化结果。曲面正则化我们注意到，当优化几何时，我们遵循Delaunoy和Prados [16]，并使用正常平滑正则化项来增加损失函数E（v，π）。我们将在补充中讨论这一点。4.2. 随机估计与优化我们现在可以描述我们的两个核心计算工具，用于有效地最小化方程（7）的损失函数I=斯多夫·Sgs（x，n（x））v（x，l）v（x，s）dA（x），（9）Monte Carlo 渲染。方程（1）、（9）和（10）的表面积分可以近似为：科隆洛斯I=grπSNLOS（x，n<$（x））v（x，l）v（x，s）dA（x），（10）蒙特卡罗积分：我们首先使用S NLOS上的任何概率分布μ对一组点进行采样{x j∈ SNLOS，j = 1，. . . ，J}。然后，我们可以重新-对于适当的函数GS和GR。给出了g_s和g_s的证明和具体表达式。无偏估计和一致估计[23]：Jg（x，n<$（x））v（x，l）v（x，s）GR在补充。在反射率的情况下，这只是包括改变微分和积分的顺序IJj=1J Jµ（xj）j，（11）第 然而，对于网格顶点，. ∂IΣ ΣJg（x，n<$（x））v（x，l）v（x，s）方程（1）由于以下事实而复杂：sj j jj，（12）过表面也是网格顶点的函数。我们通过使用最近的分析结果来解决这个问题-茨布夫j=1. ∂IΣ ΣJGµ（xj）（x，n<$（x））v（x，l）v（x，s）从网格泛函中提取梯度流作为曲面插值rj j jJ.（十三）gras [20，19].这些结果也被De- launoy和Prados [16]用于线切割∂πj=1µ（xj）视线重建问题（例如，shading）。数值梯度渲染梯度梯度1552我们的证明使近似的可见性条款v是独立的网格几何形状。这种近似是合理的，因为可见性项仅在零测量部分上具有非零导数。在补充中，我们描述了一个分层的区域采样过程，这大大加快了渲染。随机梯度下降使用这些蒙特卡罗估计，我们可以近似计算方程（8）的导数。我们可以把这些随机导数-1553(a) 初始网格（b）梯度下降后的网格（c）EL TOPO（d）各向同性重新网格化图4. 几何处理：我们展示了一个几何处理操作的例子，我们使用改进网格拓扑结构。(a)初始网格。(b)渐变下降步骤后的网格，在几个地方有自交（见插图）。(c)使用El Topo进行网格演化，这有助于减少自相交。（d）各向同性重新网格化后的网格，这增加了网格细节，同时减少了高频伪影。利用随机梯度下降（SGD）算法进行主动估计，以执行方程（7）的综合分析优化。我们使用Adam [39]交替优化反射率和表面，并在补充中提供有关我们优化过程的更多细节。与数值微分比较。SGD优化的性能关键取决于计算低方差无偏梯度估计的能力。为了突出我们的可微渲染公式在促进这种优化中的重要性，我们在图3中比较了渲染的梯度估计与使用有限差分近似计算的估计。我们观察到，数值梯度有显着较高的变异性;因此，将它们与SGD一起使用将大大减慢收敛速度。或者，我们可以通过使用正交技术（例如，有限元）来计算前向积分（1）。然而，这可能会引入强偏倚，从而影响结果的物理准确性。5. 几何处理操作如4.1节所述，我们使用随机梯度下降来优化网格SNLOS的顶点，而不是其拓扑。相反，我们通过在综合分析优化期间的不同时间使用几何处理工具来改进网格拓扑，如图4所示。强大的表面进化。随着网格SNLOS在多个SGD迭代上演变，三角形质量通常会降低。受其他优化驱动的网格编辑算法[49]的启发，我们转而使用在El Topo [11]中实现的Brochu和Bridson [12]的管道来进化SNLOS。给定初始顶点{v i，i= 1，. . . ，V}，并且相关联位移{dv i，i = 1，. . . ，V}，El Topo执行两种类型的操作：首先，它改变了位移矢量，tors和网格拓扑，以生成不相交的网格。其次，它使用局部拓扑操作来提高整体网格质量。在我们的实现中，我们积累位移向量dvi在多个梯度下降迭代，然后使用El拓扑进化网格。渐进细化和各向同性网格重划分。作为正则化的一种附加手段，我们优化了NLOS以由粗到细的方式对SNLOS进行曲面处理。我们从一个相对较少的顶点V和三角形T的网格开始.然后，在SNLOS的梯度下降优化过程中，我们逐步增加顶点和三角形的数量。我们通过执行各向同性重新网格化操作[9]并增加目标顶点数来实现网格细化。除了增加网格细节外，各向同性重新网格化还可提高网格质量并滤除网格表面上的高频伪影。6. 实验实施. 我们的框架有三个主要组成部分：微分渲染、几何处理和随机梯度下降。对于渲染，我们开发了一个基于Embree [78]的C++实现，以实现快速CPU执行。对于几何处理，我们的C++实现是使用El Topo [11]，CGAL [72]和libigl [57]库构建的。最后，渲染和几何组件都与Pytorch [58]接口，我们使用Adam [39]进行随机梯度下降优化。我们的实现可以扩展到优化网格超过100000顶点，使用4096瞬态测量1200个时间箱每个。我们在一个72核的Amazon EC2 c5.18xlarge实例上运行实验，每个场景的运行时间大约为两个小时。我们的实施和数据可在线获取[1]。扫描配置。在我们所有的实验中，我们使用共焦扫描程序，l=s[56]。扫描点位于可见表面上的64×64规则网格上初始化。除非另有说明，否则我们使用O'Toole的光锥变换算法进行等人[56]。我们首先计算沿深度轴的最大可重复体素，然后修剪低于阈值的可重复值，最后对剩余点进行三角测量，从而将所得到的可重复体积转换为表面6.1. 合成实验我们使用合成数据来评估我们的方法重建NLOS表面形状和反射率的能力。在我们的合成实验中，NLOS对象被放置在距离为0。距离尺寸为0的可见墙4米。5m× 0. 5米。1554图5. 曲面重建示例：（上）地面真相。（中）使用光锥变换的重建[56]。（下）我们的方法的我们可以重建具有不同表面特征的形状，包括强非凸性，大深度变化和浅浮雕细节。图6. 备选初始化：（左）利用空间雕刻进行重建[74]。（中，右）从我们的方法重建，以相同的比例（中）和放大（右）显示。我们使用蒙特卡罗瞬态渲染[62]来合成数据，我们向其中添加噪声[32]。在补充中，我们展示了额外的模拟评估不同数量的测量和噪声量的性能形状重建。图1和5显示了已知朗伯反射率的各种NLOS形状的反射我们的方法重建表面的细节是完全从初始体积重建失踪。一个值得注意的结果是肥皂条，在那里我们可以重建浮雕字母（深度2瞬态箱）。在作为补充，我们使用表面距离度量来量化重建改进。替代初始化。图6显示了一个例子，我们使用Tsai等人的空间雕刻算法初始化我们的优化。[74]见附件。我们观察到，尽管初始化非常粗糙，但我们的方法仍然产生与图1中更精确的体积初始化产生的细节相当的重建。同时进行形状和反射率重建。 图7示出了用于重建形状和反射率的模拟实验。我们用一系列GGXα值进行实验，从非常平滑到非常粗糙的镜面反射率（图7（b）-（c））。我们观察到，我们的算法在所有情况下都成功地重建了形状和反射率的粗略估计，但重建质量随着表面变得更加镜面化而下降。6.2. 实测数据我们进行实验，使用数据集从三个真正的NLOS场景，捕获与SPAD为基础的瞬态成像系统。第一个数据集是弥漫的15553210650 700750800850900(a)不同参数= .= .(b)α=0.1（c）α=0.4= .= .= .= .= .= .(d)α=0.1(e)α=0.2(f)α=0.3(g)α=0.40.10.20.30.4（bi10- 34图7. 形状和反射率的重建：（a）我们绘制不同GGX α值的瞬态，以可视化反射率对NLOS测量的影响。（b，c）我们还通过在环境光下渲染场景来可视化反射率。（d-g）我们显示了不同α值的优化结果，初始形状和α在顶部，优化结果在底部。”[56]《明史》：如图8所示，我们恢复的形状非常类似于地面实况几何形状，并且总体上比体积重建更平坦。此外，我们还显示了两个数据集的重建与我们自己的实现的SPAD设置的[56]，对于两个表面复杂度更高的NLOS物体第一个对象是一个漫反射的马半身像，具有精细的几何细节。如图8所示，我们的恢复结果更好地再现了平坦和弯曲的表面区域的第二个对象是具有6mm高（5个瞬时箱）的两个数字形状的浮雕的平面场景。我们恢复的结果更好地区分数字从背景表面。7. 讨论我们讨论了我们的NLOS表面优化框架的一些限制。由于我们通过优化非常非线性的损失函数来进行重建，因此我们的最终结果可能强烈依赖于初始化。我们的实验表明，初始化的质量强烈影响恢复的NLOS对象的范围，但对重建细节的影响很小我们希望通过将边界进化技术结合到我们的优化管道中来解决前一个问题。此外，我们的流水线表现更差的反射率的NLOS对象变得更加镜面反射。我们认为这主要是由我们用于渲染的区域采样过程引起的，这对于高镜面反射率变得非常低效。在这种情况下，我们可以通过考虑多个重要性采样技术来提高性能[76]。最后，我们的结果显示，在每-（a）场景（b）初始化(c)优化的建筑外形抗图8. 使用SPAD测量进行NLOS表面重建：（上）来自[ 56 ]的漫射对象。（中）弥漫的马雕像。（下）平面对象上的数字浮雕在我们的实验中，我们用白纸覆盖数字，以提高信噪比。合成数据和真实数据之间的差异。增刊中的噪声灵敏度实验表明，差异主要是由于SPAD传感器建模不准确（泊松噪声、堆积、抖动[32]）。我们希望通过改变方程（7）的损失函数来考虑这些影响，从而缩小性能差距尽管有这些限制，我们的实验表明，我们的表面优化框架显着改善，证明在NLOS设置的重建可能的质量。因为它基于渲染方程，所以我们的框架不仅可用于处理瞬态，还可用于处理所有类型的辐射测量：稳态、连续波飞行时间等。因此，我们希望它可以作为一个平台，探索NLOS成像方案，使用，独立或组合，替代辐射传感器，瞬态或其他。此外，我们的框架可以用来凭经验investi-门的基本分辨率限制固有的每一个这些传感方式，而不关心从近似的图像形成模型的信息丢失。这种经验研究可以补充现有的理论结果[34]的分辨率限制，甚至提供见解，最终导致这样的结果。致谢。这项工作得到了DARPA REVEAL（HR 0011 -16-C-0025，HR 0011 -16-C-0028）的支持，NSF Expeditions（CCF-1730147）grants. CYT非常感谢Bertucci研究生奖学金和Google博士奖学金的支持。呈现瞬态1556引用[1] NLOS 表 面 优 化 与 微 分 渲 染 ， 2019 。https://github.com/cmu-ci-lab/nlos_Surface_Optimization. 6[2] 本·阿普尔顿和休斯·塔尔博特。连续极大流的全局极小IEEEtransactionsonpatternanalysisandmachineintelligence，28（1）：106-118，2006。二、五[3] Victor Arellano，Diego Gutierrez，and Adrian Jarabo.用于 非 视 线 重 建 的 快 速 反 投 影 。 Optics Express ， 25（10）：11574-11583，2017。2[4] DejanAzino vic´ ， Tzu-MaoLi ， AntonKaplan yan ，andMatthias Nießner.反向路径跟踪的联合材料和照明估计。CVPR，2019年。3[5] ManelBaradad，VickieYe，AdamBYedidia，Fre´doDurand ， WilliamTFreeman ， GregoryWWornell，and Antonio Torralba.从阴影推断光场。在CVPR，2018年。一、二[6] Mufeed Batarseh ， Sergey V Sukhov ， Zhiqin Shen ，Heath Gemar，Reza Rezvani，and Aristide Dogariu.使用空间相干性的拐角处的被动Nature communi-cations，9（1）：3629，2018. 一、二[7] Jacopo Bertolotti，Elbert G van Putten，Christian Blum，Ad Lagendijk，Willem L Vos，and Allard P Mosk.通过不 透 明 散 射 层 的 非 侵 入 性 成 像 。 Nature ， 491（7423）：232，2012. 2[8] Jeremy Boger-Lombard和Ori Katz。用无源光学飞行时间进行非视线定位。ArXiv电子打印，2018年8月。 一、二[9] Mario Botsch和Leif Kobbelt多分辨率建模的网格重划分方法。在2004年Eu-rographics/ACM SIGGRAPH几何处理研讨会论文集，第185-192页，2004年。6[10] Kathe rineLBouman ， VickieYe ， AdamBYedidia ， Fre'doDurand ， Gregory W Wornell ， Antonio Torralba 和William T Freeman。将拐角转换为摄像机：原理与方法。InICCV，2017. 一、二[11] 泰森 布罗许 和罗伯特·布赖森El topo，2009.https://www.cs.ubc.ca/labs/imager/tr/2009/eltopo/eltopo.html。6[12] 泰森·布罗楚和罗伯特·布赖森。动态显式曲面的鲁棒拓扑 SIAM Journal on Sci-entific Computing ，31（ 4 ）：2472-2493，2009. 6[13] Mauro Buttafava、Jessica Zeman、Alberto Tosi、KevinEli- ceiri和Andreas Velten。使用时间选通单光子雪崩二极管的非视线成像。Optics Express，23（16）：20997-21011，2015. 一、二、三[14] Brian Curless和Marc Levoy。从距离图像建立复杂模型在Proceedings of the 23rd annual conference on Computergraphics and interactive techniques，pages 3035[15] 我是艾尔·德朗和马克·波列夫。用于密集多视图3d建模的光度束调整。CVPR，2014。2[16] 我是艾尔·德劳诺伊和伊曼纽尔·普拉多斯。 用于优化基于三角形网格的曲面的梯度流：应用程序处理可见性的3D重建问题。IJCV，95（2）：100-123，2011. 二、五[17] Mat hieuDesbrun ， MarkMe yer ， PeterSchr oéder ，andAlanHBarr.基于扩散和曲率流的不规则网格隐式光顺。第26届计算机图形和交互技术年会集，第317-324页。ACM出版社/Addison-Wesley出版公司1999. 2[18] 菲利普·杜特尔特、卡维塔·巴拉和菲利普·贝卡尔特。高级全局照明。AK彼得斯有限公司，2006. 二、三[19] Gerhard Dziuk和Charles M Elliott。 演化曲面上的有限元。IMA数值分析杂志，27（2）：262-292，2007。5[20] Ilya Eckstein，Jean-Philippe Pons，Yiying Tong，ChungChieh Jay Kuo，and Mathieu Desbrun.网格处理的广义表面流。在关于几何处理的第五届欧洲图形学研讨会的会议录中，第183- 188192.欧洲制图协会，2007年。二、五[21] 奥利维尔·福格拉斯和雷诺·克里文。使用水平集方法完成稠密欧洲计算机视觉会议，第379-393页。Springer，1998年。2[22] 奥利维尔·福格拉斯和雷诺·克里文。变分原理，曲面演化，偏微分方程IEEE，2002年。2[23] 乔治·菲什曼。蒙特卡罗：概念、算法和应用。SpringerScience Business Media，1996. 5[24] 艾萨克·弗罗因德透过墙壁和周围的角落。Physica A：Statistical Mechanics and its Applications，168（1）：49-65，1990. 2[25] Pau Gargallo，Emmanuel Prados，and Peter Sturm.图像重建曲面时重投影误差的最小化。载于ICCV，2007年。2[26] Adam Geva、Yoav Y Schechner、Yonatan Chernyak和Rajiv Gupta。通过散射的X射线计算机断层扫描。在ECCV，2018。3[27] Ioannis Gkioulekas，Anat Levin，and Todd Zickler. 非均匀逆散射计算成像技术的评价。ECCV，2016。3[28] 扬尼斯·吉欧莱卡斯、赵爽、卡维塔·巴拉、托德·齐克勒和 托 德 · 莱 文 。 使 用 材 质 字 典 进 行 逆 向 体 绘 制SIGGRAPH Asia，2013. 3[29] Otkrist Gupta，Thomas Willwacher，Andreas Velten，Ashok Veeraraghavan，and Ramesh Raskar.使用漫反射重建隐藏的三维形状。Optics express，20（17）：19096-19108，2012. 2[30] Felix Heide ， Matthew O'Toole ， Kai Zhang ， DavidLindell，Steven Diamond，and Gordon Wetzstein.具有部分遮挡物和表面法线的非视线成像。ACM Transactionson Graphics（ToG），2019年。二、四[31] Felix Heide ， Lei Xiao ， Wolfgang Heidrich ， andMatthias Hullin.漫反射镜：使用廉价的飞行时间传感器从漫射间接照明进行3D重建。CVPR，2014。2[32] Quercus Hernandez，Diego Gutierrez，and Adrian Jarabo.瞬态成像用单光子雪崩二极管传感器的计算模型。arXiv，预印本arXiv：1703.02635，2017年。四、七、八1557[33] 阿德里安·贾拉博，贝伦·马西亚，胡里奥·马可，迭戈·古铁雷斯.瞬态成像的最新进展：计算机图形和视觉透视。Visual Informatics，1（1）：65一、二[34] Achuta Kadambi，Hang Zhao，Boxin Shi，and RameshRaskar. 使用飞行时间传感器进行遮挡成像ACM TOG，35（2）：15，2016. 二、八[35] 詹姆斯·T·卡吉亚渲染方程。在ACM Siggraph ComputerGraphics，第20卷，第143-150页，1986中。2[36] 奥里·卡茨，皮埃尔·海德曼，马蒂亚斯·芬克，西尔万·基冈.通过散斑相关性通过散射层和拐角周围的非侵入性单次成像。Nature Photonics，8（10）：784，2014.一、二[37] Ori Katz，Eran Small和Yaron Silberberg。用散射的非相干 光 实 时 观 察 角 落 和 透 过 薄 的 混 浊 层 。 NaturePhotonics，6（8）：549-553，2012. 2[38] Pramook Khungurn，Daniel Schroeder，Shuang Zhao，Kavita Bala，and Steve Marschner.将真实面料与微观外观模型相匹配。ACM TOG，35（1）：1：1-3[39] 迪德里克·金马和吉米·巴。Adam：随机最佳化的方法。ICLR，2015年。四、六[40] Ahmed Kirmani ， Tyler Hutchison ， James Davis ， andRamesh Raskar.用瞬态成像