非视线形状重建的新理论及算法

1非视线形状重建Shumian Xin1，Sotiris Nousias2，3，Kiriakos N. Kutulakos2，Aswin C.Sankaranarayanan1，Srinivasa G. Narasimhan1和Ioannis Gkioulekas11卡内基梅隆大学2多伦多大学3伦敦大学学院摘要我们提出了一个新的理论，费马路径之间的一个已知的可见场景和一个未知的物体不在视线的瞬态相机。这些光路要么服从镜面反射，要么被物体的边界反射，因此对隐藏物体的形状进行我们证明了费马路径对应于瞬态测量中的不连续性。然后，我们推导出一种新的约束，涉及的空间导数的路径长度在这些不连续的表面法线。基于这一理论，我们提出了一种算法，称为费马流，估计的非视线目标的形状我们的方法允许，第一次，准确的形状恢复复杂的对象，从漫反射到镜面反射，这是隐藏在角落里，以及隐藏在扩散。最后，我们的方法是不可知的特定技术用于瞬态成像。因此，我们证明了毫米级形状恢复皮秒级瞬态使用SPAD和超快激光，以及微米级重建飞秒级瞬态使用干涉。我们相信，我们的工作是一个显着的进步，在国家的最先进的非视线成像。1. 介绍大多数计算机视觉研究假设感兴趣的场景换句话说，假设来自光源的光子到达相机时仅与可见场景相互作用。但是，某些源光子会被可见场景反射到摄影机的直接视线所看不到反过来，隐藏场景将光子散射回可见场景，然后可见场景将光子重定向对隐藏在摄像机视野之外的场景进行成像和理解捕获非视线（NLOS）光子是一项挑战，因为它们的数量远远超过视线（LOS）光子。被动方法分析隐藏场景投射的阴影的细微本影和半影，以估计粗略的运动和结构[6，2，38]，或使用光的相干特性来定位隐藏对象[5，3]。这些方法没有足够的信息来计算未知的任意隐藏场景的精确3D形状。通过使用主动照明，包括相干照明[42，21，4，22]和稳态强度，来源[25，44，51，45]。用于重建隐藏形状信息的大多数方法采用快速调制光源以及时间分辨传感器（例如，连续波ToF [15，20]，超快光电二极管[24]，条 纹 相 机 [49 ， 48 ， 13] 和 单 光 子 雪 崩 光 电 探 测 器（SPAD）[11，32]）。这些传感器不仅记录入射光子的数量（强度），还记录它们的到达时间，时间分辨率范围（毫秒至飞秒）[49，12，31，32，11，18]。这种测量称为瞬变，该方法称为瞬变NLOS成像。通过测量已知可见场景的各个位置处的瞬变，大多数活跃的技术通过尝试反转时间分辨的辐射测量图像形成过程来执行体积3D重建。例子包括椭圆反投影[48，7，1，26，36]，规则-线性系统方法[13，15，14，20]，光锥变换[33]和使用渲染的合成分析[35，47]。这些方法有两个基本的缺点：（1）它们依赖于辐射信息，现有SPAD由于诸如堆积和后脉冲[ 16 ]等效应以及由于对光子噪声和环境照明的极端敏感性而产生较差的强度估计;以及（2）为了简化逆问题，所有现有重建技术都依赖于NLOS对象的朗伯反射率的假设。在本文中，我们克服了上述限制的de-tensing技术，只使用几何，而不是强度，来自瞬态测量的NLOS场景的约束。为此，我们提出了一个新的理论，NLOS光子遵循特定的几何路径，称为费马68006801重构深度图重构深度图重构深度图三个重建的水平位置高度剖面(a) 环视角点(b) 通过扩散器(c) 与视线扫描的图1：非视线成像。我们考虑的问题，重建表面是：（a）在传感器的视场之外，或（b）被漫射器遮挡。我们开发了一种算法，可以使用瞬态成像测量，以准确地重建非视线表面的形状。该图显示了根据飞秒级瞬态成像系统捕获的测量结果重建US四分之一的示例。在（c）中，我们将我们的重建与地面实况进行比较，地面实况是使用相同的瞬态成像系统对物体进行直接深度扫描获得的。LOS和NLOS场景之间的路径。根据Fer- mat然后，我们证明了费马路径对应于瞬态测量中的不连续性的时间位置的不连续性是一个函数的NLOS对象的形状，而不是它的反射率（BRDF）。我们还表明，周围的不连续性的瞬态的形状有关的曲率的隐藏表面。这个理论推广了以前关于第一次返回光子路径的工作[46]，这是费马路径的一我们使用上述理论推导出一个算法，称为费马流，精确的NLOS形状重建。我们表明，费马路径长度的空间导数提供了一个简单的约束，唯一地确定隐藏场景点的深度和正常。该导数通过将平滑路径长度函数拟合到稀疏的测量值集来进行数值然后，我们应用最终的细化步骤，通过结合深度和法线信息来计算平滑网格[23，9]。虽然大多数以前的方法重建的NLOS对象的一个非线性体积，我们的方法是为数不多的，recon-struct其表面之一与基于强度测量[47]的合成分析的替代表面重建算法相比，我们的方法仅使用几何约束，这使得它对强度测量中的缺陷具有BRDF不变性和鲁棒性。我们的理论是不可知的具体瞬态成像，ING技术的使用。我们在皮秒和飞秒时间尺度上验证了我们的理论和演示结果，前者使用脉冲激光和SPAD，后者使用干涉法。因此，第一次，我们能够计算毫米级和微米级NLOS形状的弯曲物体的BRDF范围从纯漫反射到纯镜面反射。此外，我们的理论是-适用于反射型NLOS（在拐角处观看）和透射型NLOS（通过漫射器观看）场景。图1显示了在拐角处以及通过厚纸（扩散器）看到的硬币的估计微米级浮雕。当在视线中成像时，所获得的高度轮廓与硬币的重建比较好。这一结果表明，这项工作的积极NLOS成像的重要理论和实际贡献，推动边界是可能的。2. NLOS瞬态中的Fermat路径问题设置。我们考虑一个瞬态成像系统[19]，包括光源和探测器，分别位于点s，d∈R3。我们的理论是不可知的具体瞬态成像技术的使用，并在第4我们描述了一种基于脉冲激光器和皮秒检测器的实现，以及另一种基于干涉测量的实现。可见场景VR3是包含在源的公共视线内的表面的并集，检测器除了V之外，我们假设在他们的视线之外存在表面;这可能是因为这些表面在视野之外，或者它们在视野之内。但被另一个表面挡住。我们只对这样的表面感兴趣，这些表面可以通过可见场景的单次反射或透射间接接收来自光源的光，并且可以间接发送光以同样的方式检测。我们将这些表面的并集称为非视线（NLOS）场景X。图1显示了这些条件适用的一些情况，这些情况与我们的实验相关。我们假设光源和探测器照射和成像相同的可见点v∈V，其可以是可见场景中的任何点。这与O'Toole等人提出的共焦扫描方案相[33 ]第33段。我们强调，这种假设只是为了简化前-位置：我们所有的理论都推广到非共焦（一）（b）第（1）款（c）第（1）款可见表面源和检测器隐藏对象封堵器隐藏对象厚扩散器源和检测器500μm0深度6802这种情况下，正如我们在整个文件的各个地方简要讨论，并在补充细节。特别地，在第4节中，我们显示了来自非共焦实验的结果。探测器记录瞬态I（t;v），其等于来自具有飞行时间t的光子的辐照度。我们认为，所有记录的光子都遵循形式在x处的镜面反射，解释了名称镜面反射集。费马集的名称是由于以下几何光学的经典命题[17，8，29，43]。第二个提案。设（p，q）∈ [0，1] 2是NLOS曲面X的参数化.对于任何可见的点v，s→v→x→v→d，其中x∈ X。 这种三次反弹假设在NLOS成像AP中是常见的.S（v）=.Σx∈ X： <$（p，q）τ（x（p，q）;v）=0.（二）有两个原因：首先，NLOS瞬态成像系统通常具有时间选通机制，其可用于去除仅与可见场景相互作用的直接光子。第二，具有多个相互作用的光子，具有NLOS场景X的观测具有大大降低的信噪比，并且在实践中难以检测[7，35]。最后，我们假设我们已经校准了从光源到可见点以 及 从 可 见 点 到 探 测 器 的 距 离 τV （ v ） ， 即s−v<$+d−v 然后，我们可以使用在X ，τ，ct−τV（v）中行进的路径长度，其中c是光速，以唯一地将瞬态重新参数化为I（τ;v）。在这些假设下，我们可以写[10，37]：∫设r∈[0，1]是NLOS表面边界的参数化。对于任何可见的点v，B（v）={x ∈ <$X：<$τ（x（r）; v）/<$r =0}。（三）为了完整性，我们在补充中提供了一个证明命题2被称为费马我们注意到，尽管费马中的“输入”。取决于X，F（v）将至少有一个点，并且可能有多个点，如图2所示。I（τ;v）=f（x;v）δ（τ−τ（x;v））dA（p，q）（1）X我们将每个点x∈ F（v）与球面相关联中心v和半径τ（x;v）/2的Sph（τ（x;v）/2;v）。我们其中，τ（x;v），2·x−v，（p，q）∈[0，1]2是NLOS表面X的参数化，A（p，q）是相应的面积度量，吞吐量f吸收平方反比衰减、阴影、反射率和可见度。2.1. 费马路径我们假设NLOS场景X是由光滑曲面的并集构成的，并且NLOSX是NLOS曲面上未定义曲面法线为了简单起见，我们将把λX称为X的边界，但请注意，除了边界点之外，它还包含构成X的平滑曲面的不连续交点处的点。然后，我们将集中在特殊的区别点x∈ X如下。定义1. 对于任何可见点v：• 镜面集合S（v）<$X由所有点x ∈ X\<$X组成，使得向量v − x与X在x处的切平面T xX正交。• 边界集B（v）<$$>X由所有点x∈ <$$> X组成，使得向量v−x与<$$> X在x处的正切向量<$t（x）正交。• 费 马 集 合 F （ v ） <$X 是 这 两 个 集 合 F（v），S（v）<$B（v）的并集。定义1意味着，在点x ∈ S（v）处，向量v−x也平行于曲面法线n（x）。方程p（x;v），v→x→v对应于a6803我们称之为切球面，因为命题2意味着，对于x∈S（v）或x∈ B（v），Sph（τ（x;v）/2;v）分别在x处与X或<$X相切[29，43]。与第一次返回的光子的关系 费马路径是第一次返回的光子的路径的超集，由Tsai et al.[46 ]第46段。特别地，第一个返回光子的路径长度是τ（x;v）的全局最小值。然后，命题2意味着x∈ F（v）。Tsai等人的观察结果2和3。[46]这是一个假设。局部光滑度，对应于另外x∈ S（v）的情况：观察3描述了镜面路径p（x;v），观察2描述了切球。2.2. 作为瞬态不连续的费马路径长度除了当X表面的BRDF是完全镜面反射时，瞬态I（τ;v）将包括来自遵循费马路径和非费马路径p（x;v）的光子的贡献。如果事先不了解现场情况，似乎不可能确定由于Fer-垫路径。然而，我们提出以下意见。3号提案假设X曲面的BRDF在镜面反射方向上不为零。则对所有x ∈ F（v），瞬态I（τ; v）在路径长度τ（x; v）处有一个不连续性。 如果x ∈ S（v），则I（τ; v）在τ（x; v）处还有一条垂直渐近线。证明草图。我们为镜面反射的情况画出一个证明草图，并在附录中提供完整的证明。设Sph（ρ;v）是以v为中心，以ρ为半径的球面。 设曲线C（ρ;v）是Sph（ρ;v）与X的交集，参数化为6804τF，1τF，2τF，3FF（p，q）NLOS表面XX女，1人女，3人Sph（τF，3;v）xF，2Sph（τF，2;v）因此，定义1的相切属性和相切球体是没有意义的。BRDF不变性。命题3表明，瞬态I（τ;v）不连续的路径长度完全由函数τ（x;v）决定.反过来，τ（x;v）只依赖于v和X的几何。因此，不连续路径长度与非视线表面X的BRDF无关.BRDF包含在v可见表面τF，3τF，2τF，1等式（4）中的吞吐量项f，因此仅影响在不连续路径长度处的瞬态强度图3展示了这种反射不变性。确定平稳性的类型。命题3允许我们确定所有对瞬态I（τ; v）有贡献的费马路径的长度，作为I（τ; v）不连续的路径长度。根据命题2，每一个路径长度是函数τ（x;v）的稳定点。当X的BRDF不是完全镜面反射时，我们还路径长度τNLOS表面点x图2：费马路径理论。我们从可见表面V上的点v照射并成像NLOS表面X。(We在图1中示出了照相机和光源。）在所有点x∈ X中，曲面（xF，2，xF，3）和边界（xF，1）上的某些点将创建路径，满足费马原理，对应于路径长度函数τ（x ; v）的局部最小值（x F，1，x F，2）或最大值（x F，3）（右下）。非边界点（xF，2，xF，3）的路径将另外是镜面反射的。 我们可以从瞬态I（τ; v）（左下）在相应的路径长度（τF，1，τF，2，τF，3）处是不连续的这一事实来确定这些费马路径的长度。r∈[0，1].然后，我们可以使用（r，ρ）∈[0，1]×[0，∞）重新参数化X，并重写方程（1）的积分：从transm的形状中识别平稳性的类型在不连续性的邻域内。我们使用图2进行直观说明，并参考补充资料了解详细信息。具体地说，设τF是瞬态不连续的路径长度。如果τF是局部最大值，则瞬态I（τ;v）的不连续性发生在左，τ→τ−，瞬变向τF（图2，τF，3）。相反，当τF是局部极小值时，不连续性发生在从右边开始的极限处，τ → τ +（图2，τF，1，τF，2）。最后，当τF是鞍点时，不连续性和强度上升是两方面的。这方面的一个例子如图3所示（抛物面情况）。确定镜面不连续性的平稳性类型为我们提供了关于X的曲率信息。第四个提案 设瞬态I（τ; v）在τ S处有镜面不连续，对应于点xS∈ S（v）.如果κmin，κmax是X在xS处的主曲率，则：I（τ;v）=∫..（r，ρ）.−1.• 如果τS是τ（x;v）的局部极小值，2/τS < κmin。f（x;v）δ（τ−τ（x;v））.J（p，q）（x）.XdA（r，ρ），（4）• 如果τS是τ（x;v）的局部最大值，Max< 2/τS。其中J（r，ρ）（x）是变换（p，q）›→（r，ρ）的雅可比矩阵。 我们现在考虑一个点xS∈ S（v）。考虑到ρ（xS）= τ（xS; v）/2，我们从方程（2）得到τ（p，q）ρ（xS）= 0. 因此，委员会认为，• 若τS是τ（x; v）的鞍点，则κmin≤ 2/τS≤ κmax.我们在附录中提供了证明，但我们可以使用图2来提供直觉：点xF，2的路径长度τF，2是局部最小值。所有的X点都在邻居-... J（r，ρ）S.ρ（xS（xS）ρ（xS（xS）xF，2罩与v的距离大于τF，2，.（p，q）（x）的情况。 =p−阿斯托克=0。布吕普（五）因此在切球Sph（τF，2/2;v）之外。这意味着（最小，在3D中）的主半径然后，根据等式（4），在τ=τ（xS;v）处，瞬态收敛到无穷大，导致不连续性。图2针对二维朗伯场景X和可见点V可视化该命题，使得S（V）={xF，2，xF，3}，B（V）={xF，1}。我们注意到，在二维空间中，边界线X不是曲线，而是曲率大于τF，2/2。 相反，对于点xF，3的路径长度τF，3，这是局部最大值。我们注意到X只产生局部最小镜面路径长度的一个充分条件是X是凸的。然而，这不是一个必要条件：如命题4所解释的，X有可能包含凹面，但仍然只产生局部最小镜面路径长度。瞬态I（τ;v）路径长度τ（x;v）6805XFXSph（τF（v）;v）（vs，vd）τF（v）2VE（τF（vs，vd）;vs，vd）τFv s vd图3：实验演示。我们测量瞬态三个对象在一个看周围的角落配置：一个平面，抛物面，和一个凹球。我们测量每个物体两次，一次是用漫射涂料覆盖的物体，第二次是用铝箔覆盖的物体。正如我们的理论所预测的那样，所测量的瞬态具有分别对应于局部最小值、鞍点和局部最大值类型的镜面路径的不连续性。此外，不连续的位置不受BRDF变化的影响图4：费马流方程。我们可视化共焦（黑线）和非共焦（绿线）例在共焦的情况下，我们考虑连接可见点v和NLOS点xF的费马路径。的该路径长度的空间梯度ΔvτF（v）/2是平行于向量xF−v的单位向量。如果费马路径也是镜面反射的，那么vτF（v）/2将另外与xF处的NLOS表面法线相反。在非-在共焦的情况下，我们可以计算相对于两个可见点vs和vd中的任何一个的梯度，它将分别平行于向量xF−vs或xF−vd。抛物面是鞍点，平面是局部极小值。然后我们用铝箔覆盖每个物体，以创建一个粗糙的镜面BRDF，并重复我们的测量。我们非共焦情况。的 结果 的 这 科这可以直接推广到光源和检测器指向可见表面V上的不同点vs和vd的情况。命题2和3适用于前-后，除了τ（x;v）被替换为τ（x;vs，vd），+。切球的类似物是路径长度τ和焦点vs，vd的密切椭球E（τ;vs，vd）。最后，命题4可以推广到X和E（τ;vs，vd）的主曲率之间的类似关系。我们在补充中提供详细信息2.3. 试验示范为了在实践中证明我们的理论发现，我们使用皮秒分辨率的瞬态成像设置（见第4节）来捕获一些真实世界物体的测量结果，在一个环顾四周的角落配置（图1（a））。图3显示了物体：一个凹半-球体、挤压抛物面和平面。所有对象的大小为20cm×20 cm，并使用漫反射涂料进行绘制。我们将每个物体放置在距离可见墙40 cm处，然后从可见点测量瞬态，使得存在大致对应于物体中心的镜面我们从测量的瞬态（图3，橙色）中观察到，与命题4一致，半球产生局部最大不连续性，注意，测量的瞬态（图3，紫色）在与漫反射瞬态相同的位置是不连续的，这与我们对BRDF不变性的讨论一致。这些测量还有助于评估我们的理论预测在SPAD测量[16]中固有的泊松噪声和时间抖动存在的情况下的稳健性：即使不连续形状偏离图2模拟瞬态中的理想形状，理论预测特征仍然可见。3. 基于Fermat路径的曲面重构利 用 第 二 节 的 结 果 ， 给 定 一 个 瞬 态 测 量 值 I（τ;v），我们可以把它的不连续性确定为对瞬态有贡献的费马路的长度τF 每个长度τF约束相应的点xF∈F（v）位于切球面Sph（τF/2;v）上，并且，如果xF∈ S（v），还约束它的法线和曲率。我们现在开发一个程序来完全确定点xF及其法线。然后，给定费马路径长度的集合，我们的过程将产生NLOS表面X的定向点云（位置和法线）。图5显示了我们的重建过程。费马流方程。我们首先介绍重建过程中的一个关键技术成果6806F.XI（τ;v）τF，1（v）τF，2（v）τvyvVxVVxVxvyvy(a) 扫描（b）不连续性检测（c）通过插值进行梯度估计（d）点云重建图5：重建管道。（a）我们首先在可见表面V上的多个点V处收集瞬态测量I（τ，v）。（b）对于每个测量的瞬态，我们检测瞬态不连续的路径长度这些对应于多值费马路径长度函数τF（v）的样本。在所示的例子中，τF（v）有两个分支τF，1（v）和τF，2（v），分别用蓝色和红色表示（c）在τF（v）的每个分支内，我们插值以计算梯度vτF（v）.（d）最后，通过应用费马流方程（7），我们从每个分支重建一组点，或者在NLOS形状的边界（分支τF，1（v），蓝色）或内部（分支τF，2（v），红色）我们首先定义费马路径长度函数τF（v）：τF（v）={τ：I（τ; v）是不连续的}。（六）由于每个瞬态I（τ;v）可以在多个路径长度处不连续，因此τF（v）是多值函数。我们现在证明这个函数的以下性质第五号提案。 考虑费马路径长度通过将球面Sph（τF（v）/2; v）与直线v−λ <$vτF（v）/2相交。如果费马路径也是镜像的，xF∈ S（v），那么我们也可以重建x F处的法线为n（xF）=− <$vτF（v）/2。 这在图4中示出。非共焦情况。 我们在这里描述一个类似的命题对于非共焦的情况，我们证明在柔软-是的。在这种情况下，费马路径长度函数有两个参数τF（vs，vd）。然后，如图4所示，函数τF（v）在v∈ V处求值。设存在唯一点xF∈F（v），τ（xF;v）=τF（v）.然后，τF（vs，vdxF−vi）=−，（10）xF−vixF−vvτF（v）= −2。（七）x−v我们在补充中提供了证据。考虑τF（v）的分支对应于τ（x;v）的全局最小值的情况是有益的。该分支是Tsai等人的第一返回光子的路径长度。[46]，并且也等于距离函数D（v，X）的两倍，其中D（v，X），minx∈X<$x − v<$.（八）然后，方程（7）等价于距离函数的公知程函方程[30，40，39]。在这种情况下，命题5的唯一性要求等价于方程（8）的极小值是唯一的要求，这也是程函方程的要求命题5将程函方程推广到所有其中Vi可以是两个可见点Vs和Vd中的任一个。梯度估计使用等式（9）需要知道在局部坐标中计算的梯度ΔvτF（v）可见表面V在v处的坐标系。我们无法衡量梯度直接，但我们可以通过插值估计它，第为了简单起见，我们在这里只讨论可见表面V是平面的情况，推迟了补充的一般情况当可见表面V是平面时，可以假设v处的局部坐标系是全局坐标系的x-y平面给定费马路径长度τF（v）在点v处，我们可以估计它的偏导数通过局部内插Fermat路径，在平面上的附近点测量的瞬态长度。然后，我们可以通过注意到等式（7）意味着τF（v）τ=2来推断关于z的导数，ΔvτF（v）=。τF（v）的分支，对应于τF.τF.Σ2τF.Σ2F.τ（x;v），而不仅仅是第一次返回的光子。使用τF（v）=2<$xF−v<$，我们将等式（7）重写为，，4−∂x ∂y ∂x。很好v.（十一）xF= v −（τF（v）/4）<$vτF（v）。（九）在这种形式中，费马流方程表明生成费马路径的NLOS点xF∈F（v）可以从相应的可见点v、长度τF（v）和梯度τvτF（v）唯一地重建。这种重构可以用简单的几何运算来完成−6807我们注意到，当命题5的唯一性条件不满足时，方程（11）失效。实际上，这只能发生在可见表面上的孤立点v处，对应于NLOS表面的非通用对称性X.此外，我们注意到，上述插值过程需要对费马路径长度函数τF（v）的每个分支单独执行。6808(a) 抛物面物体(b) 乙状结肠造影和重建图6：与groundtruth的比较。我们对3D打印的物体进行一维扫描，在一个环顾四周的角落配置。对于每个对象，我们展示了环境光下的照片（左），以及与用于制造对象的地面实况网格（中间和右侧）叠加的重建结果（红点）。曲面拟合。上述过程产生了一个定向点云，其密度与V上的测量密度相当。然后，我们可以使用利用法线信息的算法来拟合表面表示(e.g.、三角形网格）到点云，精度增加[23]。给定这样的初始表面重建，在补充中，我们描述了基于镜面路径扰动理论的优化过程[9，17]，其细化拟合的表面以考虑由于梯度的不准确估计而导致的可能的误差。4. 实验我们讨论了NLOS重建实验的结果，我们已经进行了验证和评估的Fer- mat流算法。所有实验均基于使用两种瞬态成像设置捕获的测量结果，一种在皮秒下操作，另一种在飞秒时间尺度下操作。我们在补充中展示了其他实验。4.1. 皮秒尺度实验成像系统。我们使用基于SPAD的瞬态成像系统[11，33，31]，由皮秒激光器（NKT SuperK EXW-12）、SPAD探测器（MPD模块）和时间相关单光子计数器（TCSPC，Pico- Quant PicoHarp）组成。TCSPC单元的时间装仓分辨率为4ps，深度分辨率的绝对上限为1。2毫米。实际上，由于激光和TCSPC抖动，分辨率较低。我们使用振镜来独立控制视点和照明方向，并在图1（a）的环视角设置中执行共焦和非共焦扫描。图7：点云和表面重建的比较。我们扫描一个粗糙的镜面水壶，如左图所示，在环境光下。我们重建了一个定向点云，如中间两个视图所示，其中点根据其法线着色。最后，我们将一个曲面拟合到点云上，如右侧两个视图下所与GroundTruth的比较我们从CAD网格中制作了小物体，为我们提供了用于比较的地面真实形状。这些物体被涂上了哑光白色油漆，以创建朗伯反射。这些物体在每个维度上约为15厘米，并放置在距离平面可见表面25厘米所有物体都是直纹表面，以便仅从一维扫描重建其轮廓我们通过固定SPAD成像点并沿可见墙上的多条水平线扫描光源照射的点，在非共焦设置下捕获沿着每条线，我们扫描200个点，彼此之间的距离大约为1 mm。图6显示了使用费马流程序从这些测量结果重建的点云，与用于制造的网格叠加。重建紧密地再现了物体的形状，包括它们的凹面和凸面，并在2mm内匹配地面实况。桌面对象。我们扫描了各种日常物体（图7-8），具有不同BRDF的凸和凹几何形状，包括半透明（塑料壶）、光滑（碗、花瓶）、粗糙镜面（水壶）和光滑镜面（球体）。大多数物体的主要尺寸约为20-30厘米，并被放置在一个距离距离可见墙80厘米。共焦扫描采用64×64点网格，分布在可见壁上80 cm×80 cm图7显示了其中一个对象的点云、法线和最终表面重建，该对象是一个具有粗糙镜面反射率的电子ket。我们观察到，我们的重建过程产生了一个点云，密切匹配的形状的对象，包括准确的法线在其前表面。 我们注意到，我们没有在对象的句柄处重建normal：这是预期的，因为这些部分的对象产生费马路径的束缚，而不是镜面反射，类型，这样的路径不提供正常的信息。最终拟合曲面进一步提高了重建质量。图8显示了重建。6809(a) 塑料壶（b）玻璃花瓶（c）塑料碗（d）金属球图8：桌面对象。我们扫描的对象，跨越各种形状（凸，凹）和反射率（半透明，光泽，镜面）。对于每个对象，我们展示了环境光下的照片，以及其表面重建的两个视图其余桌面对象的结构。在所有情况下，重建紧密匹配的对象形状，演示的能力，我们的算法来处理各种复杂的几何形状和反射率的组合。4.2. 飞秒尺度实验成像系统。 我们使用时域全帧光学相干断层扫描系统[12]。 我们使用该系统在环视角和透过漫射器设置下进行共焦扫描（图1）。 我们使用空间和时间上不相干的LED照明，这允许我们将瞬态成像与对角探测相结合[34]。在共焦扫描的背景下，这意味着我们可以在不扫描的情况下同时收集可见表面上所有点处的瞬态I（τ，v），因为在一个点处进行的瞬态测量将不会被从不同点发出的光污染我们的实现具有10µm的深度分辨率。硬币重建。我们执行实验在这两个环顾四周的角落和寻找通过扩散设置（图1），其中扩散，我们使用一张薄薄的纸。在这两种情况下，NLOS对象都是US25，其正面面向可见表面。我们将硬币放置在距离可见表面10 mm的位置，并在约40 mm×40 mm的区域上收集瞬态测量值，点的网格为1 MP像素。为了验证，我们还使用相同的设置直接扫描硬币而不遮挡。图1显示了我们的结果。在这两种情况下，我们都可以重建硬币上的细节，足以推断其面额。重建的细节也与直接在视线中测量的硬币的地面形状非常一致。5. 讨论我们讨论了我们的方法的一些局限性。我们的重建过程不需要辐射校准，因为它不使用强度信息，而是依赖于测量瞬态不连续的路径长度的估计。因此，我们的recruitc- tions可以是敏感的不准确的不连续性检测。如果我们没有足够密集的测量来通过插值估计最后，仅使用路径长度信息提供BRDF不变性，但这也意味着我们没有利用测量的强度有关的NLOS场景的信息。我们开发的理论为NLOS成像问题提供了新的见解，将其与镜面和微分几何等经典领域联系起来，并为将这些领域的想法转移到NLOS成像设置提供了充足的机会通过允许我们从纯粹的几何角度处理NLOS反射，我们的理论引入了一种新的方法来解决这个问题，与（椭圆）反投影[48，33]和综合分析[47]等方法不同但互补，这些方法专注于问题的辐射方面。有趣的是，并行工作[28]揭示了我们的方法和反向投影方法之间的内在因此，这两种方法再现NLOS场景的相同部分。进一步探索几何方法和反投影方法之间的联系有助于揭示它们的基本限制和优势，这可能使我们能够使用更便于分析的数学框架（几何、辐射测量）得出适用于两类方法的结果。更广泛地说，一个令人兴奋的未来研究方向是将这两类方法结合起来，不仅用于NLOS成像，还用于其他相关应用，包括声学和超声成像[27]，无透镜成像[50]和地震成像[41]。致谢。我们感谢蔡家英的宝贵讨论。这项工作得到了DARPA RE-VEAL计划的支持，合同编号为HR 0011 -16-C-0025。SX、ACS、SGN和IG还得到了NSF Ex-peditions 奖 CCF-1730147 的 支 持 KNK 得 到 了 NSERCRGPIN和RTI计划的支持。6810引用[1] Victor Arellano ， Diego Gutierrez ， and AdrianJarabo.用于非视线反射的快速反投影。OpticsExpress，25（10）：11574-11583，2017。1[2] ManelBaradad ， VickieYe ， AdamBYedidia ，Fre'doDurand ， William T Freeman ， Gregory WWornell和Antonio Torralba。从阴影中推断光场。在IEEE计算机视觉和模式识别会议论文集，第6267- 6275页1[3] Mufeed Batarseh ， Sergey V Sukhov ， ZhiqinShen，Heath Gemar，Reza Rezvani，and AristideDogariu.利用空间相干性被动感知拐角处Naturecommunications，9（1）：3629，2018. 1[4] Jacopo Bertolotti，Elbert G van Putten，ChristianBlum，Ad Lagendijk，Willem L Vos，and AllardP Mosk.通过不透明散射层进行非侵入性成像。Nature，491（7423）：232，2012. 1[5] Jeremy Boger-Lombard和Ori Katz。利用被动光学飞行时间的非视线定位。ArXiv电子打印，2018年8月。1[6] 凯 瑟 琳 湖 放 大 图 片 放 大 图 片 Yedidia ，Fre'doDurand ， Gre goryWWOrnell ， AntonioTorralba和William T Freeman。把角落变成摄像机：原则和方法。InICCV，2017. 1[7] Mauro Buttafava，Jessica Zeman，Alberto Tosi，Kevin Eliceiri，and Andreas Velten.使用时间选通单光子雪崩二极管的非视线成像。Optics express，23（16）：20997-21011，2015.第1、3条[8] Min Chen和James Arvo。交互镜面反射的扰动方法 。 IEEETransactionsonVisualizationandComputer Graphics，6（3）：253-264，2000。3[9] Min Chen和James Arvo。镜面路径微扰理论与应用。ACM Transactions on Graphics（TOG），19（4）：246-278，2000. 二、七[10] 菲利普·杜特雷，K a vitaBala和菲利普·贝卡尔特。先进的全局照明。AK彼得斯有限公司，2006. 3[11] GenevieveGariepy ，NikolaKrstajic'，RobertHender-son ， ChunyongLi ， RobertRThomson ， Gerald S Buller ， Barmak Heshmat ，Ramesh Raskar ， Jonathan Leach ， and DanieleFaccio.单 光 子 敏 感 光 成 像 。 NatureCommunications，6：6021，2015。1、7[12] 扬尼斯·吉欧莱卡斯，阿纳特·莱文，弗雷·杜兰德和托德·齐克勒。用干涉测量法进行的半导体光传输分解。ACM Transactions on Graphics，2015。1、8[13] OtkristGupta ， ThomasWillwacher ， AndreasVelten ，Ashok Veeraraghavan ，and Ramesh Raskar.侦察-6811使用漫反射的隐藏3D形状的结构Optics express，20（17）：19096-19108，2012. 1[14] 费利克斯·海德，马修具有单光子探测器的鲁棒 非 视 线 成 像 。 arXiv 预 印 本 arXiv ：1711.07134，2017。1[15] Felix Heide ， Lei Xiao ， Wolfgang Heidrich ，and Matthias B Hullin.漫反射镜：使用不昂贵的飞行时间传感器从漫射间接照明进行3D反射 。在 Proceedings of the IEEE Conference onComputer Vision and Pattern Appraisition ， 第3222-3229页1[16] Quercus Hernandez ， Diego Gutierrez ， andAdrian Jarabo.瞬态成像用单光子雪崩二极管传感 器 的 计 算 模 型 。 arXiv 预 印 本 arXiv ：1703.02635，2017。一、五[17] 温泽尔·雅各布和史蒂夫·马施纳。流形探索：马尔可夫链蒙特卡罗技术，用于渲染具有困难镜 面 传 输 的 场 景 。 ACM Transactions onGraphics，2012。三、七[18] AdrianJarabo、JulioMarco、AdolfoMunNederoz 、 RaulBuisan 、 WojciechJarosz和Diego Gutierrez。一个瞬态渲染的框架。ACM Trans.Graph. ，33（6）：177：1-177：10，Nov. 2014. 1[19] 阿德里安·贾拉博贝伦·马西亚胡里奥·马可和迭戈·古铁雷斯瞬态成像的最新进展：计算机图形和视觉透视。Visual Informatics，1（1）：65-79，2017。2[20] Achuta Kadambi，Hang Zhao，Boxin Shi，andRamesh Raskar.使用飞行时间传感器的遮挡成像。ACM Transactions on Graphics（ToG），35（2）：15，2016.1[21] 奥里·卡茨，皮埃尔·海德曼，马蒂亚斯·芬克，西尔万·吉根.通过散斑相关性通过散射层和拐角周围进行无创单次成像Nature Photonics，8（10）：784，2014. 1[22] Ori Katz，Eran Small和Yaron Silberberg。用散射的非相干光实时观察角落和透过薄的混浊层Nature Photonics，6（8）：549-553，2012. 1[23] Michael Kazhdan ， Matthew Bolitho ， andHugues Hoppe. 泊松曲面重建 在proc 几何处理欧洲图形研讨会，第61-70页，2006年。二、七[24] Ahmed Kirmani ， Tyler Hutchison ， JamesDavis，and Ramesh Raskar.利用超快瞬态成像观察周围的角落。国际计算机视觉杂志，95（1）：13-28，2011。1[25] 乔纳森·克莱因，克里斯托弗·彼得斯，海梅·马特林，马丁·劳伦齐斯和马蒂亚斯·B·胡林。跟踪对象6812在视线之外使用2D强度图像。科学报告，2016年6月。1[26] Marco La Manna， Fiona Kine ，Eric Breitbach，Jonathan Jackson，and Andreas Velten.非视线成像的误差反投影算法。1[27] 大卫·林德尔，戈登·韦茨斯坦，弗拉德伦·科尔顿。声学非视线成像。在CVPR，2019年。8[28] 刘晓春，塞巴斯蒂安·鲍尔，安德烈亚斯·维尔滕。非视距测量中特征可见性的分析在CVPR，2019年。8[29] 唐·米切尔和帕特·汉拉汉弯曲反射器的照明。ACM SIGGRAPH Computer G