非视线成像中的椭球体层析成像算子的革兰氏是卷积的简化算法

1一般非视线成像算子安炳柱1阿克沙特戴夫2 阿肖克Veeraraghavan2扬尼斯Gkioulekas1 阿斯温C.Sankaranarayanan1卡内基梅隆大学2莱斯大学摘要非视线成像的目的是重建成像系统视野之外的场景。一种常见的方法是测量所谓的光瞬变，这有助于通过涉及求解线性最小二乘的椭球体层析成像进行重建。不幸的是，对应的线性算子是非常高维的，并且缺乏便于快速求解器的结构，因此，随后的优化是计算上令人生畏的任务。我们介绍了一个计算易处理的框架，解决椭球体tomogra- phy问题。我们的主要观察结果是，椭球体层析成像算子的革兰氏是卷积的，无论是在某些理想化的成像条件下，或近似在实践中。这，反过来，使我们能够获得的椭球体层析成像的解决方案，通过使用有效的反卷积程序来解决一个线性最小二乘问题，涉及革兰氏算子。我们的方法的计算易处理性也有利于在反卷积过程中使用各种正则化器。我们证明了我们的框架在各种模拟和真实的实验中的优势。1. 介绍传感器技术的最新进展已经实现了皮秒时间尺度的高速成像[32，60]。这促进了非视线（NLOS）成像[32，59]，成像系统的能力，- 这种能力可应用于辅助和自动驾驶、内窥镜检查以及在诸如洞穴和碎片的受限空间中成像。NLOS成像的核心思想依赖于测量与NLOS场景相互作用的多次反弹光子的飞行时间（ToF）和辐射。传统的测量管道如下：脉冲激光照射LOS场景点，并且使用时间分辨传感器测量到达第二LOS点的光子的ToF;这些光子被认为是从NLOS场景通过LOS场景点。基于到达光子的ToF对到达光子进行分箱跨多个照明和感测点重复该过程导致所谓的5D光传输瞬态的测量[43，49]。5D光瞬态提供了NLOS场景的几何形状的丰富编码，从而促进其形状的恢复。在数学上，重建的NLOS场景，建模为一个体积的三维地图，从5D光瞬态需要解决一个椭球体层析成像问题，这通常是计算禁止解决。高计算成本可归因于两个因素：第一，测量和NLOS场景体素化的高维性;第二，缺乏便于快速实现的测量算子结构。求解线性逆问题以从5D光瞬态测量（具有或不具有先验）恢复体积测量是棘手的。许多现有的方法通过依赖于从计算到运动学[28]适配的称为滤波反投影的流水线来避免解决逆问题。首先，将反投影算子应用于测量的瞬态[2，10，18，35，59];该算子将每个光瞬态测量投影到NLOS场景中可能对其有贡献接下来，应用拉普拉斯算子来减轻反向投影结果特有的低频分量的增强[10，59]。然而，如在NLOS成像中使用的滤波反投影的该版本是启发式重建过程，因为它不解决逆问题的任何特定公式捐款. 我们的主要技术结果是表明，在成像几何的某些假设下，NLOS测量算子的Gram1是卷积算子，如图1所示。这一结果在三个重要方面推进了NLOS成像。首先，它使我们能够有效地获得椭球体层析成像反射，通过求解一个等效的线性最小二乘，1矩阵A的Gram是AA。78897890测量y一z#反投影的TATA#（一）激光/（b）第（1）款NLOS阿维尼翁多5D光瞬变反投影反照率SPAD传感器A编号照明点 感测点图1. 概述我们用于NLOS成像的卷积模型。（a）我们通过中继LOS表面上的反射捕获与NLOS场景相互作用的（b）测量模型A将NLOS场景的体积反射率ρ映射到5D光瞬态，并且反向投影操作A将5D光瞬态映射到反向投影的反射率ρ。我们使高效和强大的NLOS成像显示，端到端的映射，建模为革兰氏算子AA，近似卷积。Gram运算符：由于Gram算子是卷积的，因此可以使用计算高效的反卷积算法来解决这个问题。其次，它为滤波反投影算法提供了理论依据：我们可以证明，滤波反投影对应于使用近似反卷积滤波器来解决涉及Gram算子的问题。第三，它便于使用广泛的先验来正则化NLOS重建问题：Gram算子的卷积性质意味着相应的正则化最小二乘仍然是计算上易于处理的。我们使用模拟和真实数据验证了这一结果的好处。2. 相关工作非视线成像。从Kirmani等人的工作开始。[31，32]，过去十年中，已经看到了探索非视线（NLOS）成像问题的不同方面的作品的扩散。 我们可以大致区分两类：被动方法依赖于环境照明来定位或估计NLOS场景中的粗略运动和结构[4，5，7，8，13，52，55，56，63]。主动方法通过中继表面可控地将光注入到NLOS场景中，这允许获得关于它的更高保真度的信息。例如，即使仅使用具有相干[6，29，30，54]或非相干照明[11，34]的强度相机也可以实现NLOS对象的图像的准确跟踪和重建。我们的重点是使用光瞬变的主动方法，即NLOS场景反射回的光的时间分辨辐射测量[24]。这些瞬变可以使用各种成像技术获取，包括条纹相机[60]、光子混合器器件（PMD）[19，25，26，43]、单光子雪崩二极管（SPAD）[15]或干涉测量法[16]。对于宏观场景，SPAD最近已成为首选传感器，提供数十皮秒的时间分辨率[42，53]。最接近这项工作的技术是那些通过解决椭圆体层析成像问题来恢复NLOS场景的离散近似的技术[10，20，21，27，35，44，45，59]。我们的论文提供了理论上的理由和计算加速在这个框架内常用的技术。根据瞬态测量进行NLOS重建的替代方法使用基于费马这些方法在重建细节、反射不变性和对噪声的鲁棒性方面提供了不同的权衡。最后，这些技术中的一些已经扩展到使用非光学信号的NLOS成像，包括声学[36]和热[40]。计算机断层扫描（CT）。基于椭球体断层扫描的NLOS成像技术与CT技术密切相关[28]。在这两种设置中，重建可以简化为求解线性系统，涉及对应于不可见体积内的不同光轨迹的测量算子：在CT的情况下为直线，在NLOS成像中为椭圆壳。由于这种相似性，CT中的许多概念在NLOS成像中找到了直接的类比，包括滤波反投影算法[59]和使用椭圆Radon变换的分析[38]。尽管有这些类比，但我们对这些概念的理论理解在CT的情况下往往比在椭球体层摄影中更发达。本文的贡献有助于缩小这一差距，例如，通过推导出用于椭圆体情况下的滤波反投影的最佳滤波器，类似于线性情况下众所周知的Ram-Lak滤波器[28该结果对于椭圆体断层摄影应用的其他问题也具有普遍意义，例如地震成像[41]和超声成像[3]。3. 问题设置和背景首先介绍了非视线成像问题，定义了基本的符号，并回顾了基于椭球体层析成像的重建我们假设我们通过朗伯视线（LOS）表面L收集测量结果。我们使用脉冲源（例如，脉冲激光）以照射L上的点L。然后我们用一个传感器建议的卷积模型AT A#≈ f *（#⁄）*）封堵器非视距目标或视场视线墙7891+++表1. NLOS成像算法比较。A：测量操作员。i：5D光瞬变。 L：拉普拉斯滤波器。 ic：共焦光瞬变（coherent light transient，coherent）。kc：3D卷积核[44]，f：3D卷积核（我们的）。m2：照明（传感）点的数量。nt：时间仓的数量。n：每个轴的体素分辨率为迭代方法列出的时间复杂度表示每次迭代的成本方法制剂速度前科扫描图案注意每次迭代的全线性重建argminρi−Aρ慢C没有要求顽固性时间复杂度O（min（m4n3，m4n2nt））反投影阿快速×没有要求近似N.A.滤波反投影拉吉快速×没有要求近似N.A.光锥变换[44]argminρic−k c <$ρ非常快C共焦有限资源时间复杂度O（m2ntlogn t）我们argminAρ快速C没有要求确切时间复杂度O（n）（例如，SPAD）对L上的第二点s成像，并测量光瞬态，即，时间分辨强度，i（t;l，s）。在LOS表面L上的所有对l和s处的光瞬变的集合被称为5D光瞬变[43，49]：I（L）{i（t; l，s）|s ∈ L}。（一）测量模型为了将5D瞬变与NLOS场景相关联，我们遵循先前的工作[10，18，21，32，44，59]，并将NLOS场景建模为体积双线性函数ρ（x），其中x=（x，y，z）∈λx且λx∈R3是包括我们感兴趣的对象的NLOS体积在恢复中。该模型隐含以下假设：（1）每个光路仅与单个NLOS场景点（三反射路径）相互作用;（2）所有NLOS场景点从LOS表面都是可见的;以及（3）忽略由于反射和法线引起的阴影效应，即，光在每个NLOS场景点处各向同性地散射。为简单起见，我们省略LOS场景中包含的光路部分，即，光行进到照明点和感测点/从照明点和感测点行进到成像系统。有了这些假设，我们就可以定义一个测量算子来映射照明点、感测点和时间仓;ρ∈Rnxnynz是NLOS体积坐标的矢量化表示，其中n x、n y和n z为-沿着每个坐标轴的体素的数量;A∈Rnlnsnt×nxnynz是对应于方程（2）中除ρ外的被积项离散化的矩阵。我们将A称为测量矩阵。重建NLOS场景可以通过求解方程（4）的线性系统来完成，在最小二乘意义下，对于NLOS体积的Δρ。不幸的是，这通常不是计算上易处理的，因为A的过大的尺寸以及缺乏促进快速实现的特定结构（我们将各种重建算法的计算复杂性的详细比较推迟到第4节。）反向投影。为了规避该计算负担，可以替代地使用等式（2）的测量算子的伴随来形成NLOS体积投影的估计，等式（2）的测量算子通常被称为与计算机断层摄影类似的反投影算子。给定5D光瞬变，反投影算子被写为NLOS将ρ（x）转换为光瞬变i（t;l，s），˚˙ρbp（x）= i（t;l，s）δ（x− lxl+ x− sxl −ct）dtdsdl.（五）x−li（t;l，s）=阿克斯ρ（x）δ（x−lx+x−sx−ct）dx，（2）x−l斯泰尔，s，t反投影算子投影每个光瞬变i（t;l，s）映射到满足椭圆锥的点x上其中c是光速。因为狄拉克δ在整数中的项δ（·），在特定时刻t与光瞬变i相交的Δx中的点必须满足x− lxm+（三）我们认为这是具有焦点l、s和长轴长度ct的3D椭球体的定义[46]。由于每个测量沿着椭球体积累关于场景的信息，因此将该测量算子反演被称为椭球体层析成像问题[59]。将方程（2）的测量算子离散化，我们得到：i=Aρ，（4）其中：i∈Rnlnsnt是光瞬变的矢量化表示，其中nl、ns和nt是7892+⊤⊤BP⊤等式（3）的约束。然后，在x处的反投影体积反照率ρbp（x）是这些投影的加权累积，权重对应于光衰减。在离散化时，等式（5）变为ρbp=Ai，（6）nxnynz其中ρ其中，R是 反 向 投 影 的 向 量 化 。投影的体积矩阵A，并且反投影矩阵简单地是测量矩阵A的转置。在NLOS成像文献[10]中出现了许多反投影算子的变体我们将使用省略方程（5）的被积函数中的光衰减项的版本。在离散化设置中，该替代运算符可以表示为ρbp，alt=（A>0）i=（A>0）Aρ，（7）7893^p^ρ`ρbpx其中（A>0）是一个二进制矩阵，在A的支持下等于1，在其他地方等于0。我们的理论结果和近似结果也将推广到这个替代定义.还值得注意的是，这种替代的反向投影具有重要的连接时间延迟聚焦[45]，并且可以表明算子（A>0）ΔA是与该方法相关联的成像算子。4. 卷积近似我们现在准备提出我们的主要理论和算法结果。为此，我们从以下观察开始：等式（4）的测量模型表明，我们可以通过求解线性最小二乘问题3来恢复NLOS体积分辨率ρ：（P1） ρ = argmin i− Aρ2。过滤反投影。 假设反投影等式（6）简单地是测量op的转置在等式（4）中，反投影的体积误差ρbp不同于基于等式（4）的线性最小二乘问题的解。经验上，反投影的体积反照率通常类似于真实反照率ρ的低频近似。因此，通常的做法是使用高频滤波器作为后处理，以锐化反投影结果[10，18，59]。最广泛使用的滤波器是拉普拉斯算子， .∂2∂2∂2Σ假设A≠A是可逆的，我们可以直接证明ρ也是问题的解：（P2） ρ^=argminAi−AAρ2，其中我们将平方损失中的第一项识别为将反投影矩阵应用于5D瞬态的结果（等式（6））。在本节的其余部分，我们研究了Gram算子AA，并证明它可以很好地近似-ρfbp（x）=10x2+10y2+10z2ρbp（x）。 （八）类似于卷积算子。 反过来，这有利于问题（P2）的有效解。尽管滤波反投影在实践中工作得很好，因此，它提出了两个重要的问题。首先，没有正式的理由使用拉普拉斯滤波器。第二，没有原则性的方法将先验纳入重建管道。在许多方面，我们的主要贡献是通过数学方法来减轻这些担忧。4.1. NLOS Gram运算符我们首先推导出Gram算子A的连续形式的表达式。注意，Gram算子将反照率体积ρ映射到反投影体积ρbp，分析的测量和反投影运营商的基础NLOS成像。ρbp =AAρ。共聚焦扫描。 在介绍我们的技术更新之前，将等式（2）代入等式（5），我们得到：˚结果，值得讨论的是特定的采集集-这被O'Toole等人称为共焦扫描[44 ]第44段。这对应于只有三个ρbp（x′）=阿克斯ρ（x）k（x，x′）dx，（10）5D光瞬态的维度子集是可用的，其中k（x，x′）是空间变化的核，其等于即对应于并置的照明和感测点的测量，L=S。 然后，[44]使用光锥变换（LCT）来表明方程（4）的正演模型简化为：˙斯泰尔斯δ（x′−l+x′− s− x − l− x −s）x−l dsdl. （十一）ic=kLCTρ，（9）其中ic是共焦3D光瞬态的矢量化表示，并且kLCT是3D卷积核2。将测量矩阵A简化为卷积使得能够通过反演（在最小二乘意义上）等式（9）来恢复体积的反投影，从而避免了使用反投影滤波估计的需要。此外，卷积性质使得可以利用先验（诸如非负性、稀疏性和平滑性）来正则化该逆问题，而不牺牲效率。受这项工作的启发，我们的目标是在一般的非共焦NLOS成像场景中探索类似的卷积结构。2LCT还涉及沿z方向的所有数量的非线性重新参数化。为了符号简单，我们省略了这一点。作为空间不变模糊的Gram算子。我们现在陈述我们的主要结果之一，即，在LOS场景L上的某些假设下，空间变化模糊k（x，x′）可以表示为k（x′-x）。然后，Gram算子是体积卷积上的卷积假设1 -无限平面LOS表面。我们的第一个假设是，照明和传感点所在的LOS场景L是无限空间范围的平面。在实践中，这个假设大致成立，所以只要NLOS场景在正射投影到LOS表面上时比LOS表面小得多。我们将在本节后面更详细地讨论这一点。3平方损失的使用意味着我们的测量具有加性高斯噪声。在实践中，SPAD测量的特点是泊松噪声[22，48]。正如我们在实验中所示，我们的算法对这种不匹配仍然具有鲁棒性。7894z0.05m幕墙BP0.125m坐标轴坐标轴1米2.5厘米（a）逆核（我们的）(a)核密度图（×z#）（MIP）（b）1D切片（×z#）图2. 核k的空间不变性。（a）在5×5点处归一化（×z4）核强度的最大强度投影（MIP）。（b）（a）在不同深度的3D可视化和1D切片在归一化之后，核变得空间不变。假设2 -照明和感应点。我们的第二个假设是，感测点和照明点在LOS表面L上连续采样。实际上，允许方程（11）中的积分被很好地近似的采样密度将是足够的。命题1（卷积Gram算子）在假设1和2下，等式（11）中定义的核k（x，x′）可以写为k（x，x′）=1f（x′−x），（12）z4其中x=（x，y，z），且x′在x附近。函数f（·）是通过z 4归一化后的内核。在补遗中给出了f（·）的证明和解析表达式我们的证明使用了这样一个事实，即对于无限LOS曲面，每个NLOS点都有其对应的一组照明和传感点，其中椭球具有相同的切平面。因此，内核，这是加权叠加的椭圆，成为空间不变的归一化后的1/z4项。这一项是由于平方反比光衰减，我们可以在方程（10）中的ρ（x）内吸收它。由于我们期望内核的大部分能量集中在x周围，因此内核在很大程度上是空间不变的（参见图2）。然后，我们可以将等式（10）重写为3D卷积：图3. 逆核滤波器和拉普拉斯滤波器的比较。 这些图显示了沿着穿过完整3D内核中心的每个轴的内核值的1D切片一个有限的LOS表面的扩展。 当违反假设1时，即，LOS表面是有限的，等式（11）的模糊核k是空间变化的，因此Gram算子不是卷积的。然而，当NLOS场景与LOS表面相比相对较小时，我们期望空间变化的内核仍然可以通过单个卷积算子很好地近似。这是所有演示的NLOS成像系统的常见设置，其通常需要比相应的NLOS场景大得多的范围的LOS表面我们已经验证了经验，对于典型的NLOS场景和LOS表面尺寸，革兰氏矩阵可以很好地近似为秩一的矩阵另外，我们可以使用矩阵的顶部特征向量作为空间不变核，其比等式（12）的核k我们在补充中证明了这一点，并且我们在第5节的所有实验中使用这个基于特征向量的内核。在实践中，该过程可以用作校准步骤，对于NLOS成像几何结构的每次实现，该校准步骤必须仅执行一次。逆核图3显示了使用维纳反卷积[61]计算的内核k的逆。我们观察到，逆内核非常类似于拉普拉斯滤波器。这种相似性为在滤波反投影中用于后处理的拉普拉斯滤波器的常见选择提供了理论支持[18，59]。然而，我们必须强调两个重要的区别。首先，离散拉普拉斯滤波器是˚ρ（x′）=阿克斯1ρ（x）z4f（x′−x）dx.（十三）缺乏空间尺度因此，当我们以不同的分辨率对NLOS场景进行体素化时，预期透射滤波反投影的结果会改变。我们的衍生内核和它的逆没有这样的不利的适当的-替代反投影的扩展。命题1当我们使用另一种定义时，我们在等式（7）中进行反投影以定义Gram，关系的其次，图3中的逆核是在命题1所需的两个假设下导出的。当这些假设不成立时，我们可以使用eigendecompo。ρbp，alt =（A> 0）Aρ。（十四）如上所述的位置，以导出可以显著不同于拉普拉斯算子在这种情况下，内核如等式（12）中，但没有1/z4项。我们在补充中提供了证据。滤波与滤波反投影不同，我们的方法通过使用正确的逆滤波器自然地适应这一点y内核（3D）0.125mNLOS场景籽粒强度核心强度核心强度.Σ7895⊤ρ`ρbpx4.2. 有前科命题1提出了一个重建体积反照率ρ的两阶段过程：首 先 ， 使 用 反 投 影 来 计 算 反 投 影 的 体 积 反 照 率ρbp=Ai。其次，使用反卷积来解决涉及Gram算子的最小二乘问题（P2）。命题1还促进了问题（P2）的更一般版本的解决方案，即，（P3） ρ^=argmin<$Ai−A<$Aρ<$2+Γ（ρ），其中，项Γ（ρ）指示信号先验。NLOS成像中的典型先验是正性和稀疏性，无论是在Canonically还是在体积曲率ρ的空间梯度（总变化）中[20，21]。用于求解正则化线性最小二乘问题的最新算法，例如交替方向乘法（ADMM）[9]，通常是迭代的，因此需要对相应矩阵进行多次向前和伴随评估-在（P3）的情况下，Gram矩阵A=A。这些评估往往主导算法的成本。因此，Gram矩阵的卷积形式通过将前向和伴随运算转变为简单的卷积而提供了显著的计算优势。在补充中，我们推导出使用ADMM来解决（P3）与用于NLOS成像的典型先验的算法细节计算复杂性。我们可以将解决问题（P2）和（P3）的成本分解为两部分。第一部分是使用反投影来计算反投影的体积Δd0 ρbp=AΔi。实现A（以及A）的时间复杂度可以由稀疏矩阵A的元素数量确定，假设n=n=m2，则为n n n n n=m4n3，比我们的两个部分的合并成本更高。尽管这些运算器的实现可以使用GPU实现来加速[23]，但我们的卷积模型降低了重建过程的固有平台无关计算复杂性，从而在等效平台上实现更高效的实现。表1提供了各种算法的相对复杂性的总结。4.3. 共焦案例我们在补充中证明了命题1的一个版本，特别是对于共焦扫描的情况，在这种情况下，方程（11）的核变为k（x，x′）= 1f（x′− x）.（十五）CZ6 C值得将我们的方法在共焦情况下的应用与LCT [44]进行比较。这两个表面上看起来很相似，因为它们都是用于NLOS成像的卷积公式。然而，有一个重要的区别：LCT表明，测量矩阵A（的非线性重新参数化）是卷积的，而我们的结果表明测量矩阵A A的Gram也是如此。我们讨论了这种差异的一些影响。横向分辨率。LCT的推导要求NLOS体积的横向（x和y）分辨率与LOS表面上并置的照明/感测点的横向分辨率相同;即n=m。因此，当横向扫描分辨率低时，LCT结果的横向分辨率必然较差。对另一方面，我们的方法将NLOS体积分辨率从扫描分辨率（n/=m）中分离出来。因此，我们可以恢复NLOS卷的横向分辨率是LSXy z它通常高于扫描分辨率。这里的关键是nx=ny=nz=n。 另一种方法是实施-通过绘制对应于每个时间仓的椭圆体来分割算子;时间复 杂 度 为 O （ m4n2n t ） 。 时 间 复 杂 度 为 O （ min（m4n3，m4n2nt））。第二部分涉及一个（对于（P2））或多个（对于（P3））的评估的革兰氏算子AA及其伴随。使用Gram算子的卷积近似，使用3D快速傅立叶变换，每个这样的评估具有O（n3logn）的重要的是，在第二部分中，我们不需要执行任何额外的反投影操作。在实践中，第二部分与第一部分相比具有微不足道的额外成本因此，在成本仅略大于滤波反投影，我们的技术提供了解决方案的完整的线性逆问题，同时也避免了正则化的使用。相比之下，使用A和A的实现来求解具有或不具有先验的线性逆问题的每次迭代成本为O（min（m4n3，m4n2nt））[35]，远大于利用光瞬变的时间分辨率，其通常显著高于横向扫描分辨率。计算复杂性。假设等体积横向分辨率和扫描分辨率（n=m），LCT和我们的方法具有相同的计算复杂度O（m2ntlognt），用于评估其相应的operators（测量和克，分别），其中m2nt是共焦3D瞬态中的元素的数量。然而，我们注意到我们的方法的一个重要缺点：如上所述，解决问题（P2）或（P3）需要执行单个反投影算子，其具有复杂性（在共焦情况下）O（m4nt）。另一方面，LCT直接对光瞬变ic进行操作，因此没有这样的要求。扫描模式。只有在共焦扫描模式下测量光瞬变时才能使用LCT。共焦瞬态光场为非视线成像提供了丰富的信息，在标定7896（一）【4894.93秒】【0.04秒】【67.55秒】【六十八点十五秒】全线性重建LCT滤波反投影我们的（无先验）LCT（1.12厘米/0.39厘米/2.42厘米）滤波反投影（1.01厘米/0.31厘米/2.38厘米）（0.99厘米/0.30厘米/2.33厘米）图5. 模拟5D光瞬变下的定量评估。误差图显示了三个误差度量（平均绝对误差/中位绝对误差/均方根误差）。目标对象过滤反投影[65.89s]我们的（无先验）[72.73s]我们【87.79秒】Our（我们的）“+【88.05秒】$（）我们联系我们【88.05秒】图4. 模拟5D光瞬变下的比较。请注意，LCT中较粗的红线表示方法固有限度导致的结果分辨率较低和测量回射物体时的信噪比[44]。然而，由于LOS表面的强烈直接反射，共焦测量可能会被堆积和后脉冲效应[12，17，22，48]相比之下，我们的方法灵活地适用于任何扫描模式，无论是3D非共焦还是5D光瞬变。5. 实验我们比较我们的算法对全线性recruitc，灰，过滤反投影，LCT，模拟和真实的瞬态。虽然卷积模型适用于AA和（A>0）A，但前者中的1/z4项会导致数值不稳定。因此，我们使用替代反投影的结果。我们在补充中提供了实施细节和其他结果。我们的实现和数据可以在我们的项目页面[1]上找到5.1. 模拟结果渲染设置。对于光瞬变的模拟，我们使用了来自公共NLOS成像数据集的光瞬变[14，33]以及来自[58]的物理精确渲染器的实现补充资料中提供了每个NLOS场景的几何参数与完全线性重建的比较。图4（a）比较了我们的方法和由S形组成的场景的全线性重建。我们的方法运行速度更快-图6. 真实共焦光瞬变下的先验重建。 使用先验知识时恢复的网络日志的MIP。pri- ors强制执行的积极性，总的变化，和稀疏的体积。时间（70倍），同时提供相似的重建质量。与滤波反投影的比较。 图4（a）和4（b）显示了我们的方法和滤波反投影之间的比较即使不使用先验知识，我们的方法也表现得更好，因为它使用了精确的逆滤波器，而过滤反投影的行为就像一个启发式逆滤波器。与LCT比较。图4（c）示出了在呈现共焦光瞬态下的反射。这里，虽然光瞬变的时间分辨率是8 ps，但是照明点的粗略扫描对应于26 ps（即，尺寸为0的LOS壁上的64× 64个样本。5m × 0. 5米）。因此，即使光瞬变的时间分辨率足以重建肥皂上的字母，它也是不可接受的。由于横向分辨率差，LCT [44]中未很好地重建。另一方面，即使没有任何先验知识，我们也可以通过计算管道此外，如图4（a）所示，LCT结果是从5D光瞬态的共焦子集获得的，当物体与LOS壁相比很小时，LCT甚至不能完全利用扫描分辨率，因为视场还与LOS壁的范围相关（b）第（1）款 目标对象过滤后的反投影我们的（无先验）（c）第（1）款目标对象LCT我们的（无先验）5厘米我们的（无先验）“+$T&7897目标对象LCT滤波反投影我们图7. 真实共焦光瞬变下的比较。我们的方法产生更高的细节和更少的文物比替代品的重建。在我们的实验中，我们用白纸覆盖第一行的数字，以增加SNR。定量评价。图5示出了具有三个误差度量的沿着深度轴的重建MIP表面和地面实况表面之间的逐点差异。我们使用64×64的模拟共焦光瞬态的朗伯斯坦福兔子的场景。测量的时间分辨率是8ps，并且体素分辨率是10ps。0的情况。LCT为78cm（方法固有限值），0. 24 cm的FBP和我们的方法。我们观察到，我们的方法（没有先验）在所有错误度量上表现最好。5.2. 真实场景采集系统。我们的成像系统包括一个与SPAD传感器同步的皮秒脉冲激光。有关硬件原型、校准和采集程序的详细信息，请参见附录。注意，尽管我们的方法可以应用于如第5.1节所示的一般5D光瞬变，但在这里我们使用共焦光瞬变，因为它们的采集时间较短（1. 5小时3D共聚焦中的51×51个点，而5D中的12×12×12×12点）和易于校准。有前科的重建。图6显示了使用不同先验的效果。我们展示了一个混合先验的结果，它强制了正性，总变差（即稀疏梯度），以及通过1范数强制的规范稀疏性。我们观察到，即使没有先验，我们的方法也比滤波反投影产生了改进，并且先验的使用进一步改进了重建。比较。图7示出了在针对各种NLOS对象测量的共焦光瞬变下与LCT和滤波反投影的比较。我们观察到，通过利用瞬态的高时间分辨率，我们的方法提供了比LCT [44]更高的重建细节，并且通过结合精确的逆内核和先验，比滤波反投影提供了更少的伪影。6. 结论我们提出了卷积近似的NLOS成像算子，通过研究其Gram。这提供了一个途径，应用各种先验规则化的反问题，而没有陡峭的计算成本。我们的方法不需要LOS墙上的特定扫描模式，并且可以适用于利用5D光瞬变的任何但最重要的是，我们相信，我们提供的关于椭球体层析成像的测量算子的性质的见解将对一系列问题（例如地震成像、组织成像和超声成像）具有鸣 谢 。 我 们 感 谢 Kiriakos Kutulakos 和 SrinivasaNarasimhan 进 行 了 有 益 的 讨 论 。 这 项 工 作 得 到 了DARPA REVEAL（ HR 0011 -16-C-0025，HR 0011 -16-C-0028）和NSF Expeditions（CCF-1730574，CCF-1730147）补助。B. Ahn由韩国高等研究基金会资助。7898引用[1] 项目页面：卷积近似一般非视线成像操作员。imaging.cs.cmu.edu/conv_nlos/，2019年。7[2] Victor Arellano，Diego Gutierrez，and Adrian Jarabo.用于 非 视 线 重 建 的 快 速 反 投 影 。 Optics Express ， 25（10）：11574-11583，2017。1[3] R马丁阿瑟和史蒂文R布罗德斯通。通过线性声波方程解 的 椭 球 投 影 反 演 成 像 。 IEEE 医 学 成 像 学 报 ， 8（1）：89-95，1989年。2[4] ManelBaradad，VickieYe，AdamBYedidia，Fre´doDurand ， WilliamTFreeman ， GregoryWWornell，and Antonio Torralba.从阴影推断光场。在IEEE计算机视觉和模式识别会议（CVPR），2018年。2[5] Mufeed Batarseh ， S Sukhov ， Zhiqin Shen ， HeathGemar，Reza Rezvani，and Aristide Dogariu.使用空间相干性的拐角处的被动感测Nature communications，9（1）：3629，2018. 2[6] Jacopo Bertolotti ， Elbert G Van Putten ， ChristianBlum，Ad Lagendijk，Willem L Vos，and Allard P Mosk.通 过不 透明 散射 层 的非 侵入 性成 像 。Nature ， 491（7423）：232，2012. 2[7] Jeremy Boger-Lombard和Ori Katz。用于非视线定位的被动光学飞行时间。Nature Communications，10（1）：3343，2019. 2[8] KatherineLBouman ， VickieYe ， AdamBYedidia ， Fre'doDurand ， Gregory W Wornell ， Antonio Torralba 和William T Freeman。将拐角转换为摄像机：原则和方法。2017年国际计算机视觉会议。2[9] Stephen Boyd，Neal Parikh，Eric Chu，Borja Peleato，Jonathan Eckstein，et al.分布式优化和统计学习通过交替方向法的多-Heshmat，Ramesh Raskar，Jonathan Leach，and DanieleFaccio. 单 光 子 敏 感 的 光 在 战 斗 成 像 。 NatureCommunications，6：6021，2015。2[16] 约安尼斯·吉欧莱卡斯，阿娜特·勒文，杜兰德神父和托德·齐克勒。使用干涉测量法的半尺度光输运分解。ACM Transactions on Graphics （TOG），34（4）：37，2015。2[17] Anant Gupta 、 Atul Ingle 、 Andreas Velten 和 MohitGupta。光子泛光单光子3d相机。在IEEE计算机视觉和模式识别会议论文集，第6770-6779页，2019年。7[18] Otkrist Gupta，Thomas Willwacher，Andreas Velten，Ashok Veeraraghavan，and Ramesh Raskar.使用漫反射重建隐藏的三维形状。Optics express，20（17）：19096-19108，2012. 一二三四五[19] 菲利克斯·海德，马蒂亚斯·B·胡林，詹姆斯·格雷格森和沃尔夫·冈·海德里希.使用光子混频器器件的低预算瞬态成 像 。 ACM Transactions on Graphics （ TOG ） ， 32（4）：45，2013. 2[20] Felix Heide ， Matthew O'Toole ， Kai Zang ， David BLindell，Steven Diamond，and Gordon Wetzstein.具有部分遮挡物和表面法线的非视线成像。ACM Transactionson Graphics（ToG），38（3）：22，2019。二、六[21] Felix Heide ， Lei Xiao ， Wolfgang Heidrich ， andMatthias B Hullin.漫反射镜：使用廉价的飞行时间传感器从漫射间接照明进行3D重建。在IEEE计算机视觉和模式识别会议中，2014年。二、三、六[22] Quercus Hernandez，Diego Gutierrez，and Adrian Jarabo.瞬态成像用单光子雪崩二极管传感器的计算模型。arXiv预印本arXiv：1703.02635，2017。四、七[23] Julian Iseringhausen和Matthias B Hullin。使用高效瞬态渲染的非视线重建arXiv预印本arXiv：1809.08044，2018。二、六[24] Adrian Jarabo Belen Masia Julio Marco和Diego Gutier老虎钳 基础和Tr端3（1）：1-122，2011。6在机器学习中，雷兹瞬态成像的最新进展：计算机图形和视觉透视。视觉信息学，1（1）：65[10] 毛罗·布塔法瓦杰西卡·泽曼阿尔贝托·托西凯文·伊莱ceiri和Andreas Velten。使用时间选通单光子雪崩二极管的 非 视线 成 像 。 Optics express ， 23（ 16 ） ： 20997-21011，2015. 一、二、三、四[11] 陈文正，西蒙·丹诺，法希姆·曼南，和费-里克斯·海德。稳态非视线成像。在IEEE计算机视觉和模式识别会议（CVPR），2019。2[12] PB Coates。寿命测量中的累积修正。Journal of PhysicsE：Scientific Instruments，5（2）：148，1972.7[13] 贾斯汀·达夫和杰弗里·夏皮罗。相量场成像的近轴理论Optics Express，27（13）：18016-18037，2019。2[14] Miguel Galindo 、 Julio Marco 、 Matthew O'Toole 、Gordon Wetzstein、Diego Gutierrez和Adrian Jarabo。萨拉戈萨NLOS综合数据集，2019年。7[15] Gene viev eGariepy，Nik olaKrstajic'，RobertHenderson，Chunyong Li ， Robert R Thomson ， Gerald S Buller ，Barmak79，2017年。2[25] Achuta Kadambi，Jamie Schiel，and Ramesh Raskar.宏观干涉测量：用频域飞行时间重新考虑深度估计。在IEEE计算机视觉和模式识别会议（CVPR），第893-902页，2016年。2[26] Achuta Kadambi，Refael Whyte，Ayush Bhandari，LeeStreeter，Christopher Barsi，Adrian Dorrington和RameshRaskar。飞行时间摄像机编码：稀疏解卷积以解决多径干扰并恢复时间分布。ACM Transactions on Graphics（TOG），32（6）：167，2013。2[27] Achuta Kadambi，Hang Zhao，Boxin Shi，and RameshRaskar. 使 用 飞 行 时 间 传 感 器 进 行 遮 挡 成 像 ACMTransactions on Graphics（ToG），35（2）：15，2016.2[28] 阿维纳什·卡克和马尔科姆·斯兰尼计算机断层成像原理。IEEE Press New York，1988. 一、二7899[29] 奥里·卡茨，皮埃尔·海德曼，马蒂亚斯·芬克，西尔万·基冈.通过散射的7900层 和 角 落 周 围 的 散 斑 相 关 。 Nature Photonics ， 8（10）：784，2014. 2[30] Ori Katz，Eran Small和Yaron