6770光子泛光单光子3D相机Anant Gupta Atul Ingle Andreas Velten Mohit Gupta{agupta225，ingle，velten，mgupta37}@ wisc.edu威斯康星大学麦迪逊分校摘要单光子雪崩二极管（SPAD）开始在光子高效的远程LiDAR系统的开发中发挥关键作用。然而，由于其图像形成模型中的非线性，高光子通量（例如，由于强烈的阳光）导致入射时间波形的失真以及潜在的大的在低通量状态下操作SPAD可以减轻这些失真，但通常需要衰减信号，因此导致低信噪比。在本文中，我们解决以下基本问题：基于SPAD的激光雷达的最佳光子通量是多少？我们推导出一个封闭形式的最佳流量，这是准深度不变的，并依赖于环境光强度的表达式。最佳通量低于SPAD在真实世界场景中典型测量的通量，但令人惊讶的是，显著高于为避免失真而常规建议的通量。我们提出了一个简单的，自适应的ap-proach实现最佳通量衰减inci- dent通量的基础上估计的环境光强度。使用广泛的模拟和硬件原型，我们表明，最佳的流量标准持有几个深度估计，在广泛的照明条件下。1. 介绍单光子雪崩二极管（SPAD）越来越多地用于主动视觉应用，如荧光寿命成像显微镜（FLIM）[33]、非视线（NLOS）成像[24]和瞬态成像[23]。由于其极高的灵敏度和定时分辨率，这些传感器可以在要求苛刻的成像场景中发挥作用，例如，用于汽车应用的长距离LiDAR [6][20]，只有有限的功率预算[25]。基于SPAD的LiDAR（图）1）通常由发出周期性光脉冲的激光器组成。SPAD在每个激光周期中检测第一个入射光子，之后它进入死区时间，在此期间它不能检测任何进一步的光子。然后使用每个周期中的第一光子检测来创建直方图（在几个周期内）。图1. 基于SPAD的脉冲LiDAR中的堆积。脉冲激光雷达由一个光源组成，它用周期性的短脉冲照亮场景点SPAD传感器记录返回光子相对于最近光脉冲的到达时间，并使用这些时间来构建时序直方图。在低环境光下，直方图与在SPAD处接收的时间波形具有相同的形状然而，在高环境光下，直方图由于堆积而失真，导致潜在的大深度误差。接收到的时间波形的缩放版本，因此可以用于估计场景深度和反射率。尽管基于SPAD的LiDAR由于其单光子灵敏度和极高的时间（因此，深度）分辨率而具有相当大的前景，但由于环境光，特殊的直方图形成过程会导致严重的非线性失真[12]。这是因为SPAD在高入射通量下的触发特性：光子的检测取决于先前光子的到达时间。这导致图像形成模型中的非线性;测量的直方图向较早的时间仓倾斜，如图1A和1B所示。1和21。这种失真，也称为这可能会严重限制基于SPAD的LiDAR在户外条件下的性能，例如，想象一下在阳光明媚的日子里运行的功率受限的汽车LiDAR [20]。减轻这些失真的一种方法是衰减入射通量足以使图像形成模型变得近似线性[26，13]。然而，在这方面，光子到达时间的时间间隔。 如果入射通量水平足够低，直方图近似为†本研究部分得到了ONR资助N 00014 -15-1- 2652和N 00014 -16-1-2995以及DARPA资助HR 0011 -16-C-0025的支持。相比之下，对于传统的线性模式LiDAR像素，光子的检测与先前的光子无关（除了过去的饱和度）。因此，环境光给整个波形增加了一个恒定的值.6771在LiDAR应用中，大部分入射通量可能是由于环境光。在这种情况下，降低通量（例如，通过减小孔径尺寸）需要衰减环境光和信号光2。虽然这减轻了失真，但也导致信号损失。失真（在高通量下）和低信号（在低通量下）之间的这种基本权衡提出了一个自然的问题：基于SPAD的主动三维成像系统是否存在最佳入射通量？基于SPAD的激光雷达的最佳入射通量：本文通过分析SPAD激光雷达的非线性成像模型来解决这一问题。给定一个固定的源与环境光强度的比例，我们推导出一个封闭形式的最佳入射通量的表达式。在一定的假设下，最佳流量是准不变的源强度和场景深度，令人惊讶的是，只依赖于环境强度和明确的系统的深度范围。此外，最佳通量低于典型室外条件下LiDAR所遇到的通量。这意味着，虽然与直觉相反，但减少总通量可以提高性能，即使这意味着衰减信号。另一方面，最佳通量被认为高于在线性区域中成像所需的通量[2，15]。因此，虽然光学通量仍然导致一定程度的失真，但利用适当的计算深度估计器，它在广泛的成像场景中实现了高性能。基于这一理论结果，我们开发了一个简单的自适应方案SPAD激光雷达的入射通量的基础上的环境光强度的估计进行调整。我们进行了大量的模拟和硬件实验，以证明所提出的方法与现有的经验法则方法[2，15]相比，可以实现高达一个数量级的深度精度，这些方法需要将通量水平降低到线性状态。含义：本文的理论结果可以导致更好地理解这种新颖的和令人兴奋的传感技术。虽然我们的分析是针对分析像素深度估计器[7]进行的，但我们表明，在实践中，深度估计的改进是针对几种重建方法实现的，包括像素统计方法，如MAP，以及考虑空间相关性和场景先验的估计器（例如，神经网络估计器[17]）。这些结果可能会推动实用的低功耗LiDAR系统的设计，该系统可以在从黑暗到极端阳光的广泛照明条件下工作。2. 相关工作基 于 SPAD 的 主 动 视 觉 系 统 ： 大 多 数 基 于 SPAD 的LiDAR、FLIM和NLOS成像系统[5，16，34，29，17，3]依赖于足够低的入射通量，从而可以忽略堆积失真。最近的工作[13]解决了基于SPAD的2通过光谱过滤可以在有限的范围内减少环境光。LiDAR利用激光脉冲形状的真实模型和对场景结构的统计先验知识来实现亚脉宽深度精度。我们的目标是不同的-我们提供SPAD LiDAR的理论分析和设计，即使在强烈的环境光下也可以稳健地执行。堆积校正的理论分析和计算方法：在后处理中，可以通过计算反转非线性图像形成模型来去除堆积失真[7，35]。虽然这些方法可以减轻相对少量的堆积，但它们在高通量水平中的成功有限，其中单独的计算方法导致噪声的强烈放大先前的工作已经在距离选通场景中进行了类似于我们的理论分析，其中场景深度已知[10，36，9]。相比之下，我们得到一个最佳的通量标准，最小化堆积在捕获时间的错误，适用于广泛的，包括极高的照明水平，并不需要先验知识的场景深度。替代传感器架构：可以通过修改检测器硬件来抑制堆积，例如：通过使用连接到单个时间相关单光子计数（TCSPC）电路的每个像素的多个SPAD来将高入射通量分配到多个SPAD上[3]。具有并行定时单元和多光子阈值的多SPAD方案可用于检测相关信号光子[28]并拒绝时间随机分布的环境光光子。这里导出的理论标准可以与这些硬件架构结合使用，以实现最佳LiDAR设计。阳光下的主动3D成像：结构光和飞行时间文献中的先前工作提出了各种编码和照明方案，以解决由于强环境光而导致的低信噪比（SNR）的问题[18，11，22，1]。本文研究了基于SPAD的脉冲飞行时间最佳光子探测问题。这些先前的策略可以潜在地与我们的方法结合应用，以进一步提高深度估计性能。3. 背景：SPAD LiDAR成像模型本节提供了基于SPAD的脉冲激光雷达成像模型的数学背景。这种系统通常由一个激光源和一个共位SPAD探测器组成，激光源在场景点发射周期性的短脉冲光，SPAD探测器观察反射光，如图21所示。1.一、我们将理想激光脉冲建模为狄拉克δ函数δε（t）。设d为场景点到传感器的距离，τ=2d/c为光脉冲的往返飞行时间。SPAD上入射的光子通量由下式给出：Φ （ t ） =Φ sigδ （ t-τ ） +Φ bkg ，（1）其中Φ sig是接收到的波形的信号分量;它封装了激光源功率、距离。6772p=qY（1−q）=. 1−ee。（三）k=1图2. 环境光对SPAD LiDAR的影响。基于SPAD的脉冲激光雷达在多个激光脉冲周期内构建入射光子到达时间的直方图。在每个周期中，最多记录一个光子，其时间戳用于增加相应直方图箱中的计数。 （左）当没有环境光时，直方图只是入射光波形的离散化、缩放版本。（右）在激光脉冲之前到达的环境光光子扭曲了直方图的形状，导致非线性失真，称为堆积。这会导致较大的深度误差，尤其是当环境光增加时。平方f全f f、场景亮度和BRD F。Φ bkg表示背景分量，假设由于环境光而为常数。由于SPAD具有有限的时间分辨率（几十皮秒），我们考虑方程中连续波形的离散化版本。（1），使用大小为1的均匀间隔的时间仓。设Mi为第i个时间仓中入射到SPAD上的光子数。由于光子的到达统计，Mi遵循泊松分布。泊松分布的平均值E[Mi]，即，入射到第i个仓中的光子的平均数ri被给出为：ri=Φsigδi，τ+Φbkg.（二）这里，δi，j是克罗内克k er δ，3Φsig是每个仓接收的信号光子的平均数，并且Φbkg是每个仓的（不期望的）背景和暗计数光子通量。设B为时间仓的总数然后，我们定义值向量（r1，r2，. . . ，rB）作为理想入射波形。SPAD 直 方 图 形 成 ： 基 于 SPAD 的 LiDAR 系 统 基 于TCSPC原理运行[15]。场景点由激光脉冲的周期性序列来照明。以激光脉冲开始的每个周期被称为一个周期。SPAD在每个周期中仅检测第一个入射光子，之后它进入死区时间（大约100 ns），在此期间它不能检测任何进一步的光子。 的到达时间第一光子相对于第二光子的开始被记录，3克罗内克ker delta定义为δi，j=1（i=j），否则为0最近的周期第一个光子到达时间的直方图是在许多激光周期内构建的，如图所示。二、如果直方图由B个时间仓组成，则激光重复周期为B，对应于明确的深度范围dmax=cB/2。由于SPAD仅记录每个周期中的第一个光子，因此仅当在第i个仓期间至少一个光子入射到SPAD上时，才在第i个在第i个仓中至少有一个光子入射的概率qi可以使用具有平均值ri的泊松分布来计算[7]：qi= P（Mi≥1）= 1−e−ri。因此，在任何激光周期中，在第i个仓中检测到光子的概率pi由[27]给出：i−1−ri−i−1rki i kk=1设N为用于形成直方图的激光周期的总数，并且Ni为在第i个直方图箱中检测到的光子的数量。向量（N1，N2，. . .，NB+1）遵循多项分布：（N1，N2，. . . ，NB+1）n/Mult（N，（p1，p2，. . . ，pB+1）），（4）其中，为了方便起见，我们在直方图中引入了额外的（B+ 1）st指数，以记录没有检测到光子的循环数。注意，pB+1=6773Σ1−i=1并且场景深度可以被估计为^i=1k=1^ ^您的位置：i=1Bi=1 pi和N = NB+1Ni。 当量（4）描述了一个基因，光子计数直方图的一般概率模型由SPAD脉冲激光雷达获取图2（a）示出了在可忽略的环境光的情况下的直方图形成。在这种情况下，所有光子到达时间与入射波形的峰值位置一致。结果，对于除了对应于激光脉冲峰值的仓之外的所有仓，ri= 0在这种情况下，测量的直方图向量（N1，N2，. . .，NB），平均而言，仅仅是入射波形（r1，r2，. . . ，rB）。可以通过定位具有最高光子计数的bin索引来估计飞行时间τ= arg maxN，（5）我1≤i≤Bcτ 2为了便于理论分析，我们假设激光器脉冲是具有单个时间仓的持续时间的完美Dirac脉冲。我们还忽略了其他SPAD非理想性，如抖动和后脉冲。我们在补充中表明，通过将我们的最佳光子通量准则与最近的工作相[13]明确地对激光脉冲形状和SPAD定时抖动进行建模。4. 环境光对SPAD激光雷达如果有环境光，入射到SPAD上的波形可以被建模为具有恒定垂直偏移的脉冲，如图1的顶部所示第2段（b）分段。的意思-图3. 计算堆积校正方法的有效性[7]。（a）在低环境光线下，堆积可以忽略不计。(b)在中等环境光水平下，可以观察到堆积作为所获取的直方图中的特征指数下降。信号脉冲位置仍然可以使用计算校正（第4节）恢复。(c)在强环境光下，后面的直方图箱接收到非常少的光子，这使得计算校正的波形非常嘈杂，使得难以可靠地定位用于估计深度的激光峰值。[27]第27话独立证明见补充文件.深度可以估计为：τ= arg max ri.（七）1≤i≤B虽然这种计算方法消除了失真，但从测量值Ni到估计值Ni的非线性映射是不可能的。然而，可靠的直方图不能可靠地再现这一点。马特里 显著放大测量噪声，“DC shift” due to the peculiar histogram formation proce-dure当环境通量高时，SPAD以高概率在较早的直方图箱中检测到环境光子，导致具有指数衰减形状的失真。这在图的底部示出。图2（b），其中由于激光源的峰值仅表现为测量直方图的指数衰减尾部中的小光点。对于离成像系统较远的场景点，该问题更加严重这种称为堆积的失真会显著降低深度估计的准确性，因为对应于真实深度的箱不再接收最大数量的光子。在极端情况下，后面的直方图箱可能没有接收到光子，使得在这些箱处的深度重建是不可能的。计算堆积校正：在理论上，可以通过反转方程的指数非线性来“消除”失真。以及根据所测量的直方图Ni找到起始波形ri的估计：时间仓，如图所示。3 .第三章。堆积与低信号权衡：减轻堆积的一种方式是减少总入射光子通量（例如，通过减小孔径或SPAD尺寸）。各种经验法则[2，1 - 5]主张保持足够低的光子通量，使得只有1-5%的激光周期导致光子被被SPAD发现 在这种情况下，ri1 i和Eq. （3）简化为piri。因此，平均光子计数Ni变得与入射波形ri成比例，即，E[Ni] =Npi<$Nri。这被称为线性操作状态，因为测量的直方图（Ni）B在av上是erage，只是真实入射波形（ri）B的缩放版本。这类似于如上所述的没有环境光的情况，其中可以通过定位具有最高光子计数的直方图箱来估计深度虽然降低总光子通量以在线性状态下操作减少了环境光并防止堆积失真，但不幸的是，它也大大减少了源信号。另一方面，如果入射光子通量r= ln .N−i−1Nkk=1KΣ。（六）被允许保持高，直方图遭受桩-^iN−1N-Ni向上，撤销，这导致噪声放大这种乐趣-堆积失真和低信号之间的基本折衷这种方法被称为科茨最大似然（maximum likelihood）提出了一个自然的问题：最佳入射通量是多少水平的深度估计使用SPAD的问题^6774RiRi^τ=1^i=1Ri.B−1ΣBΣΣ图4.不同衰减的箱感受性曲线（BRC）但是向较早的仓倾斜（强堆积，因为Pi从较早仓的0.1变化到较晚仓的0.1）。通量越大，pi相对于i的变化越大。BRC作为衰减因子的函数：假设整个激光周期内的总 背 景 通 量 BΦbkg 明 显 强 于 总 源 通 量 ， 即 ，ΦsigBΦbkg，第i个时间仓中的通量入射可以是近似为rir/B。然后，使用Eqs.（8）、（3）BRC可以表示为：水平。（a-b）大（极端）衰减导致平坦BRCrr没有堆积，但信号电平很低。无衰减导致BRC失真，但信号电平更高。建议的最佳衰减水平实现了BRC与低失真，和高Ci= B（1 − e−B）e−（i−1）B。（九）由于总入射通量r= φ（Φsig+BΦbkg），我们假设Φsig Φbkg，r可以近似为r信号了 (c)最佳衰减因子由最大值BRC最小值的位置（唯一）联系我们BKG. 在等式中替换。（9），我们得到一个表达式，5. 仓容性与最优通量准则在本节中，我们正式定义了基于SPAD的LiDAR的最佳入射光子通量的概念。我们将原始入射波形建模为恒定的环境光水平Φbkg，具有高度Φsig的单个源光脉冲。我们认为，我们可以修改入射波形，只有通过用比例因子ω≤1衰减它。这相应地衰减了环境Φbkg和源Φsig分量。4 然后，给定Φbkg和Φsig，总光子入射到SPAD上的通量由因子λ确定。因此，寻找最佳总入射通量的问题可以归结为确定最佳衰减系数的问题。为了帮助进一步分析，我们定义以下术语。BRC仅作为衰减函数，对于给定的箱数B和背景通量Φbkg：Ci（）= B（1 − e−<$Φbkg）e−（i−1）<$Φbkg。（十）当量（10）允许我们导航BRC的空间，因此，散粒噪声与通过改变一个参数，衰减因子为λ。基于等式（10），我们现在准备好定义最优的最小值。结果1（衰减和深度误差概率）。设τ为真实深度仓，τ为使用Coates估计器获得的估计值（等式2）。（七））。的上限当衰减分数由下式给出，深度误差BP（τ τ）C_i= arg max min C_i（n）。（十一）伊定义1. [Bin接受系数]箱接受-第i个直方图区间的活性系数Ci被定义为：C=pir，（8）我是我其中pi是探测到光子的概率（等式2）。 （3）），并且ri是入射光子的平均数（等式（3））。（2）在第i个仓中。r是总入射通量r=Bri。面元感受性曲线（BRC）被定义为面元感受性系数Ci作为面元索引i的函数的图。BRC可以被认为是一个直观的指标，证明见补充技术报告。这结果表明，在给定信号和背景通量的情况下，当最小面元接收系数最大化时，实现了最佳深度估计性能从等式（10）我们注意到，对于一个固定的，小的-在最后一个仓i = B处获得最佳感受性值，即，miniCi（ε）=CB（ε）。在等式中替换。（11），我们得到：opt= arg max CB（Υ使用公式CB（k）（10）解得：SPAD LiDAR系统的性能，因为它捕获了堆积与散粒噪声的折衷。第一项pi量化测量直方图的形状的失真，opt=1Φbkg 日志B.B−1相对于理想的入射波形，而第二项R量化信号的强度图4（a-b）最后，假设B=1，我们得到log。1.显示高和低入射通量的BRC，实现通过分别使用高和低衰减的SNR。对于较小的通量（低通量），BRC是均匀的（可忽略的堆-由于B=2dmax/cmax，其中dmax是明确的深度范围，最终的最优性条件可以写为：optc6775Ri联系我们向上，作为pi在i）上，λ1近似恒定，但是=.2d最大Φbkg（十二）曲线的值很小（低信号）。对于大的振幅（高通量），曲线4通过光谱滤波，可以选择性地仅衰减环境分量到有限的程度我们假设环境水平Φbkg已经处于通过光谱滤波可实现的最小水平最佳通量衰减因子最优性准则的几何解释：结果1可以根据BRC的形状空间直观地理解。图图4（a-b）显示了6776暴露于高环境光的SPAD的BRC上的三个不同衰减水平。当不使用衰减时，BRC由于强堆积而迅速衰减。使用极端衰减5的当前方法[2，15]使BRC在所有直方图箱中近似均匀，但平均值非常低，导致极低的信号。在最佳衰减的情况下，曲线显示出一定程度的堆积，尽管失真比没有衰减的情况低得多，但平均而言，与极端衰减相比，值要高得多。图4（c）示出了最佳衰减因子由BRC的最小值的唯一最大值位置给出。最优性标准的选择：理想情况下，我们应该在最佳衰减设计中使均方根深度误差（RMSE或L2）最小化。然而，这导致了一个棘手的优化问题。相反，我们选择一个上界的平均概率的深度错误（L）作为替代度量，这导致封闭形式的极小化器。我们的模拟和实验结果表明，即使是使用代理度量导出的Rightopt，它也近似最小化L2误差，并提供了近一个数量级的改善L2误差。估计Φbkg：在实践中，Φbkg是未知的，并且由于距离和距离而可能针对每个场景点我们提出了一种简单的自适应算法（见补充），首先通过在激光源关闭的情况下捕获几个初始周期内的数据来估计Φbkg，然后通过使用等式中的估计Φbkg来（11）在每个像素的基础上。最优性准则的含义：请注意，Pcnopt对于场景深度、循环数以及信号强度Φsig（假设Φsig≥BΦbkg）是准不变的。深度不变性是通过设计-结果1中的优化目标假设真实深度上的均匀先验。从Eq.（11），这导致基于场景深度的任何先验知识，并且可以使用已知的量 （ Φmax 和 dmax ） 或 可 以 容 易 地 实 时 估 计 的 量（Φbkg）来容易地计算。在实践中，可以使用各种方法来实现最佳衰减分数，包括孔径光阑、改变SPAD量子效率或使用ND滤波器。6. 使用模拟的经验验证模拟的单像素平均深度误差：我们进行了蒙特卡罗模拟，以证明不同的衰减对平均深度误差的影响。我们假设在1000个时间仓的范围内均匀的深度分布5例如，考虑100 m的深度范围和100 ps。然后，1%的经验法则建议极端衰减，使每个bin接收到的是100%。5× 10−6光子。相比之下，建 议 的最优性条件要求，平均而言，一个背景光子应该入射到SPAD上，每个激光周期。这转化为≈1。每箱5 ×10−4个光子，这比极端衰减高几个数量级，并且导致相当大的信号和SNR。图5. 基于模拟的验证。（顶行）无衰减、极端衰减和最佳衰减的值由垂直虚线表示。在这三个图中的每一个图中，最佳衰减的值对于源功率电平近似不变。最佳衰减因子仅取决于固定的环境光水平。（底行）对于固定的光源功率值，最佳衰减因子随着环境光的减少而增加。理论上预测的最佳衰减的位置（垂直虚线）与深度误差曲线的谷对齐。图6. 基于神经网络的仿真重建。 深度和误差图，用于基于神经网络的深度估计，在不同的环境光和衰减水平下。极端衰减表示平均ΔBΦbkg= 0。05.最佳衰减表示ΔBΦbkg=1。%内点表示绝对误差为36cm的像素的年龄百分比<。对于所有情况，Φsig = 2。当量（6）用于估计深度。图5示出了对于宽范围的Φbkg和Φsig值，相对RMSE作为衰减因子λ的函数的曲线图。顶行中的每个图对应于固定的环境通量Φbkg。曲线图中的不同线对应于不同的信号通量水平Φsig。有两个主要的观察6777图7. 使用硬件实验验证最佳衰减。 这些图具有与图1的模拟相同的布局。五、如在模拟中一样，理论上预测的最佳衰减位置与深度误差曲线的谷相在这里制造。首先，由方程预测的最佳衰减。（12）（垂直虚线）与这些误差图中的最小深度误差谷的位置一致。6第二，最佳衰减与信号通量Φsig准无关，如等式所预测。（十二）、第二行中的每个曲线对应于固定的源通量Φsig;不同的线表示不同的环境通量水平。预测的最佳衰减与相应线路的谷很好地对准，并且如预期的那样，对于不同线路是不同的。深度估计性能的改进：作为从所有曲线图可以看出，与极端衰减或无衰减相比，所提出的最佳衰减准则可以实现深度估计误差的高达1个数量级的由于大多数山谷是相对平坦的，一般来说，所提出的方法是鲁棒的估计的背景通量的不确定性，因此，可以实现高的深度精度在很宽的范围内的照明条件。基于神经网络的深度估计的验证：虽然最优性条件是使用分析的逐像素深度估计器导出的[7]，但在实践中，它对于利用自然场景中的时空相关性的最先进的基于深度神经网络（DNN）的方法是有效的。我们使用模拟的堆积损坏直方图训练卷积DNN [17]，使用来自纽约大学深度数据集V2的地面真实深度图生成[19]，并在Middlebury数据集上进行测试[32]。对于环境通量、源通量和衰减因子的每个组合，DNN的单独实例在相应的训练数据上训练，并在相应的测试数据上测试，以确保不同衰减方法之间的公平比较。图6示出了在环境光的不同水平下的深度图重建。如果不使用衰减，高振幅-[6]如补充资料中所述，在高通量水平下，这些误差图中的二次下降图8. 人体模型面部的3D重建（a）由明亮的环境光照射的人体模型面部。激光点几乎看不见。(b)从（a）中所示的激光位置获取的代表性直方图。 在极端和无衰减的情况下，对应于场景深度的峰值几乎不可识别。通过最佳衰减，可以可靠地提取峰值。（c-d）深度重建使用不受强堆积和散粒噪声影响的极端衰减和极端衰减。（e）最佳衰减实现了更高数量级的深度精度，甚至能够恢复精细细节。由于光线偏暗，所采集的数据因堆积而严重失真在极端衰减的情况下，DNN能够平滑散粒噪声的影响，但会导致块状边缘。在最佳衰减的情况下，DNN在所有环境光水平下以相当高的精度成功地恢复深度图。7. 硬件原型和实验我们的硬件原型类似于图1所示的原理图。1.一、我们使用了405 nm波长的脉冲皮秒激光器（PicoQuantLDH P-C-405 B）和具有200 ns死时间的同位快速门控单像素SPAD检测器[4]激光重复频率设定为5MHz，对 应 于 dmax= 30 m 。 使 用 TCSPC 模 块 （ PicoQuantHydraHarp 400）获取光子时间戳。由于实际空间的限制，图中覆盖整个30 m明确深度范围的各种深度。7使用可编程延迟器模块（Micro Photon Devices PSD）进行仿真。同样，图中的所有场景8、9和10使用PSD提供15 m的深度偏移，以模拟远程LiDAR。单像素深度重建误差：图7显示了实验获得的相对深度误差6778图9. 具有变化衰减的深度估计。现场平均环境照度为15 000 lx。在没有衰减的情况下，大多数部分受到强烈堆积的影响，从而导致几个离群值。对于极端衰减，场景的大部分具有非常低的SNR。相比之下，最佳衰减实现了几乎整个对象的高深度估计性能（删除15 m深度偏移图10. 环境自适应控制器该场景具有较大的环境亮度变化，既有明亮的区域（右），也有阴影（左）。使用逐像素的环境通量估计来调整最佳衰减，如衰减图所示。由此产生的重建实现准确的估计，无论是在阴影和明亮的地区。（删除15 m深度偏移。）在宽范围的环境和源通量水平以及不同的衰减因子上。这些实验曲线遵循与图1的模拟图中观察到的相同的趋势5，并提供了在存在非理想性如抖动和后脉冲效应的情况下的最佳通量振荡的实验验证，以及非三角波形的实验验证。点扫描3D重建：图图8和图9示出了通过用双轴振镜系统（Thorlabs GVS-012）光栅扫描激光光斑而获得的在不同衰减水平下的物体的3D重建结果。可以从图1中的直方图看出图8（b）所示的极端衰减几乎完全消除了堆积，而且还将信号降低到非常低的水平。相比之下，最佳衰减具有一些残余堆积，并且与极端衰减和无衰减相比，实现了由于相对均匀的反射率和照明，整个场景的单个衰减因子就足够了。图10示出了复杂场景的深度图，该复杂场景包含较宽范围的照明水平、亮度变化和在较宽深度范围上的多个对象。针对“块”场景的最优方案自7自适应衰减能够在大范围的环境通量水平上进行深度重建。7在这个概念验证中，我们在不同的时间点获得了多次扫描，并在后处理中将最终的深度图拼接在一起。8. 局限性和未来展望实现跨深度的均匀深度精度：本文推导出的最佳衰减导致较高且相对较少偏斜的BRC（如图所示）。4），导致在整个深度范围内的高深度精度。然而，由于最佳曲线具有某种程度的堆积并且是单调递减的，所以对应于较大深度的较晚的箱仍然引起较大的误差。可能的是，设计一种时变衰减方案，其给出均匀的深度估计性能。处理非脉冲波形：我们的分析假设理想的三角形波形，以及低源功率，这允许忽略由于源本身的堆积的影响。对于源功率与环境通量相当的应用，下一步是优化非三角形波形[13]并相应地导出最佳通量多光子SPAD激光雷达：随着探测器技术的最新改进，可以实现具有较低死区时间（数十ns）的SPAD，这使得每个激光周期能够捕获一个以上的光子。这包括可以在自由运行模式下操作的多站TC-SPC电子设备和SPAD，最近已经提出了成像模型和估计器[30，14]。一个令人感兴趣的未来方向是导出用于这种基于多光子SPAD的LiDAR的最佳通量准则。6779引用[1] 作者：Joseph R.威廉·巴特尔斯“红色”怀特塔克，基里亚科斯N。Kutulakos和Srinivasa G.纳拉希姆汉对极飞行时间成像。ACM事务处理图表，36（4）：37：1-37：8，2017年7月。2[2] 沃尔夫冈·贝克尔。高级时间相关单光子计数应用，第111卷。施普林格，2015年。二、四、六[3] Maik Beer，Olaf M. Schrey，Jan F.放大图片创作者：John W.霍斯提卡和雷纳·科科津斯基基于spad的闪光激光雷达传感器，具有高环境光抑制能力，适用于汽车应用 。 在 Quantum Sensing and Nano Electronics andPhotonics XV，第10540卷，第10540-10548页2[4] 毛罗·布塔法瓦，吉安卢卡·博索，亚历山德罗·鲁杰里，阿尔贝托·达拉·莫拉和阿尔贝托·托西。时间选通单光子探测模块，跃迁时间为110 ps，重复频率高达80 MHz。Review of Scientific Instruments ，85 （ 8） ： 083114，2014. 7[5] Mauro Buttafava、Jessica Zeman、Alberto Tosi、KevinEli- ceiri和Andreas Velten。使用时间选通单光子雪崩二极管的非视线成像。Opt. Express，23（16）：20997-21011，2015年8月。2[6] 放大图片作者：Richard Walker，Robert K.亨德森和克里斯蒂亚诺·尼克拉斯。SPAD传感器，第11-38页。施普林格柏林海德堡，柏林，海德堡，2013. 1[7] P·B·科茨辐射寿命测量中光子堆积的修正。物理学报E：科学仪器，1（8）：878，1968. 二、三、四、七[8] 作者：Bruno Dion，Andrew D.放大图片作者：Robert J.McIntyre，Claude Trottier，and Paul P.韦伯硅雪崩光电二极管光子计数技术。应用选择，32（21）：3894-3900，1993年7月。2[9] J·德格南。接收机空载时间对白天工作时光子计数激光测距和测高第16届激光测距国际研讨会，波兰波兹南，2008年。2[10] 丹尼尔·G·福什。使用盖革模式探测器的激光雷达的探测和虚警概率应用光学，42（27）：5388-5398，2003.2[11] M. Gupta，Q. Yin和S. K.纳亚尔太阳光下的结构光。2013年IEEE计算机视觉国际会议，第545-552页，2013年12月。2[12] 克里斯M哈里斯和本K塞林格。单光子衰变光谱学。二.堆积问题。Australian Journal of Chemistry，32（10）：2111-2129，1979. 1[13] 放大图片作者：David B.林德尔和高登·韦茨斯坦。利用单光子传感器实现亚皮秒光子效率的3d科学报告，8（1），2018年12月。一、二、四、八[14] Sebastian Isbaner、Narain Karedla、Daja Ruhlandt、Si-monChristophStein 、 AnnaChizhik 、 IngoGre gor 和 J ？rgEnderlein。荧光寿命测量和荧光寿命成像的死时间校正。Optics express，24（9）：9429-9445，2016. 8[15] Peter Kapusta，Michael Wahl，and Rainer Erdmann.先进的光子计数应用、方法、仪器-位置。Springer系列荧光，15，2015。二三四6[16] Ahmed Kirmani，Dheera Venkatraman，Dongeek Shin，An-dreaCola c o，FrancoN. C. 王，我很高兴见到你。Shapiro和Vivek K Goyal。第一光子成像。Science，343（6166）：58-61，2014. 2[17] D.B. Lindell，M. O'Toole和G.韦茨斯坦单光子3D成像与深度传感器融合。ACM事务处理图表（SIGGRAPH），37（4），2018年。二、七[18] Christoph Mertz、Sanjeev J Koppal、Solomon Sia和Srini-vasa Narasimhan。用于室外场景重建和主要材料识别的低功耗结构光传感器。在计算机视觉和模式识别工作室（CVPRW）中，2012年IEEE计算机协会会议，第15-22页。IEEE，2012。2[19] Pushmeet Kohli Nathan Silberman，Derek Hoiem和RobFergus。室内分割和支持RGBD图像的推理。ECCV，2012年。7[20] Nature Publishing Group. 激 光 雷 达 向 前 行 驶 。 NaturePhotonics，12（8）：441，2018年7月。1[21] D.V. O'Connor和D.菲利浦时间相关单光子计数。中国科学院出版社，1984. 2[22] 放大图片作者：Matthew O'Toole，Supreeth Achar，Srinivasa G. Narasimhan和Kiriakos N. 库图拉科斯 用于能量高效照明和成像的同源代码ACM事务处理图表，34（4）：35：1-35：13，July 2015.2[23] M. O'Toole ， F. Heide ， D. B. Lindell ， K. Zang ， S.Diamond和G.韦茨斯坦从单光子传感器重建瞬态图像。2017年IEEE计算机视觉和模式识别会议（CVPR），第2289- 2297页，2017年7月。1[24] 放大图片作者：David B. Lindell和G.韦茨斯坦基于光锥变换的共焦非视线成像。自然，555：338-341，2018年3月。1[25] 安格斯·帕卡拉和马克·弗里特。用于收集场内距离信息的光学系统。美国专利10063849，2018。1[26] Matthias Patting、Paja Reisch、Marcus Sackrow、RhysDowler、Marcelle Koenig和Michael Wahl。在非常高的计数率下校正检测器脉冲堆积的荧光衰减数据分析。光学工程，57（3）：031305，2018。1[27] Adithya K Pediredla，Aswin C Sankaranarayanan，MauroButtafava，Alberto Tosi，and Ashok Veeraraghavan.门控单光子雪崩二极管的基于信号处理的堆积补偿。arXiv预印本arXiv：1806.07437，2018。三、四[28] Matteo Perenzoni，Daniele Perenzoni，and David Stoppa.64 x64像素的数字硅光电倍增管直接TOF传感器，具有100兆光子/秒/像素的背景抑制和成像/高度计模式，精度为0.14%，可达6公里，用于航天器导航和着陆。IEEE Journal of Solid-State Circuits，52：151-160，2017. 2[29] J. Rapp和V. K.戈亚尔许多光子中的几个光子：用于光子 有 效 主 动 成 像 的 非 混 合 信 号 和 噪 声 。 IEEETransactions on Computational Imaging，3（3）：445-459，2017年9月。2[30] Joshua Rapp ， Yanting Ma ， Robin Dawson 和 Vivek KGoyal。用于高通量测距的死区时间补偿arXiv预印本arXiv：1810.11145，2018。86780[31] D.伦克盖革模式雪崩光电二极管，历史，特性和问题。物理研究中的核仪器和方法A部分：加速器，光谱仪，探测器和相关设备，567（1）：48- 56，2006。第四届光电探测新发展国际会议论文集2[32] Daniel Scharstein和Chris B.J.学习立体声的条件随机场。在IEEE计算机视觉和模式识别会议上，2007年，第1-8页，2007年。7[33] D. E.施瓦茨，E。Charbon和K. L.谢帕德用于荧光寿命成像显微术的单光子雪崩二极管阵列IEEE Journal ofSolid-State Circuits，43（11）：2546-2557，Nov 2008.1[34] D. Shin，A
