没有合适的资源?快使用搜索试试~ 我知道了~
自适应门控用于单光子三维成像
163540自适应门控用于单光子三维成像 Ryan Po, AdithyaPediredla, Ioannis Gkioulekas 卡内基梅隆大学机器人学院0摘要单光子雪崩二极管(SPAD)在深度感知任务中越来越受欢迎。然而,由于堆积效应,SPAD在强环境光存在下仍然存在困难。传统技术利用固定或异步门控来最小化堆积效应,但这些门控方案都是非自适应的,因为它们无法将场景先验和先前的光子检测因素纳入到门控策略中。我们提出了一种基于汤普森抽样的自适应门控方案。自适应门控根据先前的光子观测定期更新门位置,以最小化深度误差。我们的实验结果表明,即使在强阳光条件下在户外操作,我们的门控策略也能显著减少深度重建误差和获取时间。1. 引言单光子雪崩二极管(SPAD)是一种新兴的传感器类型[40],具有单光子灵敏度。结合超快脉冲激光器和皮秒级精确计时电子器件,SPAD在用于三维感知应用的激光雷达系统中越来越受欢迎[15-17,26]。基于SPAD的激光雷达被用于自动驾驶车辆[2,39]和消费设备[1]等领域。然而,当在强环境光下操作时,基于SPAD的激光雷达面临着一个根本性的挑战:环境光引起的背景光子可能会阻塞激光雷达激光的信号光子的检测,这种效应被称为堆积效应[6,12,15,16,31,33]。随着场景深度的增加,这种效应变得更加明显,并可能导致非常不准确的深度估计。缓解堆积效应的一种常用技术是使用门控机制,可以在激光脉冲发射的特定时间间隔内选择性地激活和关闭SPAD。门控可以帮助防止早期到达的背景光子的检测,从而有利于晚期到达的信号光子的检测。先前的研究提出了不同的门控时间选择方案。常见的方案是固定门控,即所有激光脉冲都使用相同的门控时间(图2(a))。如果这个门控时间接近与场景深度对应的飞行时间,那么固定门控可以大大增加信号光子的检测概率,从而提高深度估计精度。不幸的是,并不总是能够事先知道或近似真实深度的飞行时间。最近,Gupta等人[15]提出了一种均匀门控方案,该方案在连续的激光脉冲中均匀分布门控时间,覆盖整个深度范围(图2(b))。这有助于在所有可能的深度上“平均化”堆积效应。不幸的是,均匀门控没有考虑到可以从先前知识或光子检测中获得的真实场景深度信息。0场景的RGB图像0我们的方法0(自适应门控)0自由运行模式0(传统)0RMSE = 0.47cm曝光时间 = 100μs0RMSE = 0.16cm曝光时间 = 100μs0RMSE = 0.37cm曝光时间 = 33μs0我们的方法0(自适应曝光)0SPAD0激光0Galvo0分束器0图1.自适应门控和自适应曝光在阳光下进行深度成像。自适应门控将深度RMSE约减少了3倍,与传统方法相比,获取时间相同。当与自适应曝光结合使用时,我们的方法可以提高帧率3倍,同时仍然实现更低的RMSE。0先前激光脉冲的检测0我们提出了一种新的基于SPAD的激光雷达的门控方案,我们称之为自适应门控。我们的门控方案有两个主要组成部分:第一,基于SPAD的激光雷达记录的检测时间的概率模型。第二,用于顺序实验设计的经典汤普森抽样算法。通过结合这两个组件,我们提出的自适应门控方案能够在激光雷达获取过程中的任何时间点上,最优地利用该时间点可用的深度信息,无论是来自先前的光子检测还是来自某些深度先验。作为我们框架的一个有用副产品,我们引入了一种改进的自适应门控方案,该方案还可以根据需要调整曝光时间,以实现某个目标深度精度。我们构建了一个基于SPAD的激光雷达原型,并在室内和强阳光下进行了实验。我们的实验结果表明,与以前的门控方案相比,我们的自适应门控方案可以将深度估计误差或获取时间(或两者)减少超过50%(图1),并且可以利用空间正则化或RGB图像的先验深度信息。为了确保可重复性并促进后续研究,我们在项目网站[36]上提供了我们的代码和数据。...1635502. 相关工作堆积补偿的后处理。关于堆积补偿的效果,已经有大量的先前工作。其中最著名的是Coates的技术[12]及其推广[15,16, 19, 33, 37,38]。Coates的技术使用概率模型来估计真实的入射场景瞬变,从而可以估计深度。另外,Heide等人[17]使用相同的概率模型直接进行最大似然估计来估计深度。我们在第3节中讨论了这些方法与我们的工作的关系。门控方案。门控是指解耦激光脉冲发射和SPAD采集的过程,通常用于减轻堆积效应的影响。最常见的门控技术称为固定门控,它在激光脉冲发射和SPAD采集开始之间使用固定延迟,抑制早期到达的光子的检测。如果门控延迟大致匹配场景深度,固定门控会显著减少堆积效应;否则,固定门控要么没有显著影响,要么在门控延迟在场景深度之后时会抑制信号光子。Gupta等人[15]引入了一种使用均匀分布的延迟来覆盖SPAD的整个深度范围的门控技术。这种均匀门控技术有助于减轻堆积效应,而不需要对场景深度进行近似估计。最后,Gupta等人[15]表明,通过在自由运行模式下操作SPAD,可以实现脉冲发射和SPAD采集之间的均匀分布延迟。我们在第4节中讨论了固定门控、均匀门控和自由运行模式。自适应LiDAR。基于SPAD的LiDAR通常使用光束转向来逐个像素位置进行光栅扫描。最近的工作引入了几种技术,这些技术不是进行完整的光栅扫描,而是自适应地选择要扫描的空间位置,以加速采集[8, 35,49]。这些技术与我们的技术互补:它们自适应地采样空间扫描位置,而我们的技术自适应地采样时间门控。其他LiDAR技术。除了基于SPAD的LiDAR之外,还有几种商业可用的光探测与测距(LiDAR)技术[39]。自动驾驶车辆中的常见替代方案使用雪崩光电二极管(APD)[25]。与基于SPAD的LiDAR相比,基于APD的LiDAR不会受到堆积效应的影响,但灵敏度降低。其他LiDAR系统使用连续波飞行时间(CWToF)相机[14, 22,46]。基于CWToF的LiDAR在室内3D应用中很常见[4, 42,45]。与基于SPAD和基于APD的LiDAR不同,基于CWToF的LiDAR对全局照明(多路径干涉)敏感。其他SPAD应用。SPAD在生物光子学应用中有用途[10],包括荧光寿命0光子检测0概率0同步采集0(固定门控)0异步采集0(均匀门控)0测量0直方图0我们的方法0(自适应门控)0收敛到最佳门控0均匀的0分布的门控 所有周期的固定门控0信号峰值0被堆积效应掩盖0峰值恢复但信号光子数量较低0峰值恢复和大量信号光子0(a)(b)(c)0均匀的0分布的门控0图2. 以前和提出的基于SPAD的LiDAR的门控方案。 (a)在强环境光下,固定门控会导致严重的堆积效应。 (b)均匀门控引入均匀分布的门控,并“平均掉”堆积效应的影响。 (c)自适应门控引入一种收敛到最佳门控的门控方案,从而导致大量检测到的信号光子。0成像显微镜[5, 9, 23, 24,44],超分辨率显微镜[28],时间分辨拉曼光谱[28]和时域扩散光学层析成像[34, 50]。其他应用包括非直视成像[11, 27,30, 48]和高动态范围成像[18, 19]。03. 基于SPAD的LiDAR的背景我们讨论了使用单光子雪崩二极管(SPAD)进行3D成像所需的背景知识。我们考虑具有可控门控的单像素SPAD-basedLiDAR系统。这样的系统包括:a)一个可以以脉冲到脉冲频率(或重复频率)f ptp发射短时光脉冲的超快脉冲激光器;b)一个可以检测到单个入射光子的单像素SPAD;c)可以在脉冲发射后的某个可控时间激活SPAD的门控电子装置;d)可以将光子检测时间与脉冲发射时间相关联的时间相关电子装置。我们假设门控和时间相关电子装置具有相同的时间分辨率∆。脉冲持续时间通常为几皮秒,∆通常为几百皮秒,f ptp通常为几十兆赫。激光器和SPAD通常是同轴的,并依靠光束偏转(例如通过galvo或MEMS镜子)产生2D深度估计。图1显示了这样一个设置的示意图。在每个扫描点上,LiDAR使用时间相关的单光子计数(TCSPC)来估计深度。这个过程包括P个周期,每个周期都有一系列的步骤:在第p个周期的开始,激光器发射一个脉冲。门控在周期开始后的gatetime g p处激活SPAD。SPAD保持激活状态,直到在周期开始后的检测时间s p处检测到第一个入射光子(来自激光脉冲或环境光)。然后,它进入一个死时间,在这个时间内它不能检测到任何光子。死时间结束后,SPAD保持非活动状态,直到下一个脉冲发射,然后下一个周期开始。我们注意到,在一个周期内可以有多个脉冲发射。Id [τ] ∼ Poisson (λd [τ]) ,(1)with rate equal to,Pr {Sp = sp | Gp = gp, D = d} =Pr {Id [sp mod T] ≥ 1}sp−1�s=gpPr {Id [s mod T] = 0} . (3)pgpd (sp)= 1 − e−λd[sp mod T]sp−1e−λd[s mod T].(5)p¯gd (¯s) ≡ Pr{S1 = s1, . . . , SP = sP |G1 = g1, . . . , GP = gP , D = d}.(6)p¯gd (¯s) =Pp=1pgpd (sp) .(7)p0d (τ) =1 − e−λd[τ]τ−1s=0e−λd[s], τ ∈ 0, . . . , T.(8)ˆλ [τ]T−1τ=0 ≡ argmaxλ[τ]T−1τ=0Pr¯s | ¯g, {λ [τ]}T−1τ=0.(9)163560经过P个周期,LiDAR系统返回检测时间序列¯s ≡ {s1, . . . ,sP},使用门控时间序列¯g ≡ {g1, . . . ,gP}进行测量。我们将脉冲发射之间的时间离散化为T ≡ � 1 /∆ f ptp�个时间间隔,其中第τ个间隔对应于自脉冲发射以来的时间间隔t ∈ [τ ∙ ∆, (τ + 1) ∙ ∆)。然后,门控时间的范围是g p∈ {0, . . . , T − 1},检测时间的范围是s p ∈ {g p, . . . , g p+ T −1}。我们在第3.1节中描述了¯s的概率模型,然后看如何从中估计深度(第3.2节)。03.1. 概率模型0我们的模型紧密遵循Gupta等人的异步图像形成模型[15]。首先考虑入射光子直方图I d [τ],τ ∈ {0, . . . , T −1}:对于每个bin τ,I d[τ]是在自上次脉冲发射以来的时间间隔t ∈ [τ ∙ ∆, (τ + 1) ∙∆)内入射到SPAD上的光子数。下标d表示直方图取决于场景深度,我们很快会解释。我们将每个I d[τ]建模为泊松随机变量,0λ d [τ] = Φ bkg + δ τ,d Φ sig . (2) 函数λ d [τ],τ ∈ {0, . . . , T − 1}是场景瞬变[21,32]。在方程(2)中,环境通量Φ bkg是SPAD上在时间∆内的平均入射背景光子数(即环境光引起的光子数),我们假设它是时间独立的。信号通量Φ sig 是平均入射信号光子数(即激光引起的光子数)。Φ bkg 和Φsig 取决于场景反射率和距离,以及环境光通量(对于Φ bkg )和激光脉冲通量(对于Φsig )。我们将它们的比值称为信号与背景比SBR ≡ Φ sig / Φ bkg 。δ i,j 是Kroneckerdelta,d ≡ � 2z0c ∆,其中z是场景距离,c是光速。我们使用d作为深度的代理。现在考虑LiDAR操作的第p个周期。鉴于SPAD只能在激活后检测到第一个入射光子,时间s p的检测意味着:i)在时间间隔{g p,s p - 1}内没有入射光子;ii)在时间间隔s p中至少有一个入射光子。这种事件发生的概率是:501以往的研究[15-17,37,38]通常研究检测到的光子直方图,而不是检测时间序列。正如我们在补充材料中讨论的那样,这两种表述是一致的。2这假设SPAD在激活后的1/fptp周期内总是能够检测到光子。实际上,SPAD可能不会检测到光子。为了简单起见,我们忽略了这一点,并参考Gupta等人[15]的详细信息。3关于这个模型的假设(例如,无限小的脉冲持续时间)及其影响,我们在补充材料中进行了讨论。4以往的研究[15,16]定义了SBR≡Φsig/TΦbkg。我们省略了T,以使SBR能够反映从背景中分辨信号区间的难度。5我们使用符号约定,S p,G p,D是随机变量,s p,gp,d是这些随机变量的具体值。0为了简化符号,本文中我们使用以下表示:0p g d ( s ) ≡ Pr { S = s | G = g, D = d } . (4)使用方程(1),我们可以将这个概率重新写成:0最后,我们定义了检测序列的似然度:0鉴于检测时间在给定门时间的条件下是条件独立的,我们有0方程(2),(5)和(7)完全确定了使用一系列门时间¯g测量的一系列检测时间¯s的概率,假设场景深度d。堆积。我们考虑将g p = 0固定在所有周期p =1,...,P的情况;也就是说,门始终在周期开始时激活SPAD。然后,方程(5)变为0方程(8)和(2)表明,当环境通量Φbkg很大(例如,户外操作)时,后续时间间隔τ探测到光子的概率很小。这种效应被称为堆积[12,16],会导致随着场景深度的增加,深度估计不准确。正如我们在第4节中讨论的那样,精心选择的门序列¯g可以减轻堆积效应。3.2.深度估计我们现在描述如何使用第3.1节中的概率模型从¯s和¯g中估计场景深度d。Coates的深度估计器。Gupta等人[15,16]采用了一个两步的过程来估计深度。首先,他们根据检测和门序列形成场景瞬变的最大似然(ML)估计:0方程(9)中的似然函数类似于方程(5)和(7)中的似然函数,但有一个重要的区别:方程(5)假设场景瞬变具有方程(2)的形式,而方程(9)中的ML问题不做此假设,并估计任意形状的场景瞬变λ [ τ ] ,τ ∈ {0,... T -1}。Gupta等人[15]推导出了方程(9)的解的闭式表达式,该表达式推广了Coates的场景瞬变估计[12]到任意门序列¯g。ˆdCoates’ (¯s, ¯g) ≡ argmaxτ0,...,T1ˆλ [τ] .(10)p¯g¯s (d) ≡p¯gd (¯s) pprior (d)T−1d′=0 p¯gd′ (¯s) pprior (d′).(11)ˆdMAP (¯s, ¯g) ≡argmaxd∈{0,...,T−1}p¯g¯s (d) .(12)14020MAPd∈{0,...,T−1}d′∼p¯g¯s(d′) L0L0 (x, y) ≡163570其次,他们估计深度为:0这个估计假设真实的场景变换由方程 ( 2 ) 的模型 λ d很好地近似。我们称 ˆ d Coates’ (¯ s, ¯ g ) 为 Coates’深度估计器。MAP深度估计器。如果我们假设场景变换的形式是方程 ( 2 ) 的 λ d ,那么方程 ( 5 ) 和 ( 7 )直接连接检测时间 ¯ s 和深度 d,避免了场景变换。如果我们有一些先验概率 p prior ( d ),d ∈ { 0 , . . . , T − 1 },我们可以使用贝叶斯规则计算深度后验:0我们采用最大后验估计(MAP):0当使用均匀先验时,深度后验 p ¯ g ¯ s ( d )和检测序列似然 p ¯ g d (¯ s ) 相等,MAP深度估计器 ˆ dMAP (¯ s, ¯ g )也是最大似然深度估计器。我们注意到,Heide等人[17]提出了一种类似的MAP估计方法,使用总变差先验来共同约束附近扫描点的深度。值得比较MAP ˆ d MAP (¯ s, ¯ g )和Coates’ ˆ d Coates’ (¯ s, ¯ g )深度估计器。首先,这两个估计器的计算复杂度相似。这并不奇怪,因为方程 ( 11 ) 的深度后验和方程 ( 9 )的Coates’估计使用了方程 ( 5 ) 和 ( 7 )的似然函数,它们是相似的。MAP估计器的一个缺点是它需要知道方程 ( 2 ) 中的 Φ bkg 和 Φ sig。在实践中,我们发现使用总SPAD周期的一小部分(约2%)来估计背景通量 Φ bkg,并使用均匀先验来边缘化信号通量 Φ sig是足够的。其次,当使用均匀先验时,MAP估计器在场景变换模型方程 ( 2 )准确的情况下可以提供比Coates’估计器更准确的估计。为了量化这个优势,我们对不同背景和信号通量的测量结果进行了模拟,假设使用均匀的门控方案[15]:如图3所示,MAP估计器在不同环境和信号通量水平下始终优于Coates’估计器,特别是当环境通量显著高于信号通量时。相比之下,当场景变换明显偏离方程 ( 2 )时,Coates’估计器可能比MAP估计器更准确。这可能是由于多个峰值(例如由于透明或部分遮挡物)或间接照明(例如次表面散射,互反射)引起的。在补充材料中,我们展示了当我们将MAP估计器与第4节的自适应门控方案相结合时,即使在这种模型不匹配的情况下,我们也可以得到正确的深度估计。0真实深度0真实深度0(b) 示例恢复的变换0使用Coates的估计0(a) 深度估计的比较0(c) 示例深度后验0使用贝叶斯估计器0使用后验形成0相同的光子0(b) 观测作为 (b)0图3. MAP估计器和Coates’估计器在深度恢复中的相对性能。(a)贝叶斯估计器在不同环境和信号通量水平下始终优于Coates’估计器。(b)使用Coates’估计器恢复的示例变换,说明高方差估计的箱子可能被误认为是真实深度。(c)使用与(b)相同的光子观测形成的深度后验在真实深度处显示出明显的峰值。0第三,MAP估计器允许通过先验引入关于深度的可用侧面信息(例如,来自相邻像素的扫描或来自RGB图像[47])。在本节结束之前,我们提到MAP估计器是相对于L0损失[7]的贝叶斯估计器:0其中0如果 x = y,则为 0,否则为1。(14)0我们将在下一节中使用这个事实,因为我们使用深度后验分布和MAP估计器来开发自适应门控。4.自适应门控现在我们将注意力转向门序列 ¯ g的选择。正如我们在第3节中提到的,我们的目标是使用门控来减轻堆积效应。我们简要回顾两种先前的门控方案,然后介绍我们的自适应门控。固定门控。固定门控方案在所有P个TCSPC周期中使用相同的门,g p = g fixed , p ∈ { 1, . . . , P } 。只要这个固定门在场景深度之前,g fixed < d,它将阻止由于环境光引起的早到达光子的检测,从而增加信号光子的检测概率。为了使固定门控有效,g fixed应该接近并且理想情况下等于真实深度 d ,因为设置 s gfixed = d 会最大化方程(5)中的检测概率 p g fixed d (d ) 。不幸的是,这需要知道真实深度 d,或者至少可靠地估计出来;这样的估计通常只有在几个周期之后才可用。均匀门控。Gupta等人[15]提出了一种均匀门控方案,它在整个深度范围内均匀分布门。为了简单起见,假设周期数和时间分箱数相等,P = T,那么均匀门控设置 g p = p, p ∈ { 1 , . . . , P }。这最大化了每个分箱在几个周期内的检测概率,并且“平均掉”了堆积效应。与固定门控相比,均匀门控不需要对真实深度 d进行估计。相反,均匀门控无法利用随着更多周期的结束而增加的关于 d 的信息。… … … … R�˜d, g�≡ −E s∼pg˜d(s)�L0�ˆdMAP (s, g) , ˜d��.(15)163580脉冲0-25 脉冲26-50 脉冲51-75 脉冲151-175 脉冲176-2000门分布的经验平均0深度后验分布的经验平均0门分布0(单次运行)0深度后验分布0(单次运行)0图4.使用自适应门控的门位置演化。自适应门控根据之前的光子到达形成的深度后验分布来采样门位置。初始门大致均匀分布,因为在光子观测数量较少时形成的深度后验分布具有较高的方差。随着光子观测数量的增加,深度后验分布开始在真实深度周围形成更尖锐的峰值,导致通过汤普森采样选择的门收敛。0Gupta等人[15]提出使用自由运行模式下的SPAD而不是门控作为均匀门控的替代方案。正如他们解释的那样,使用自由运行模式还可以确保所有分箱在几个周期内具有较高的检测概率,类似于均匀门控;并提供其他优势(例如,最大化SPAD的活动时间,简化硬件)。因此,我们经常与自由运行模式进行比较,而不是与均匀门控进行比较。0自适应门控的期望行为。在正式描述我们的自适应门控方案之前,我们先从高层次上描述一下这种方案的期望行为。直观上,理想的门控方案应该是固定门控和均匀门控之间的混合体。在LiDAR操作的早期阶段(前几个周期),我们对场景深度几乎没有任何信息,所有时间分箱具有近似相等的成为真实深度的概率。因此,混合方案应该模拟均匀门控以探索整个深度范围。在LiDAR操作的后期阶段(最后几个周期),我们通过之前记录的检测时间获得了关于场景深度的丰富信息,只有一个或少数几个时间分箱具有较高的成为真实深度的概率。因此,混合方案应该模拟(近似固定的)门控,以最大化剩余候选时间分箱的检测概率。在LiDAR操作的中间阶段,混合方案应该从均匀门控逐渐过渡到固定门控,这种过渡应该根据之前记录的检测时间中可用的场景深度信息从周期到周期地自适应进行。0Thompsonsampling。为了将上述高级规范转化为正式算法,我们使用两个构建模块。首先,我们使用第 3节的概率模型来量化每个循环中我们对场景深度 d的信息。在第 p 个循环开始时,LiDAR 已经记录了检测时间。0检测时间 ¯ s p − 1 ≡ { s q , q = 1 , . . . , p } 使用门时间¯ g p − 1 ≡ { g q , q = 1 , . . . , p } . 然后,方程 (11)的深度后验 p ¯ g p − 1 ¯ s p − 1 ( d )表示我们从记录的检测时间和任何先验信息 ( p 先验 ( d ) )中获得的有关场景深度的所有信息。其次,我们使用Thompson sampling [ 43 ] 来选择门时间 g p。Thompson sampling是一种经典的在线实验设计算法:在任何给定时间,它使用到目前为止所有实验的可用信息,以最大化某个效用函数 [41 ]。将其转化为基于SPAD的LiDAR的上下文,实验序列是P 个 TCSPC 循环;在第 p个实验中,要决定的参数是门时间 g p。可用的信息是深度后验 p ¯ g p − 1 ¯ s p − 1 ( d );最后,效用函数是最终深度估计的准确性。Thompsonsampling 通过首先从深度后验 p ¯ g p − 1 ¯ s p − 1 ( d )中采样一个深度假设 ˜ d ,然后找到最大化一个奖励函数 R� ˜ d, g � 的门时间 g p 。0最大化奖励函数 R � ˜ d, g � 的门时间。算法 1显示了结果自适应门控方案(蓝线对应我们在第 5节中描述的修改)。奖励函数。我们对奖励函数的选择进行如下解释:在第 p 个循环中,Thompson sampling假设真实深度等于从深度后验中采样的深度假设 ˜ d。等价地,Thompson sampling 假设我们在循环 p结束后测量到的检测时间服从分布 s p � p g p ˜ d ( s )(方程(5))。由于我们的目标是推断深度,我们应该选择一个门时间 g p ,使得如果我们仅从下一个检测 s p估计深度,得到的估计值在期望上接近我们假设为真的深度假设 ˜ d 。形式上,3pP11if L (¯sp, ¯gp) < ϵ then13end14 end15 ˆdMAP (¯sp, ¯gp) ← argmaxd p¯gp¯sp (d);(16)163590算法 1: 自适应门控和自适应曝光。0输入: 最大循环次数 P , 深度先验 p 先验 ( d ) . 输出:深度估计 ˆ d MAP (¯ s p , ¯ g p ) /* 初始化 * /01 p ← 0 ; // 初始化循环计数器02 p ¯ g 0 ¯ s 0 ( d ) ← p 先验 ( d ) ; // 初始化深度后验0/* 采集 * /04 p ← p + 1 ; // 开始下一个循环05 ˜ d � p ¯ g p − 1 ¯ s p − 1 ( d ) ; // 采样深度假设06 g p ← ˜ d ; // 选择门(命题 1 )07 s p ← TCSPC ( g p ) ; // 记录检测时间08 p ¯ g p ¯ s p ( d ) ∝ p g p d ( s p ) p ¯ g p − 1 ¯ s p − 1( d ) ; // 更新深度后验09 ˆ d MAP (¯ s p , ¯ g p ) ← argmax d p ¯ g p ¯ s p ( d )010 L (¯ s p , ¯ g p ) ← 1 − p ¯ g p ¯ s p � ˆ d MAP (¯ s p , ¯g p ) � ; // 计算0终止函数 (方程 (17))012 break ; ; // 终止采集0/* 最终深度估计 * /0在方程 (15) 中,为了从预期的检测时间 s估计深度,我们使用与最终深度估计 ˆ d MAP (¯ s, ¯ g )相同的 MAP 深度估计器(方程 (12))。MAP深度估计器对于 L 0 损失(方程(13))是最优的,因此我们将相同的损失用于奖励函数。选0奖励函数 R � ˜ d, g � ,我们可以进行解析计算。0命题1. 优化问题0˜ g ≡ argmax g ∈{ 0 ,...,T − 1 } R � ˜ d, g �0对于方程(15)的奖励函数等于 ˜ g = ˜d。我们在补充材料中提供了证明。直观上,最小化估计值ˆ d MAP(s,g)与深度假设˜d之间的期望L0损失等价于最大化s mod T = ˜d的概率;也就是说,我们希望最大化光子检测与深度假设发生在相同的时间段的概率。我们通过将门控设置为深度假设来实现这一点,g p = ˜ d。60汤普森采样的直觉。在结束本节之前,我们提供一些关于汤普森采样的直觉,以及为什么它适用于自适应性。06 在实践中,我们将门控时间g p设置为深度假设˜d之前的几个时间段,以考虑有限的激光脉冲宽度和定时抖动。0门控。我们可以将汤普森采样作为一种平衡探索-开发权衡的方法来考虑自适应门控。重新审视本节开头的讨论,固定门控通过仅在一个时间段(或少量时间段)进行门控来最大化开发,相反,均匀门控通过在整个深度范围内均匀进行门控来最大化探索。在最初的几个周期中,自适应门控最大化探索:由于只有少量测量可用,深度后验概率是平坦的,深度假设(因此门控时间)近似均匀地采样,就像均匀门控一样。随着周期数的增加,自适应门控从探索转向开发:额外的测量使深度后验概率集中在少数深度值周围,并且门控时间主要在这些值之间采样。在足够多的周期之后,自适应门控最大化开发:深度后验概率在单个深度处达到峰值,并且门控时间几乎总是设置为该深度,就像固定门控一样。图4使用模拟来可视化从探索到开发的这种转变。这种行为与我们在本节开始时设定的目标相匹配。最后,我们提到汤普森采样在渐近最优性方面具有强大的理论保证[41];这表明我们的自适应门控方案以一种方式平衡了探索-开发权衡,即在渐近情况下(给定足够多的周期),最大化深度准确性。05.自适应曝光从SPAD测量得到的深度估计的准确性取决于三个主要因素:曝光时间(即激光脉冲数,也影响循环数P)、环境通量Φbkg和信号与背景比SBR。对于固定的曝光时间,增加环境通量或降低SBR将导致更高的深度估计不确定性。即使在环境通量和SBR相同的条件下,达到某个不确定性阈值所需的曝光时间也可能有很大差异,这是由于光子到达和检测的随机性。在一般场景中,不同的像素可能具有非常不同的环境通量或SBR(例如,由于投射的阴影、反射率的变化和深度的变化)。因此,使用固定的曝光时间将导致在像素上浪费大量曝光时间,而对于需要更长曝光时间的像素,估计不确定性较高。理想情况下,我们希望根据需要达到某个期望的深度估计不确定性阈值,自适应地延长或缩短每个像素的曝光时间。自适应门控与自适应曝光。第4节的自适应门控方案可以进行修改,以适应循环数P和曝光时间。在算法1中,如果深度后验概率p ¯ g p ¯ sp(d)变得足够集中,我们预计深度估计将具有...120163600(a)自由运行0模式0(自适应门控)0RMSE= 90cm0RMSE= 55cmRMSE= 29cm0RMSE= 10cm0RMSE =87cmRMSE =51cmRMSE =23cm0RMSE =8.2cm0RGB图像0(突出显示扫描区域)0图5.SBR的影响。楼梯场景中的某些区域具有显著的SBR变化。由于反比例平方衰减,远处的楼梯比附近的楼梯具有较低的SBR。我们的自适应门控方案在所有SBR下均实现了比自由运行模式更低的RMSE。低误差。形式上,我们将终止函数定0L (¯ s p , ¯ g p ) ≡ E d � p ¯ gp ¯ sp ( d ) � L 0 � ˆ d MAP(¯ s p , ¯ 0= 1 − p ¯ g p ¯ s p p � ˆ d MAP (¯ s p , ¯ gp ) � . (18)0在方程(17)中,我们使用与最终深度估计ˆ d MAP (¯ s, ¯g )相同的MAP深度估计器,以及对于MAP估计器最优的L 0损失(方程(13))。这些选择类似于我们在定义奖励函数R � ˜ d, g�时的选择(方程(15))。在每个周期p结束时,我们检查终止函数L (¯ s p , ¯ g p)是否小于某个阈值,并在为真时终止采集。在算法1中,我们以蓝色显示了如何修改我们的原始自适应门控算法以包括这个自适应曝光过程。6.实验结果我们在论文中使用来自实验原型的真实数据进行比较,并在补充材料中使用真实数据和模拟数据进行额外比较。在整个论文中,我们使用均方根误差(RMSE)作为性能指标,这在先前的工作中很常见。在补充材料中,我们还报告了损失误差指标;这使得性能改进更加明显,因为我们的技术优化了损失误差(第4节)。我们的代码和数据可在项目网站[36]上获得。原型。我们基于SPAD的LiDAR原型包括一个快门SPAD(Micro-photonDevices)、一个532nm皮秒脉冲激光器(NKT PhotonicsNP100-201-010)、一个TCSPC模块(PicoHarp300)和一个可编程皮秒延迟器(Micro-photonDevices)。我们将SPAD设置为触发模式(自适应门控)或自由运行模式,可编程死时间设置为81ns。我们将激光脉冲频率设置为10MHz,测量离散化为500个bin(100ps分辨率)。栅格扫描分辨率为128×128,每个扫描点的采集时间为100μs,总采集时间为1.6s。我们注意到,如果门选择发生在死时间期间-通过优化的计算硬件很容易实现-我们的过程不会引入额外的采集延迟。室外场景。室外实验(图1和图5)0在正午(美国时间上午11点到下午2点)阳光直射的情况下(没有阴影或云),估计背景强度为每个脉冲每个bin的0.016个光子。图1显示了“叶子”场景的一组3D重建图像,该场景在正午阳光明媚的天气下拍摄,并且阳光直射。图1(a)-(b)显示了使用自由运行模式和固定曝光时间下的自适应门控的深度重建:我们的方法将RMSE降低了约3倍。图1(c)显示了使用自适应门控结合自适应曝光的深度重建。与自由运行模式相比,这种组合既减少了RMSE,又减少了曝光时间(约3倍)。图5显示了在相同阳光条件下拍摄的“楼梯”场景的深度重建。该场景具有显著的SBR变化,我们观察到自适应门控在所有SBR范围内优于自由运行模式。室内场景。图6显示了“马”场景的重建,这是一个室内场景,一个马的半身像放置在一个光亮的展台上。在固定曝光时间下,我们的方法的RMSE比自由运行模式降低了35%。我们注意到,与室外场景相比,RMSE的改善不太明显。由于室内场景具有显着较高的SBR,这表明自适应门控在低SBR下比自由运行模式更具优势。接下来,我们将研究使用外部先验的有效性。在图6(c)-(d)中,我们使用“平坦度”先验:在每个像素处,我们使用以前一个扫描像素处测得的深度为中心的高斯先验。利用这个简单的先验,曝光时间减少了70%,RMSE减少了60%,相比于没有使用深度先验的自适应门控。然而,我们注意到,这个先验对应于大深度不连续的像素不起作用。我们可以在图6(e)中看到这一点,该图可视化了不同像素处的相对曝光时间减少。在图7中,我们使用单目深度估计算法[47]从“办公室”场景的RGB图像中获取深度估计和不确定性值。我们将单目先验结合到自适应门控方法中,发现固定曝光时间的RMSE降低了50%,使用自适应曝光的总采集时间降低了45%。限制和结论。正如Gupta等人[15]所解释的,使用自由运行模式提供了与均匀门控类似的优势,同时最大化了SPAD处于活动状态的时间,从而最大化了光子探测。同样,自适应门控也会导致较短的活动时间。然而,实验结果表明,尽管光子探测减少了,我们的自适应门控方案仍然可以提高深度准确性,适用于所有实际死时间值(见第6节和补充材料中评估活动和死时间效果的其他实验)。硬件考虑。我们的自适应门控方案需要快门SPAD(Micro-photonDevices)、532nm皮秒脉冲激光器(NKT PhotonicsNP100-201-010)、TCSPC模块(PicoHarp300)和可编程皮秒延迟器(Micro-photonDevices)。我们将SPAD设置为触发模式(自适应门控)或自由运行模式,可编程死时间设置为81ns。我们将激光脉冲频率设置为10MHz,测量离散化为500个bin(100ps分辨率)。栅格扫描分辨率为128×128,每个扫描点的采集时间为100μs,总采集时间为1.6s。我们注意到,如果门选择发生在死时间期间-通过优化的计算硬件很容易实现-我们的过程不会引入额外的采集延迟。室外场景。室外实验(图1和图5)0150120163610带固定曝光的RGB图像0(b)自适应门控,固定曝光0深度图0(c) 自适应曝光0不带先验0RMSE = 0.32cm曝光时间 = 400μs00x01.3x0带先验的平均曝光时间0不带先验的平均曝光时间0(e) 相对值0曝光时间0RMSE = 0.21cm曝光时间 = 400μs0RMSE = 1.92cm曝光时间 = 49μs0RMSE = 0.78cm曝光时间 = 14μs0深度(cm)0(d) 自适应曝光0带先验0图6.室内照明下的3D扫描。在 ϕ bkg ≈ 0.01的环境光下进行。场景不会产生像户外场景那样的堆积效应。自适应门控仍然显示出比自由运行模式更好的深度重建效果。0(a) RGB图像 (b) 固定曝光0不带先验0(c) 固定曝光0带先验0RMSE = 61cm0曝光时间 = 100ns0RMSE = 28cm0曝光时间 = 100ns0(d) 自适应曝光0不带先验0(e) 自适应曝光0带先验0RMSE = 41cm0RMSE = 20cm0深度(cm)0图7.自适应门控可以结合外部深度先验。我们使用基于神经网络的单目深度估计技术[47]计算深度先验。结合先验可以改善固定曝光和自适应曝光方案的性能。0使用可控门的SPAD,可以从脉冲到脉冲重新编程。我们使用与Gupta等人[15]为其均匀门控方案使用的相同的门控SPAD硬件来实现这一点。主要的额外硬件要求是能够以 f ptp频率和 ∆分辨率产生门控信号的电子设备。与自由运行模式相比,这两种门控方案都需要更昂贵的硬件,自由运行模式只需要
下载后可阅读完整内容,剩余1页未读,立即下载
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- VMP技术解析:Handle块优化与壳模板初始化
- C++ Primer 第四版更新:现代编程风格与标准库
- 计算机系统基础实验:缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台:证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统:加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习:查询分析与高级操作
- 海底数据中心散热优化:从MATLAB到动态模拟
- 移动应用作业:MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解:从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX:从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程:JUC核心概念解析与应用
- 数据结构实验报告:基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)