没有合适的资源?快使用搜索试试~ 我知道了~
异步单光子3D成像
7909www.SinglePhoton3DImaging.com异步单光子3D成像阿南特·古普塔 * 阿图尔·英格尔 * 莫希特·古普塔{anant,ingle,mohitg}@ cs.wisc.edu威斯康星大学麦迪逊分校摘要单光子雪崩二极管(SPAD)由于其独特的能力,以皮秒的时间分辨率捕获单个光子然而,环境光(例如,太阳光)入射到基于SPAD的3D相机上导致测量波形中的严重非线性失真(堆积),从而导致大的深度误差。我们提出了异步单光子三维成像,一个家庭的采集方案,以减轻堆积在数据采集本身。异步采集通过确定性预定义或随机偏移在时间上不对齐SPAD测量窗口和激光周期我们的关键见解是,堆积失真可以“平均”通过选择一个序列的偏移量,跨越整个深度范围。我们开发了一个广义的图像形成模型,并进行理论分析,探索异步采集方案的空间和设计高性能的计划。我们的模拟和实验表明,与最先进的技术相比,在广泛的成像场景中,包括具有高环境通量的场景,深度精度提高了一个数量级。1. 单光子相机光从根本上说是量子化的;任何照相机都不是连续地记录入射光,而是以称为光子的离散包的形式记录常规相机通常每像素捕获数百至数千个光子以创建图像。如果照相机能够记录单个光子,并精确地测量它们的到达时间,那会怎么样?这种相机不仅具有极高的灵敏度,而且捕获的数据将具有额外的时间维度,这是传统相机无法获得的丰富信息来源。有一类新兴的传感器,称为单光子雪崩二极管(SPAD)[30],其承诺单光子灵敏度(图11)。1(a))和以皮秒精度对光子进行时间标记的能力由于这 些 能 力 , SPAD 正 在 推 动 新 的 功 能 , 如 非 视 线(NLOS)成像[7,22]和生物显微镜*同等贡献† 这 项 研 究 得 到 了 ONR 资 助 N 00014 -16-1-2995 , DARPAREVEAL计划和威斯康星校友研究基金会的支持。图1. 单光子相机和3D成像。(a)单光子相机像素对单个光子敏感,并且可以以皮秒分辨率捕获光子到达时间。(b)极高的灵敏度和分辨率使得单光子相机成为几种应用的有希望的候选者(c)基于飞行时间的(d)单光子3D相机有潜力提供极高的深度分辨率,即使在长距离。在纳米时间尺度上的现象[4]。然而,到目前为止,SPAD被认为是仅适用于光子饥饿(黑暗)场景的专用设备这就提出了以下问题:SPAD能否不仅在弱光下工作,而且在整个成像条件下工作,包括高通量场景[15]?一般来说,是否有可能利用SPAD的激动人心的功能来实现更广泛的主流计算机视觉应用(图1)。1(b))?在本文中,我们将在3D成像的背景下解决上述问题考虑基于飞行时间(ToF)的单光子3D相机。它由一个脉冲激光器7910图2. 单光子3D相机的成像模型。 (a)单光子3D相机记录返回光子的时间戳并构建光子到达时间的直方图。在没有环境光的情况下,该直方图的峰值对应于真实深度。(b)在常规(同步)操作中,环境光导致光子堆积,这使直方图朝向较早的时间仓失真。(c)异步采集通过相对于激光周期在时间上错开SPAD周期来防止堆积,从而将堆积效应均匀地分布在所有直方图箱上。(d)使用同步采集恢复的3D形状示出了由于堆积而导致的大的深度误差(e)所提出的异步方法即使在高环境光下也能恢复准确的3D形状发射光的周期性脉冲朝向场景,和一个SPAD传感器(图2)。(c)第1段。尽管若干常规3D相机也使用ToF原理,但单光子3D相机具有根本上不同的成像模型。SPAD探测每个激光脉冲最多一个返回光子记录几个激光脉冲的到达时间以创建时间直方图光子到达,如图所示。第2段(a)分段。在低入射通量下,直方图近似为入射波形的线性缩放副本,因此可以用于恢复场景深度[27,19]。由于SPAD的高定时分辨率,单光子3D相机能够在长距离(100-1000米)下实现1(d))。阳光下的单光子3D成像:由于特殊的直方图形成过程,单光子3D相机不能在环境光下可靠地操作(例如,在可见光下)。室外条件下的阳光这是因为早期到达的环境光子阻止SPAD测量可能到达直方图的较晚时间仓的信号(激光)光子这使直方图测量值向更早的时间仓失真,如图11所示。第2段(b)分段。这种被称为光子堆积的非线性失真[14,25,17]使得可靠地定位激光脉冲具有挑战性,从而导致较大的深度误差。虽然已经有很多研究在后处理中纠正这些失真[14,9,23,25,28],但由于环境光引起的强烈堆积继续限制了这项令人兴奋的技术的范围。我们提出了异步单光子3D成像,一个家庭的计算成像技术的SPAD为基础的3D相机的目标是防止堆积在收购本身。在常规ToF相机中,激光器和传感器在时间上同步。相比之下,我们使SPAD采集窗口相对于激光脉冲。这在激光周期和SPAD采集窗口之间引入了不同的时间偏移,如图所第2段(c)分段。关键的见解是,循环通过一系列时间偏移(跨不同的激光器循环)使得能够检测在稍后的时间仓中的光子,否则这些光子将被早期到达的环境光子掩蔽。这将堆积效应分布在所有直方图箱中,从而消除了由同步测量引起的结构化失真,如图1B所示。第2段(c)分段。乍一看,可能看起来这样的异步测量可能不提供一致的深度信息。其主要思想在于通过计算使光子定时测量与激光周期重新同步。为此,我们开发了一个广义的图像形成模型,并推导出一个最大似然估计(MLE)的真实深度,占测量和激光周期之间的任意temporal偏移。基于这些思想,我们提出了两种异步捕获方法:均匀和光子驱动,移动SPAD窗口相对于激光确定性或随机。这些技术可以在对现有系统进行最小修改的情况下实现,同时在深度准确性方面实现高达数量级的改进。一个例子如图所示。2(d-e)。影响和未来展望:由于其与主流CMOS传感器生产线的兼容性,SPAD相机的能力继续快速增长[11,32,12,20,18,1,3]。因此,在SPAD技术快速发展的帮助下,所提出的方法可能会刺激单光子传感器作为要求苛刻的计算机视觉和机器人应用中的通用相机的广泛采用,在这些应用中,在光子缺乏和光子泛滥的情况下可靠地执行的能力对于成功至关重要。7911i=12. 相关工作SPAD相机的光子堆积缓解:也许最广泛采用的防止堆积的方法是衰减,即,光学阻挡SPAD上入射的总光子通量,使得只有1-5%的激光脉冲导致光子检测[2,3]。1最近的研究[14,13]表明,这种经验法则极端衰减过于保守,最佳工作通量被认为更高。还提出了用于减轻堆积的各种计算[25,14]和硬件[1,3,35这些方法是对δ函数δ(t),在第i个时间仓中入射在SPAD上的光子的数量遵循泊松分布,其平均值由下式给出:ri= Φsigδi,τ+Φbkg,(1)其中δi,j是克罗内克ker delta,2τ=2z/cτ是离散化的c是光速。Φsig是每个仓接收的信号光子(由于激光脉冲)的平均数,并且Φbkg是每个仓的(不期望的)背景和暗计数光子通量。B是次数提出的异步采集,并可以提供进一步的在单个激光周期中的仓向量(ri)B表示所述当组合使用时,性能得到改善。时间移位门控采集:快速选通探测器[6]之前已用于距离选通激光雷达、共焦显微镜和非视线(NLOS)成像[7],以预选特定深度范围并抑制不期望的早期到达光子。FLIM中使用了一系列移位SPAD门,以提高时间分辨率和动态范围[34,31,32],并扩展脉冲LiDAR的明确深度范围[29]。相比之下,我们使用移位来减轻堆积,并提出了一种理论上最优的方法,用于选择SPAD测量门的移位和持续时间的序列,而不需要场景深度的任何先验知识。光子驱动采集:已经针对FLIM [16,9,1]分析了光子驱动(或自由运行)操作模式,并且最近针对LiDAR[28]分析了光子驱动(或自由运行)操作模式,其中提出了基于马尔可夫链模型的迭代优化算法以从失真的直方图恢复入射波形。这些方法的重点是设计有效的波形估计算法。我们的目标不同。我们探索异步采集方案的空间,目的是设计采集策略,减轻深度误差,由于堆积在高环境光下的实际约束,如固定的时间预算。我们还提出了一个广义的封闭形式的最大似然估计(MLE)异步采集,可以计算没有任何迭代优化程序。3. 单光子3D成像模型基于SPAD的3D相机由脉冲激光器和共置SPAD传感器组成,脉冲激光器向场景点发射短周期性光脉冲,共置SPAD传感器捕获反射的光子(图1)。(c)第1段。虽然入射光子通量是时间的连续变化函数,但是SPAD具有有限的时间分辨率,导致连续波形的离散采样令f表示每个离散时间仓的大小(通常在几十皮秒的量级假设一个理想的激光脉冲模型为狄拉克-1请注意,衰减会阻挡环境光子和源光子。衰减可以通过各种方法实现,例如光谱滤波、中性密度滤波或使用孔径光阑。入射光子通量波形。需要该波形的可靠估计来估计场景深度。同步采集:为了估计入射波形,基于SPAD的3D相机采用时间相关单光子计数(TC-SPC)的原理[21、17、2、26、24、25]。在传统的同步采集中,SPAD在激光脉冲发射后立即开始采集光子,如图所示。第2段(a)分段。在每个激光周期(激光重复周期)中,在检测到第一个入射光子后,SPAD进入死时间(〜100ns),在此期间它不能检测到额外的光子。SPAD可能保持不活动的时间比死亡时间更长时间,以便下一个SPAD采集窗口与下一个激光周期对齐。3相对于最近一个周期的开始,记录第一个入射光子直方图(N1,. . .,NB),其中Ni表示第一光子到达第i个仓的次数。在低环境光下,平均而言,直方图只是入射波形的缩放版本[13],从中可以通过定位其峰值来估计深度。同步采集中环境光的影响:在环境光下,入射通量波形可以被建模为具有恒定d.c.的脉冲。偏移,如图顶部所示。第2段(b)分段。在高环境通量中,SPAD以高概率在较早的直方图箱中检测到环境光子。这使测量的直方图向更早的直方图箱倾斜,如图11的底部所示。第2段(b)分段。由于激光源的峰值仅表现为所测量的直方图的指数衰减尾部中的小光点。这种失真称为光子堆积[8,2,25],显著降低了深度估计的准确性。在接下来的两个部分中,我们将介绍同步TCSPC采集方案的一般化,并展示如何使用它来减轻堆积失真并可靠地估计深度,即使在存在高环境光的情况下。2δi,j=1,i=j,否则为0。3激光重复周期设置为2z max/c,其中z max为明确的深度范围。假设光子通量为激光重复率的1-5% [33],因此在连续时间内探测到光子的概率为10%。有效的激光周期是可忽略的。在高环境光下,一个周期的死区时间可能会延伸到下一个周期,导致某些周期被跳过。7912我�i=1�4. 异步成像理论在本节中,我们开发了用于异步单光子3D相机的理论模型。我们推导出了入射光子通量波形的直方图形成模型和广义Coates在异步采集中,我们通过允许SPAD采集窗口具有相对于激光脉冲的任意开始时间,将SPAD开/关时间与激光周期解耦(图12)。第2段(c)分段)。一个SPAD周期被定义为持续时间-入射到第i个仓中的SPAD上的入射角为:q=1−e−ri,(2)其中,ri由Eq.(一). 当在当前周期中在第i个仓之前的时间仓中没有光子入射并且至少一个光子入射在第i个仓中时,发生第i个时间仓中的光子检测在第l个SPAD循环中的第i个仓中的光子探测的概率pl,i取决于移位si,并且由下式给出在SPAD传感器打开时的两个连续时刻之间。由于其死区时间,SPAD将在每个SPAD循环的某个部分期间保持不活动。pl,i=qi(1−qj),(3)j:j
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- VMP技术解析:Handle块优化与壳模板初始化
- C++ Primer 第四版更新:现代编程风格与标准库
- 计算机系统基础实验:缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台:证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统:加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习:查询分析与高级操作
- 海底数据中心散热优化:从MATLAB到动态模拟
- 移动应用作业:MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解:从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX:从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程:JUC核心概念解析与应用
- 数据结构实验报告:基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)