没有合适的资源?快使用搜索试试~ 我知道了~
1非视线成像Chia-Yin Tsai†,Kiriakos N.Srinivasa G.Narasimhan†,and Aswin C.桑卡拉纳拉亚南卡内基梅隆大学卡内基梅隆大学摘要非视线(NLOS)成像利用全5D光瞬态测量来重建相机视场之外的场景。从数学上讲,这需要解决椭圆层析成像问题,该问题从NLOS场景的空间复用测量中解混形状和椭圆度本文通过研究三次反射光路中首次返回光子的特性,提出了一种新的非视距成像方法。我们表明,第一返回光子的飞行时间仅取决于NLOS场景的几何形状,并且每次观测几乎总是从单个NLOS场景点生成。利用这些性质,我们推导出一个空间雕刻算法的NLOS场景。此外,通过假设局部平面性,我们推导出了一种算法,以本地化的NLOS场景点在3D和估计其表面法线。我们的方法既不需要全瞬态测量,也不需要解决硬椭圆层析成像问题。我们证明了我们的方法的有效性,通过模拟以及从SPAD传感器捕获的真实数据。1. 介绍非视线(NLOS)成像[8,14]是指对成像系统视野之外的场景点的形状、纹理和反射率的估计存在用于估计成像系统的视场内的场景相比之下,NLOS形状估计是一项具有挑战性的任务,需要捕获和分析已经行进超过视线(LOS)的光子这通常通过测量所谓的5D光瞬态传输张量来实现,该张量以超高的时间分辨率(通常以皮秒为单位)捕获光传播-从LOS场景到NLOS场景并返回。1.1. 通过5D光瞬变的假设我们试图恢复的场景由两个部分组成-可以由成像系统照明和成像的LOS场景L和NLOS场景L。图1.非视线成像装置 NLOS成像使用在LOS L中测量的属性来推断NLOS场景N的属性。 在本文中,我们的目标是使用与照明点lk和传感点sj相关联的第一返回光子来推断NLOS场景的形状。场景N,它超出了成像和照明系统的视场(见图1)。1);这里,我们假设L和N只是3D点的集合。考虑由超快速成像系统组成的成像系统。激光器,能够发射持续时间极短的光脉冲,以及超快速照相机;我们将在第2节中讨论实现这种设置的具体方法。给定两个点lk,sj∈ L(见图1)。(1)定义L(t;lk,sj)作为在sj处观察到的光瞬变,而illu,用dirac-delta终止Lk我们称{L(t; lk,sj)|<$lk,sj∈ L}作为5D光瞬态传输张量[13,10],因为它编码了一个沿时间的自由度和两个角度,每个角度用于照明和感测。为了简化解释,假设LOS场景L是凸的(LOS内没有光子的互反射)。当lk/=sj时,L的凸性意味着不存在从激光器到激光器的单反射或双反射光路。实际上,从激光器到摄像机没有光路只涉及LOS场景点。因此,光瞬变L(t;lk,sj)中的非零强度7216LOS场景L传感点sjLk照明点视场NLOS场景N共置激光/摄像机封堵器7217编码与三次和更高反射光路(包括LOS和NLOS场景点)关联的特性。这构成了NLOS成像的基础。我们只关注从激光器到相机的三次反射光路。我们假设所有LOS场景点的位置是已知的,并且为了简单起见,激光器和相机共同位于原点。鉴于此,在t=t0处L(t;lk,sj)中的非零强度指示存在三反射光路,其长度为ct0,其中c为光速,并意味着存在满足以下条件的NLOS场景点pp−lk其中p∈R3.这限制了p位于一个椭圆体上,其焦点位于lk和sj[14,1]。此外,强度L(t0;lk,sj)对(1)中定义的椭圆体上的所有NLOS场景点的形状和反射率进行为了进一步简化,通常假设NLOS场景是朗伯的,使得反射率函数由空间变化的标量双折射图案表示。通过扫过整个5D瞬态,即不同的照明和感测点以及时刻,我们可以产生大量的椭球积分约束的NLOS观测。随后,通过求解复杂的逆问题来恢复该反问题[14]。1.2. 第一次返回的光子在本文中,我们提供了一个公式的NLOS形状恢复,避免了解决一个复杂的反问题。具体来说,我们不解析整个5D光瞬态,而是只关注与第一个返回光子相关的路径长度,定义如下:定义. 当 我们照射lk时,在LOS点sj处的第一返回光子是穿过涉及lk和sj的最短三次反射光路的光子,即,它是我们在照射lk时在sj处看到的第一个光子。第 一 返 回 光 子 的 飞 行 时间( ToF ) 是 使 得 L(t0;lk,sj)非零的最小时刻t 0。其路径长度δ(lk,sj)=ct0,可以被定义为δ(lk,sj)= lk+ sj+ min p− lk+ p− sj。(二)p∈N一个关键的观察是,最短路径通常是唯一的,并由单个NLOS场景点的位置确定。这极大地简化了形状估计问题,因为我们不需要求解复杂的逆问题。1.3. 贡献我们的贡献是由第一个返回光子的ToF引起的约束的形式:• 空间雕刻。第一返回光子的ToF表明最近的NLOS散射体与LOS场景点相距一定距离。基于此观察,我们推导出一个空间雕刻算法,限制的空间范围的NLOS对象。• 第一次返回的光子的形状。 我们推导出一组约束条件,这些约束条件将NLOS场景点的3D位置与第一返回光子的ToF相关联。这实现了用于估计NLOS场景点的3D位置的简单算法。• 第一个返回光子的曲面法线。一旦场景点是本地化的三维,我们表明,表面-如果NLOS是局部平滑的,也可以恢复面部法线。推导基本上是基于费马优势纯粹依赖于第一返回光子的NLOS形状估计的框架有许多优点。首先,第一返回光子的ToF纯粹是NLOS场景的形状的函数,并且在很大程度上对其反射率不变;因此,与先前的工作不同,我们提出的算法可以应用于广泛的反射率。其次,由于我们只对第一次返回光子的ToF感兴趣,因此我们的方法不依赖于辐射测量,这有助于放松传感要求。局限性。根据首次返回的光子进行形状估计有一些明显的局限性。首先,第一返回光子所采取的路径取决于NLOS场景的几何形状,因此,我们的方法对NLOS场景的采样具有有限的控制。其次,第一返回光子的ToF是在全5D光瞬态中编码的测量的子集;访问全瞬态可以实现额外的鲁棒性,特别是在对复杂场景进行成像时。2. 相关工作我们讨论了几种技术,以获得5D瞬态以及在NLOS成像的相关worksdd。获取5D光瞬变。 5D光瞬态的直接采集需要时间选通激光器来产生光线并发射脉冲,以及可以以非常高的时间分辨率分辨光的图像传感器。通过将传感器和激光器独立地定向到不同的方向,我们可以对5D光瞬态进行采样有许多方法可以实现这种架构。Velten等人[14]使用条纹相机以数十皮秒的时间分辨率成像。条纹相机使用时变电场来向入射光子引入时间相关的空间位移单光子雪崩二极管(SPAD)提供了一种替代的,更便宜的方法来测量瞬态。SPAD具有无限增益,因此,每当光子入射到传感器上时,SPAD就会饱和;该事件的时间戳测量了7218NLOS场景NpbE(lk,s j)E(lk,s j)NLOS场景Npb1pb2pb3LkLOS场景LSJLkLOS场景LSJ(a)(b)第(1)款^ ^您的位置:光子Buttafava等人[1]证明,当照明pp具有脉冲序列的场景,光子到达是光瞬态的良好近似。测量光瞬变的一种廉价方法是用调幅源照射场景并测量振幅波中的相移,由使用光子混合器装置(PMD)的光传播引起[3]。PMD测量可以解释为在照明频率下的瞬态响应的傅立叶系数;因此,通过用不同的频率照射场景,可以通过测量和反转傅立叶系数来获取光瞬态[12]。这种方法提供以纳秒为单位的时间分辨率。另一种方法是利用光的波动特性通过干涉测量法找到路径长度[2,6]。非视线成像。 NLOS成像的常用方法是解析5D光瞬变并导出NLOS对象的椭圆约束[14,1]。Heide等人[4]通过使用生成模型而不是椭圆约束,演示了直接从PMD另一种常见的方法是引入表面先验来简化形状估计问题。Kadambi等人[7]使用信号稀疏性来恢复不同的场景点。Pediredla等人[11]通过比较SPAD读出与渲染结果来估计平面场景。Klein等人[9]仅使用图像强度执行NLOS姿态估计。在这种情况下,未知数的数量较小,并且图像强度足以估计隐藏对象。3. 首次返回光子的几何问题设置。 我们假设成像系统由超快激光器和相机组成。我们通过漫射LOS场景对NLOS对象进行成像。给定两个LOS场景图2.观察结果1的证明。A.存在一个可见点这会产生更短的光路,这会导致违反第一个返回光子的定义。(b)需要排除的特殊情况椭球约束。给定d(lk,sj),如在(3)中,我们可以推断出存在位于椭圆体E(lk,sj)上的至少一个NLOS场景点,该椭圆体E(lk,sj)被给定为:E(l k,sj)={p |p− l k由于第一返回光子穿过与lk和sj相关联的最短路径,因此这对NLOS对象的占用产生空间约束,这可以在以下观察中解释。观察1.在椭圆体E(lk,sj)的内部不存在NLOS场景点。Pr oof. 假设在椭球体E(lk,sj)中存在NLOS场景点pj。如果p^对lk和sj 都 可 见,则从lk到p^到sj的三次反射光路将产生较短的光路,这与第一返回光子的定义相矛盾。假设p^对lk不 可 见。 然后,存在一个遮挡物p^1,它将p^与lk 隔 开;遮挡物p^1位于连接p^d和lk的直线上,lk可以看到它(见图11)。第2(a)段)。如果p^1对sj 不 可 见,那么我们重复这个过程来找到一个对s j可见的点p^2,依此类推。我们将由封堵器引起的路径长度p^i定义为d=p−l+p -是的(四)点lk,sj∈ L,我们假设当我们用脉冲照射lk时,该装置可以测量与在sj处的第一返回光子相关联的路径长度因为第一个返回的光子穿过了三次反射光路涉及lk和sj,其路径长度δ(lk,sj)是gi ven在(2)中。给我们一个已知的LOS现场,我们可以从δ(l,s)中减去激光器和摄像机的距离i i ij我们观察到d1>d2>d3>·· ·,也就是说,路径长度在每个时刻减小。假设{di}从下有界为,并且是递减的,它将通过单调收敛定理收敛设di=limi→∞di为收敛值。当d>KJ分别到照明点 Lk和感测点 Sj这为我们提供了通过NLOS场景从lk到sj的最短路径的长度d(lk,sj)=min p− lk+ p− sj。(三)p∈N我们的目标是确定属于NLOS场景的点给定最短路径长度的集合{d(lk,sj)|lk,sj∈ L}.在下文中,我们将推导出在给定第一返回光子的路径长度的情况下,当照射 lk并在 sj处感测时对NLOS场景的约束。如果l k − s j ≠ lk−sj,很容易看出p^i也是整数,并且收敛点必须对lk和sj都可见(如果不是,我们重复上面的过程,路径长度减少)。因此,我们可以找到一个对lk和sj都可见的点,其光路比第一个返回的光子短,这是一个矛盾。如果d=lk−sj,则p^i位于连接lk和sj的直线上,并且可能振荡--这只发生在图2的情形中。 2(b)当lk和sj相互遮挡时。通过假设点是可见的对方-这是完全符合我们设想的操作条件的情况.........7219KK共置激光/摄像机封堵器NLOS场景N共置激光/摄像机封堵器pNLOS场景NE( lk,sj)E( lk,sj)椭球约束视场椭球约束pE(lk,sj)雕刻出的空间视场plks椭球约束支撑超平面JLOS场景L违反观察结果1的支撑超平面照明点LkSJ 感测点χ(lk,sj)LOS场景L图4. 当观察2被违反时,存在NLOS违反了观察结果一如果在p≠ 0处的支撑超平面不与椭球E(lk,sj)相切,则图3. 椭球内无NLOS场景。在每个照明和感测对处的第一返回光子的ToF产生椭圆约束。由于我们测量lk和sj之间的最短路径,因此不应该有其他具有较短光路的NLOS场景,因此我们在椭球体内部划分出空间定义E(lk,sj)的内部为:x(lk,sj)={p |p− l
下载后可阅读完整内容,剩余1页未读,立即下载
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 基于嵌入式ARMLinux的播放器的设计与实现 word格式.doc
- 经典:大学答辩通过_基于ARM微处理器的嵌入式指纹识别系统设计.pdf
- 嵌入式系统课程设计.doc
- 基于飞思卡尔控制器的智能寻迹车设计ARM基础课程课程设计.doc
- 下载基于ARM7的压电陶瓷换能器导纳圆测量仪的研制PDF格式可编辑.pdf
- 课程设计基于ARM的嵌入式家居监控系统的研究与设计.doc
- 论文基于嵌入式ARM的图像采集处理系统设计.doc
- 嵌入式基于ARM9的中断驱动程序设计—课程设计.doc
- 在Linux系统下基于ARM嵌入式的俄罗斯方块.doc
- STK-MirrorStore Product Release Notes(96130)-44
- STK-MirrorStore Storage Connectivity Guide for StorageTek Disk A
- 龙虾养殖远程监控系统的设计与实现数据采集上位-机软件模块-本科毕业设计.doc
- 龙虾养殖远程监控系统的设计与实现数据采集上位-机软件模块-.doc
- 龙虾养殖远程监控系统的设计与实现数据采集上位-机软件模块-本科生毕业论文.doc
- 麻阳风貌展示网站的设计与实现毕业论文.pdf
- 高速走丝气中电火花线切割精加工编程设计.doc
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)