没有合适的资源?快使用搜索试试~ 我知道了~
可编程三角测量光幕放大图片作者:王健,Joseph Bartels,WilliamWhittaker,Aswin C. Sankaranarayanan和Srinivasa G.Narasimhan卡内基梅隆大学,匹兹堡PA 15213,美国{jianwan2,josephba,saswin}@ andrew.cmu.edu,{red}@ cmu.edu,{srinivas}@ cs.cmu.edu抽象。道路上的车辆或现场的机器人不需要全功能的3D深度传感器来检测潜在的碰撞或监控其盲点。相反,它只需要监视是否有任何物体进入其附近,这比全深度扫描更容易我们介绍了一种新的设备,该设备附近的虚拟外壳上的对象的存在进行监测,我们称之为光幕。光幕为避障和导航提供了一种重量轻、资源高效且可编程的接近感知它们在改善雾中的能见度以及处理光衰减的灵活性方面也具有额外的好处。我们的原型生成光幕的工作原理是快速旋转线传感器和线激光器,在同步。该设备能够产生各种形状的光幕,在阳光下的范围为20- 30米(多云天空下为40米,室内为50米),并动态适应任务的要求 我们分析了光幕的特性和优化其厚度和功率要求的各种方法。 我们使用一系列真实场景展示了光幕的潜力。保留字:计算成像·接近传感器1介绍3D传感器在许多自主系统的部署中发挥着重要作用,包括现场机器人和自动驾驶汽车。然而,有许多任务通常不需要全功能3D扫描仪例如,考虑正在操纵动态地形的机器人;在这里,虽然完整的3D感知对于长期路径规划很重要,但对于诸如障碍物检测和避免之类的时间关键任务来说,它的用处不大。类似地,在自动驾驶中,碰撞避免(必须持续执行的任务)不需要场景的完全3D感知。对于这样的任务,具有大大减少的能量和计算足迹的接近传感器是足够的。我们概括了接近传感的概念,提出了一个光学系统,以检测存在的对象相交的虚拟壳系统周围。通过只检测与虚拟外壳相交的对象,我们可以解决许多与碰撞避免和态势感知有关的任务,而几乎没有计算开销。我们把这个虚拟外壳称为光幕。2Wang等人线阵激光器(a) 工作原理(b) 光学原理图(俯视图)盲点车道监视车道标记旁车道监控(c) 机器人中的光幕(d)汽车Fig. 1.我们介绍了一个可编程的三角测量光幕的概念-一个安全设备,监控对象存在的虚拟外壳周围的设备。(a,b)这通过使从线激光器发射的光平面与由线扫描相机成像这两个平面同步快速旋转,以根据应用的具体要求生成不同形状的光幕(c,d)示出了用于机器人和汽车的示例窗帘。该设备检测虚拟窗帘上的物体,几乎没有计算开销,这使得它对于碰撞检测和避免非常有用我们通过对照明平面进行三角测量来实现光幕通过扇出激光器,利用线传感器的感测平面(参见图1A),1(a))。在没有环境照明的情况下,摄像机仅从这两个平面之间的交叉处感测光-这是物理世界中的一条线然后通过同步地扫掠照明平面和感测平面来创建光幕。这个想法可以解释为推帚式立体声的概括[6]涉及用于确定与3D中的任意直纹表面相交的对象的存在的主动照明三角测量光幕的优点。(1)形状可编程性:光幕的形状是可编程的,可以动态配置以适应当前任务的需求。例如,可以使用光幕来确定相邻车辆是否正在改变车道,行人是否在人行横道中,或者相邻车道中是否有车辆。类似地,机器人可以使用突出其计划的(甚至弯曲的)运动轨迹的帘。图1(c、d)示出了用于机器人和汽车的各种光幕。(2) 功率和曝光的适应性:给定能量预算,在平均激光功率、曝光时间和光幕刷新率方面,我们可以将更高的功率和曝光分配给光幕中距离较远的线条传感器模块照明模块鲍威尔棱镜线传感器检流计透激光准直透镜可编程三角测量光幕3以对抗平方反比光衰减。这是优于传统深度传感器的显著优点,传统深度传感器通常在所有方向上花费相同的高功率来捕获整个体积的3D点云。(3) 在散射介质中的性能:光幕的光学设计与共焦成像[16]有相似之处,因为我们选择性地照射和感测一个小区域。当在散射介质(诸如雾和浑浊的水)中成像时,这具有隐含的优点,即光学上避免了反向散射的光子,从而提供具有增加的对比度的图像。(4) 在环境光下的性能:可编程光幕的一个关键优势加上功率和曝光适应性,这使得在强环境照明下,包括直射阳光,在大距离(20-30米)下,性能在多云天气和室内,性能分别增加到40米和50米(5) 传感器的动态范围:在任何时刻,传感器仅捕获光幕的单条线,其通常具有小的深度变化,并且因此具有小的强度衰减变化因此,所测量的亮度的动态范围通常较低。因此,即使是具有可编程阈值的一位传感器也足以满足预期的任务。(6) 传感器类型:我们的设计可以使用任何线传感器,包括强度传感器(CMOS、CCD、InGaAs [12])、飞行时间(ToF)传感器(相关、SPAD[8])和神经形态传感器(DVS)[15]。三角测量光幕的局限性。(1)到光幕的视线。我们的技术要求激光器和传感器具有到光幕的视线。 当不是这种情况时,线摄像机平面和激光片的交点在物体内部并且不被摄像机看到;因此该技术将无法检测与光幕相交的物体。 这可以通过确定在系统和期望的过程之间是否存在对象来部分地解决,其中“对象”是线的一部分。 (2)干扰:当同时使用时,几个设备可能会意外地相互干扰。这可以通过使用具有不同光振幅频率的飞行时间传感器或添加第二线相机或几个线激光器来缓解,(3)快速运动:高速移动的物体可能能够通过在两次连续扫描之间的区域中穿过光幕来避免检测。然而,目标需要高度机动性来实现这一目标,因为我们的扫描速率很高。2相关工作这是一个非常好的工具和方法。诸如“小型计算机”[ 1]、高灵敏垫和导电橡胶边缘的设备是家庭和工厂中使用的常见防护装置。它们被设计用于停止机器的操作(例如车库门)。这种接近感测设备使用许多物理模态来检测存在,包括电容、电感、磁性、红外线、超声、雷达和LIDAR。4Wang等人深度门控。 时间门控[5,10]使用脉冲激光和具有门控快门的相机的组合,通常在皮秒到纳秒的范围内。通过相对于激光脉冲延迟相机的曝光,该设备实现深度选择。替代方法依赖于时间调制光源和传感器的片上我们的技术可以被解释为原始-对偶编码[20]的专门实例,其中在相机和投影仪处执行同时编码以探测与场景相关联的光传输矩阵,包括实现深度门控。所提出的技术的灵感来自于现有的工作鲁棒的深度扫描,宁在全球和环境光的存在。通过混浊成像的早期工作包括扫描共聚焦显微镜[16]和光片显微镜[25]其以非常浅的焦深照射和成像相同的深度,并阻挡失焦光,即,在图像形成期间散射光最近在散射介质中进行3D测量的工作分别通过分析光子的空间或时间分布,具有基于线条的[18]和基于SPAD的用于处理环境光的有效方法是在有源光源的输出和扫描中进行连续扫描。Guptaetal. [11]根据环境光水平自适应地调节结构光系统中的光聚集水平。Episcan3D [19]和EpiToF [3]同步扫描线激光器和线传感器,使得照明平面和感测平面共面。最后,使用特殊功能传感器进行成像和深度扫描有许多好处;示例包括用于高速和动态范围的结构光点扫描的DVS传感器 [17]以及用于增强人眼安全特性和减少散射的短波红外传感器[26,24]。这种传感器可以很容易地集成到我们的光幕中,以获得额外的鲁棒性和功能。3三角测量光幕的几何学所提出的装置包括一个线扫描相机和一个线扫描激光器,如图所示。1(a,b).鲍威尔透镜将激光束扇成平面光片,线阵相机从单个平面感测光。在一般配置中,两个平面在3D中相交于一条线,并且在没有环境照明和间接照明的情况下,传感器测量由该线上的任何对象散射的光。通过高速旋转相机和激光器,我们可以扫描相交线以形成任何直纹表面[2]。我们将在其上检测物体的存在的规则表面称为光幕。由此产生的设备在其光幕形状方面是可编程的,并且在能够改变激光功率和相机曝光时间以适应应用需求方面是灵活的在本节中,我们将光幕的数学模型呈现为相机和激光旋转轴的函数。然后,我们描述了如何估计相机和激光旋转角度为一个特定的光幕形状,并显示了几个例子。我们考虑的情况下,摄像机和激光器可以分别围绕一个单一的固定平行轴旋转(见图1)。2)的情况。这可以很容易地通过放置可编程三角测量光幕5RBrp(t)激光厚度z帷幕厚度X公司简介z(a) 平行旋转轴激光照相机(b) 坐标系ðcθcB(c) 俯视图θp激光图二、(a)通过使激光平面和传感器平面围绕平行轴r旋转而生成的三角测量光幕的观察和照明几何形状交线也平行于两个旋转轴。(b,c)示出了各种感兴趣的参数的坐标框架和顶视图。请注意,同步改变θc和θp会生成具有不同形状的光幕。(c)相机像素的有限尺寸和激光片的有限厚度导致三角测量时的厚光幕。两个1D振镜,分别位于线传感器和激光器的前面。设摄像机和激光旋转轴为r。我们观察到,在窗帘中的相交线也将是平行的,并且形式为p0 +u r,其中p0是直线上的任何3D点,u∈(−α,α)是沿旋转轴的偏移量(见图2)。2(a,b))。然后,通过扫掠相交线来获得光幕s(t,u)R3,使得s(t,u)=p(t)+ur,其中p(t)∈R3是描述由线传感器上的中心像素扫描的点的3D路径,并且t∈[0,1]是路径的参数化给定光幕s(t,u),我们接下来展示如何分别计算相机和激光器的旋转角度在不失一般性的情况下,我们假设我们的坐标系的原点位于线阵相机和激光器的中心之间的中点处我们进一步假设旋转轴沿着y轴对齐,并且3D路径可以写为p(t)=[x(t),0,z(t)]。为了实现这种光幕,假设激光器以θp(t)的角分布绕其轴旋转,其中角度相对于x轴逆时针测量类似地,线传感器以θc(t)的角轮廓旋转设b为激光器和线阵相机之间的基线我们可以导出θc(t)和θp(t)为ΣΣθc(t)θp(t)ΣΣatan2(z(t),x(t)+b/2)=atan2(z(t),x(t)−b/2).(一)图1(c,d)示出了用于机器人和汽车上的不同类型的光幕;3详细解释每一个对于每个幕布,我们显示渲染的场景R相贯线6Wang等人巷子窗帘相对圆筒形安全帘z轴单位:度单位:m光衰减曝光/功率开端θcθp照相机激光离散道路采样车道标线观测器(a) 应用场景(b)二维截面(c)θc(t)和θp(t)(d)不确定度U(e)光衰减图三.机器人和汽车使用的不同类型的光幕。(a)使用3D渲染可视化的设想应用场景(b)光幕的2D横截面(所有单位为米)以及相机和激光器的放置(前两行中的基线为300mm,第三行为2m,其余行为200mm)。帘幕上的箭头指示扫描方向。(c)摄像机和激光器的旋转角度曲线,以在每次扫描中实现所需的光幕(d)像素宽度为50微米、焦距为6毫米的照相机的光幕厚度(e)光衰减和相应的曝光/功率调整以补偿它。与光幕、光幕的2D横截面以及使用(1)计算的相应旋转角分布θc(t)和θp(t)。前两个光幕-用于安全区域监测的圆柱形光幕和用于监测路径上的障碍物的弯曲光幕-被设想用于机器人上。接下来的四种窗帘被设想用于汽车上:形车道帘用于检测前方的接近车辆以及侵入正在使用的车道的车辆(第3排),侧帘用于覆盖盲点区域(第4排),以及独立的盲点区窗帘规划路径窗帘x轴不不不可编程三角测量光幕7C对新区块行的扫描可指示在卷中出现一个V(行5)。如引言中所述,光幕还在存在散射介质的情况下提供改进的对比度,因此,观察车道标记(第6行)的光幕在雾天特别有用。我们提出的设备还可以配置有线传感器和激光器在非平行轴上旋转,甚至它们中的每一个都享有完全的旋转自由度。这些配置可以生成其他类型的规则序列面,例如,一个多目标序列。我们会将这些建议用于补充材料。对于需要任意形状光幕的应用,我们需要使用点光源和探测器;然而,这是以两个自由度所需的大量采集时间为代价的在扫描。另一方面,具有发散源的2D成像不需要任何扫描,但是具有差的能量效率和灵活性。相比之下,线传感器和线激光器提供了独特的工作点,具有高采集速度,高能效和广泛的光幕形状。4优化三角测量光幕我们现在量化了实际光幕中感兴趣的参数-例如它们的厚度和测量检测的信噪比(SNR)-以及优化它们的方法。特别地,我们感兴趣的是最小化帘的厚度以及优化曝光时间和激光功率,以在帘跨越大范围的深度时提高检测精度光幕厚度由于传感器像素和激光照射的有限尺寸,由我们的设备产生的光幕具有有限的厚度。假设激光平面的厚度为100米,每个像素的角度范围为δc弧度。给定具有长度为b米的基线并且对深度z(t)=z处的点进行成像的设备,光幕的厚度被给出为图1中阴影的平行四边形的面积。2(c),其评估为r2 rp δc ∆LA=c(二)个zlb其中Rc和Rp分别是相交点与照相机和激光器之间的距离。我们在补充材料中提供了推导。最后,考虑到不同的光幕几何形状可以产生相同面积的光幕,用于表征厚度的更直观和有意义的度量是长度Ar2rpδcU==。(三)Lz b在任何给定的系统中,改变激光器厚度ΔL需要改变照明模块的光学器件。类似地,改变δc需要改变像素宽度或相机的焦距。相比之下,改变基线提供了改变帘的厚度(涉及单个平移)的更容易的替代方案。这一点很重要,因为不同的应用8Wang等人fm通常对帘的厚度有不同的需求更大的基线有助于实现非常薄的帘幕,这在存在避免错误警报的关键需求时是重要的。另一方面,厚窗帘可以实现通过具有较小的基线,在要避免误检测的情况下是重要的,特别是那些由帘幕的离散性引起的误检测。在图3(d)中,我们可视化了各种光幕的厚度。我们将相机的像素宽度设置为50 µ m,其中f =6mm给出δc的值50µmF=0。008弧度。 基线b设定为前两排300毫米,第三排2米,最后一排200毫米三排。例如,对于车道标记观察器(最后一行),最远点处的2m的厚度有利于处理不平坦的道路。调整激光功率和曝光。我们的光幕装置的另一个关键优点是,我们可以调整激光的功率或每条相交线的曝光时间,以补偿与深度的平方成反比的光衰减。在传统的投影仪-相机系统中,通常增加投影的亮度以补偿光衰减,使得远处的场景点可以被很好地照亮;然而,这将意味着靠近相机的点容易饱和,从而需要高动态范围相机。相比之下,我们的系统具有额外的自由度,其中可以根据深度调整激光器的功率和/或相机的像素,使得在设备约束和眼睛安全的情况下尽可能地补偿光衰减。此外,因为我们的设备仅检测对象的存在或不存在,所以在反照率到处都相同的理想场景中,激光器可以发送少量的光,以刚好克服相机的剩余或光的相位差,并且仅需要1位相机。图3(e)示出了所有光幕的光衰减和深度自适应曝光时间或激光功率。结合飞行时间传感器。 (3)中的分析表明,2zδcb当rc,rp≈z并且光幕预期变得更厚时,二次地,有深度。增加系统的基线和其他参数只能部分地由于传感器尺寸、激光光斑厚度以及基线的物理约束而减轻这种影响。我们表明,用1D连续波飞行时间(CW-TOF)传感器[14]代替线强度传感器可以简化厚度与深度的二次相关性。CW-TOF传感器测量相位以获得深度。CW-TOF传感器工作通过用幅度调制波(通常是频率为fMHz的周期信号)照射场景,并测量照射和在每个像素处接收的光之间的相位差。相位差Φ和场景点的深度d相关为φ= mod(fmd/c,2 π)。因此,TOF传感器的深度分辨率Δ d=c Δ φ(忽略相位卷绕)是恒定的并且与深度无关此外,深度=可编程三角测量光幕9分辨率随着振幅波的频率而增加。然而,基于T0 F的深度恢复由于存在模(·)操作而具有相位缠绕问题;这在将该时间描述为一个复杂问题时是显而易见的,并且该问题在较高频率处变得更糟。相比之下,传统的基于三角测量的深度估计没有模糊问题,但以二次深度不确定性为代价。我们可以利用传统三角测量和CW-TOF的互补优势来实现在大范围内具有接近恒定厚度的光幕。这如下实现。首先,利用连续波飞行时间传感器测量三角形区域的相位和强度;图中示出了这种情况的示例。8(iii,iv).其次,知道帘幕的深度,我们可以计算适当的相位,以保留和丢弃相位值显著不同的像素。实现这一点的替代方法是在照明和感测时使用适当的代码执行基于相位的深度门控[22]。三角测量的使用自动消除了基于相位的选通的深度模糊性,只要三角测量的厚度小于振幅波的波长的一半。由此,可以在更大的深度范围内创建更薄的光幕。5硬件原型我们的原型装置具有两个模块(参见图1B)。4).在传感器端,我们使用Alkeria NECTA N2 K2 -7线强度传感器,配备6 mmf/ 2 S卡口镜头,其对角线FOV为45◦,图像圆直径为7 mm。线阵相机具有2048 × 2像素,像素大小为7 µm × 7 µm;由于线阵相机的有限分辨率,我们仅使用中心1000×2像素。 该线能够读出95,057线/秒。我们将其与光学带通滤波器配合,630nm中心波长和50nm带宽以抑制环境光。对于ToF原型,我们使用Hamamatsu S11961- 01 CR传感器代替像素尺寸为20µm×50µm的强度传感器。 我们使用低成本的1D振镜来测量摄像机的视角。 2DhelperFLIRcamera(中间所示)用于设备的一次性校准,并通过将光幕投影到其视图中来可视化感兴趣场景中的光幕。在照明侧,我们使用峰值功率为700mW 的Thorlabs L638P700M638nm激光二极管。激光被准直,然后用45◦ Powell透镜拉伸成一条线。与传感器侧一样,我们使用1D振镜来控制激光片。 振镜尺寸为11 mm × 7 mm,具有22. 5◦机械角度,可以给相机和激光45◦ FOV,因为光学角度是机械角度的两倍旋转0需要500 µs。2◦光学角度。微控制器(Teensy 3.2)用于同步相机、激光器和检流计。最后,我们将旋 转 轴 对 齐 为 平 行 , 并 将 基 线 固 定 为 300mm 。 FOV 约 为 45mm×45mm。环境光。相机还测量来自照亮整个场景的环境光的贡献。为了抑制这种情况,我们在10Wang等人激光Thorlabs L638P700M鲍威尔棱镜Thorlabs PL0145Galvo镜Wonsung P/N 0738770883980线传感器Alkeria NECTA N2K2-7用于线传感器的Boowon BW60BLFGalvo镜与C2D辅助相机FLIR GS3-U3-23S6C-C(for仅限校准见图4。标有组件的硬件原型。该原型实现了图1所示的原理图。第1段(b)分段。电流计的每个设置-一个有激光照明,一个没有激光照明,每个曝光时间为100µs。减去这两者会抑制环境图像。扫描速率。我们的原型采用振镜实现,稳定时间约为500µs,这限制了设备的整体帧率。增加两个100µs的曝光,分别用于激光的开启和关闭,使我们能够每秒显示在我们的实验中,我们设计了200条线的窗帘,我们以5的刷新率扫描整个窗帘。6 fps。为了提高刷新率,我们可以使用具有较低稳定时间的更高质量的振镜,如[19]中的2D滚动快门相机或成像侧的数字微镜器件(DMD)[23]的空间多路复用线相机,以及激光侧的MEMS反射镜,以便可以轻松达到30 fps。校准和眼睛安全。光幕的成功和安全部署需要精确校准以及激光人眼安全规范。通过识别与相机的图像的每个设置相关联的真实世界中的平面以及与相机的图像的一对和相机的像素相关联的线来完成校准。 我们使用了一种高效的校准方法,并按照主要改编自先前校准工作的步骤进行校准[7,13]。补充材料详细解释了基于标准的校准和激光人眼安全计算[4]。6结果评估三角测量光幕的可编程性 图图5示出了在室内和室外实现各种光幕形状的结果。当没有接触到光幕时,图像会被显示出来;当有人或其他入侵者接触光幕时,它会立即被检测到。小插图示出了由线传感器捕获的实际图像(在环境减除之后),其被镶嵌以用于可视化。光幕和检测一B AGE DBC FCDEFG可编程三角测量光幕11654321020-202X-2-1012yx6420-202X-20yx654321-202X020-2012yx642-2020202-201xy-1x115-505xyx6420-202X图五.产生具有不同形状的光幕。所示的图像来自2D图像的视图,其中,光图像以蓝色和绿色渲染。窗帘在室内和室外的阳光下都能看到插图是当人/物体与窗帘相交时由线传感器捕获的图像。窗帘有200条线,刷新率为5.6 fps。第二行中的帘幕通过用一组离散线对体积进行采样来检测对象。几何映射到2Dhelpercara的视图以用于可视化。 我们的原型使用可见光谱(红色)激光器,当可见反照率较低(例如:深色衣服)。阳光下的窗帘 图图6(a)示出了在明亮的阳光(100klx)下放置在不同深度处的白板的检测即使在25米范围内,环境光抑制也很好。下642050505432102010y-2-1X64202064206420156510435210520-2-5012Wang等人1612840场景5米15米25米35米(a) 不同深度(b) 通过扫描光幕绘制的深度图图六、在两个不同场景的明亮阳光(100klux)下的性能(a)我们显示了来自白板的不同深度的原始光幕数据,没有后处理。请注意,即使在35米处也可以看到板上的小斑点(b)我们将光幕扫过整个场景以生成深度图。图7.第一次会议。透视体积散射介质。光幕抑制背散射光,并提供具有改善的对比度的图像。多云的天空,范围增加到40米以上在室内,范围约为这些范围假定帘幕具有相同的刷新率(和曝光时间)。在图6(b)中,我们通过在一组密集的深度上扫描一个前平行幕并将所得检测可视化为深度图来验证平面幕的准确性。体积散射下的性能 当在散射介质中成像时,光幕通过抑制来自介质的反向散射光来提供具有更高对比度的图像。这可以在图中观察到图7示出了在来自平面光幕的浓烟下的室外路标的图像以及传统的2D相机。由于场景中的环境源太阳光的体积散射,2D相机提供具有低对比度的图像使用TOF传感器减小帘厚度我们使用我们的设备与线TOF传感器,以形成一个固定深度的前平行光幕。结果示于图8.由于三角测量的不确定性,相机可以看到宽的深度范围,如(a.iii)和(b.iii)所示然而,相位数据,(a.iv)2D相机光幕可编程三角测量光幕3(i) 场景(ii) 光幕10.80.60.40.2(iii) 三角测量(四)阶段w/o0(v)相+厚度(a) 楼梯场景包装三角测量(i) 场景(ii) 厚度光幕(iii) 三角测量(iv)相位包络(b) 实验室场景10.80.60.40.20(v)相位+三角测量见图8。使用线性CW-TOF传感器。对于这两个场景,我们表明,融合(iii)三角形门控与(iv)相位信息导致(v)薄的光幕,没有任何相位包裹模糊。和(b.iv)有助于降低如(a.v)和(b.v)中所示的不确定性注意,在(b.iv)中,存在使用三角测量减轻的相位缠绕调整激光功率和曝光。最后,我们展示了我们的设备的灵活性,通过适应曝光和/或与窗帘中的每条线相关联的激光的功率来对抗光衰减。我们表明这一点,使用深度图扫描锋平行窗帘与各种深度设置。对于每个像素,我们指定平面帘幕的深度值,在该深度值处其强度值最高。我们使用强度图来保存这个最高强度值。在图9(a)中,我们在室内场景中扫描120个深度平面。我们采取了三种策略:每个相交线两个恒定曝光,以及一个是深度自适应的,使得曝光在深度上是线性的。我们显示了每个策略的强度图和深度图注意使用恒定曝光策略时强度图中的饱和度和暗度,深度自适应曝光的性能类似于恒定曝光模式的性能,恒定曝光模式的总曝光时间是恒定曝光模式的两倍。图9(b)示出一个结果在户外场景与窗帘在40深度,但在这里的权力随深度线性调整。如前所述,激光功率的深度自适应预算产生的深度图类似于具有2倍总功率的恒定功率模式的深度图。严格地说,深度自适应预算应该是二次的,尽管我们使用线性近似以便于比较。14Wang等人暴露功率(a) 恒定曝光时间与深度自适应曝光时间12840(b) 恒定功率与深度自适应功率见图9。我们使用(a)曝光和(b)功率的深度自适应预算来通过扫掠前平行幕来构建高质量的深度图在每种情况下,我们都显示了三种策略的结果:(1)低值下的恒定曝光/功率,(2)高值下的恒定曝光/功率,以及(3)曝光/功率的深度自适应分配,使得平均值与(1)中使用的值相我们观察到(3)实现了与(2)相同的深度图质量,但是使用与(1)中相同的时间/功率预算。7讨论像LIDAR这样的3D传感器通常用于当今的道路场景理解。让我们简单地看看它是如何使用的。在有或没有GPS和IMU的帮助下,将捕获的大型点云注册到预先构建或累积的3D地图。 然后,使用复杂的、计算量大的和记忆密集型的深度学习方法来检测、分割、分类动态障碍物[9,27]。这些方法被证明越来越成功,但也许所有这些计算机器都不需要回答以下问题:“是不是有什么东西横在我的车道上了?“,或本文表明,我们的可编程三角光幕可以提供一个替代的解决方案,需要很少或没有计算开销,但具有较高的能源效率和灵活性。我们并不是说全3D传感器没有用,而是说当可以预先指定深度时,光幕是一种有效的添加鉴于其固有的优势,我们相信光幕将在自动驾驶汽车、机器人安全应用和人机协作制造中发挥巨大作用。致谢这项研究得到了ONR资助N 00014 -15-1-2358,ONR DURIP奖N 00014 -16-1-2906和DARPA REVEAL合作协议HR 0011 -16-2-0021的部分支持。A. C. Sankaranarayanan部分得到了NSF CAREER赠款CCF-1652569的支持。J. Bartels获得了NASA奖学金NNX14AM53H的支持。③②①①②①③②③①③②深度深度可编程三角测量光幕5引用1. 光幕维基百科. https://en.wikipedia.org/wiki/Light窗帘2. 直纹面维基百科. https://en.wikipedia.org/wiki/Ruled表面3. Achar , S. , Bartels , J.R. , Whittaker , W.L. , Kutulakos , K.N. ,Narasimhan,S.G.:对极飞行时间成像。ACM Transactions on Graphics(TOG)36(4),37(2017)4. 美国国家标准协会:美国国家安全使用标准电影Z136.1(2014)5. 贝克即时通讯Duncan,S. S. Copley,J.W.:一种低噪声激光选通成像系统,用于长距离图像识别。 In:定义和解释。pp. 133 - 144. 国际光学与光子学会(2004)6. 巴里,A.J.,Tedrake,R.:在杂乱环境中高速导航的推帚式立体声机器人 与 自 动 化 国 际 会 议 ( International Conference on Robotics andAutomation,ICRA)pp. 3046IEEE(2015)7. Bouguet , J.Y. : Matlab 摄 像 机 标 定 工 具 箱 。http://www.vision.caltech.edu/bouguetj/calibT h eD o g(2000)8. Burri,S.,Homulle,H.,Bruschini角Charbon,E.:Linospad:一个时间分辨的256× 1 cmos spad线传感器系统,具有64个基于fpga的tdc通道,运行速度高达每秒8.5千兆事件。在:光学传感和检测IV。第9899卷,第100页98990D。国际光学与光子学会(2016)9. Geiger,A.,Lenz,P.乌尔塔松河:我们准备好自动驾驶了吗KittiVision基准套件。在:计算机视觉与模式识别会议(CVPR)上。pp.3354IEEE(2012)10. Grauer,Y.Sonn,E.:用于汽车安全应用的主动选通成像在:视频监控和交通成像应用2015。第9407卷,第94070F页。国际光学与光子学会(2015)11. Gupta ,M. ,尹Q Nayar,S.K.:阳光下的结构光。In :InternationalConfere nceo nCom puterVisio n(ICCV).pp. 545IEEE(2013)12. 汉 森 议 员 Malchow , D.S. : swir 探 测 器 、 摄 像 机 和 应 用 概 述 。 在 :Thermosense Xxx. 第 6939 卷 , 第 100 页 69390I 。 国 际 光 学 与 光 子 学 会(2008)13. Lanman,D.,Taubin,G.:创建自己的3D扫描仪:3D摄影初学者在:ACM SIGGRAPH 2009课程。第8页。ACM(2009)14. L i , L. : 时 间 -of-flightcamera n i n t r o du c t o n 。 技术分 析 报 告(SLOA190B)(2014)15. Lichtsteiner,P.,Posch,C.,Delbruck,T.:128x128 120 dB 15us延迟异步时间对比视觉传感器。IEEE Journal of Solid State Circuits 43(2),56616. Marvin,M.:显微镜设备(1961年12月19日),美国专利3,013,46717. Matsuda,N.,科塞特湖,澳-地Gupta,M.:运动对比3D扫描。在:集成电路板故障诊断(ICCP)中。pp. 1IEEE(2015)18. Narasimhan,S.G.,Nayar,S.K.,孙湾,英-地Koppal,S.J.:散射介质中的结构光。In:Iter nati nalCo nf ereo nCom uterVisi n(ICCV)。vol. 第1页。420427. IEEE(2005年)19. 你好,M Achar,S., 我的天啊,S. G., K utulakos,K. N. :用于节能照 明 和 成 像 的 全 息 图 编 码 。 ACM Transactions on Graphics ( ToG ) 34(4),35(2015)16Wang等人20. 你 好 , MRaskar , R. ,K utulakos , K.N.: Promal-dualcodingtooprobelightttrans-port. ACMTransacti onsonGrapi cs(ToG)31⑷,3921. Satat,G.,Tancik,M.,Raskar,R.:通过现实的雾走向摄影在:集成电路板故障诊断(ICCP)中。pp. 1IEEE(2018)22. Tadano河Kumar Pediredla,A.,Veeraraghavan,A.:深度选择相机:一种用于摄影深度选择的直接片上可编程技术在:Internati onalCo nferenceo nCom uterVisio n(ICCV)中。pp. 3595IEEE(2015)23. 王杰,Gupta,M.,Sankaranarayanan,A.C.:一种可扩展的视频压缩感知体系结构。在:国际会议上计算摄影(ICCP)。IEEE(2015)24. 王杰,Sankaranarayanan,A.C.,Gupta,M.,Narasimhan,S.G.:使用1d传感器的双结构光3d欧洲计算机视觉会议(ECCV)pp. 383第二章(2016)25. Weber,M.,Mickoleit,M.,Huisken,J.:光片显微术。In:Methods inCell Biology,vol. 123,pp. 193-215 02TheDog(2014)26. Wheaton , S. , Bonakdar , A. 妮 娅 I.H. Tan , C.L. Fathipour , V. ,Mohseni,H.:开放式结构的飞行时间三维swir相机在150兆赫调制频率操作。光学实验室出版物25(16),1929127. Zhou,Y.,(1996年),中国科学院,Tuzel,O.:Voxelnet:基于点云的3D 对象检测的端到端学习。计算机视觉和模式识别会议(CVPR )(2018)
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- GO婚礼设计创业计划:技术驱动的婚庆服务
- 微信行业发展现状及未来发展趋势分析
- 信息技术在教育中的融合与应用策略
- 微信小程序设计规范:友好、清晰的用户体验指南
- 联鼎医疗:三级甲等医院全面容灾备份方案设计
- 构建数据指标体系:电商、社区、金融APP案例分析
- 信息技术:六年级学生制作多媒体配乐古诗教程
- 六年级学生PowerPoint音乐动画实战:制作配乐古诗演示
- 信息技术教学设计:特点与策略
- Word中制作课程表:信息技术教学设计
- Word教学:制作课程表,掌握表格基础知识
- 信息技术教研活动年度总结与成果
- 香格里拉旅游网设计解读:机遇与挑战并存
- 助理电子商务师模拟试题:设计与技术详解
- 计算机网络技术专业教学资源库建设与深圳IT产业结合
- 微信小程序开发:网络与媒体API详解
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功