同轴深度传感器：扩展深度范围与高分辨率的AR/VR应用

引文：徐默涵，洪华。用于AR/VR应用的具有扩展深度范围的同轴深度传感器。虚拟现实智能硬件，2020，2（1）：1-11DOI：10.1016/j.vrih.2019.10.004虚拟现实智能硬件2020年12月第1·文章·用于AR/VR应用的许莫汉，胡宏A*3D可视化和成像系统实验室，光学科学学院，亚利桑那大学， 1630东大学大道，图森，AZ 85721，美国*通讯作者，hhua@optics.arizona.edu投稿时间：2019年6月5日修订日期：2019年9月22日接受日期：2019年10月11日摘要背景深度传感器是虚拟现实和增强现实设备中的重要组成部分，用于实时数字化用户的环境。目前流行的技术包括立体声、结构光和飞行时间（ToF）。立体光和结构光方法需要在用于深度感测的多个传感器之间的基线分离，并且两者都受到有限的测量范围的影响。ToF深度传感器具有最大的深度范围，但深度图分辨率最低。为了克服这些问题，我们提出了一种同轴深度图传感器，它可能比传统的结构光深度相机更紧凑和更具成本效益。同时，它可以在保持高深度图分辨率的同时扩展深度范围。此外，它还提供了高分辨率的2D图像以及3D深度图。方法该深度传感器由投影光路和成像光路构成，通过分束器将两条光路合二为一，实现同轴设计。在投影路径中，插入柱面透镜以在一个方向上增加额外的功率，从而产生立体图案。对于深度测量，将反射图案投影到测试场景上，然后根据反射图案图像在两个正交方向上的对比度变化来计算深度信息。为了扩展深度测量范围，我们在系统光阑处使用电子聚焦可调透镜，并调整功率以实现扩展的深度范围而不影响深度分辨率。结果在深度测量仿真中，将分辨率目标投影到沿光轴移动的白色屏幕上，然后在近、中、远三个深度测量子范围内调节调焦透镜的光焦度。在每个子范围中，随着测试屏幕远离深度传感器移动，水平对比度保持增加，而垂直对比度在反射图像中保持减小。因此，可以通过计算正交方向上的特征之间的对比度来获得深度信息。结论所提出的深度图传感器可以实现深度测量的扩展深度范围与同轴设计。关键词深度图传感器; 3D相机;可控像差1介绍深度传感器已经成为许多现代虚拟现实（VR）和增强现实（AR）设备中的重要子系统，用于实时扫描、数字化和理解用户的环境。的www.vr-ih.com虚拟现实智能硬件2020年12月第1扫描的深度图可以用于3D场景重建，作为VR/AR系统的输入内容，或者它可以用于人机交互的手势识别。这两个突出的用途需要不同的深度感测范围，环境扫描需要更广泛的范围，通常从60厘米到5米。而手势识别需要更近的范围，从大约20厘米到100厘米。这些功能可能会推动VR和AR在游戏、教育和培训中的应用。目前可用于VR和AR设备中深度感测的最流行技术包括立体视觉[1]，结构光[2，3]和飞行时间[4-9]。立体和结构光方法基于三角测量方法，该方法需要由多个传感器捕获的多个视图之间或结构光和相机路径之间的基线分离。如图1a所示，被动立体方法通过两个分离的相机实现深度测量。深度图是通过两幅捕获图像中像素位置的差异产生的。结构光深度传感器（图1b）由一个投影路径和一个基线分离的成像路径构成。在深度测量中，投影仪将设计的图案投影到目标场景上，并且相机捕获变形图案的图像以获得深度信息。飞行时间（ToF）深度传感器（图1c）直接通过发射信号和接收信号之间的时间偏移或相移来测量深度信息。对于时间偏移方法，ToF系统使用激光源发出脉冲，然后检测反射脉冲的飞行时间。为了获得高精度，激光脉冲应该很短，这导致成本较高。因此，在AR/VR设备中，常用的ToF传感器基于调制信号，其测量深度信息的相移并且具有较低的成本。图1基于（a）立体、（b）结构光和（c）飞行时间方法的深度感测技术的示意图。表1示出了上述深度感测技术的比较。立体光和结构光方法可以潜在地实现高达数百万像素的高深度图分辨率，这分别取决于相机分辨率和投影图案。然而，这两种方法都需要显著的基线分离来实现高质量的测量。此外，由于表1VR/AR设备深度图分辨率深度范围深度精度硬件大小计算能力弱光性能强光性能速度2立体声几Mpix短mm to cmSimple cameras大高弱好中等结构光Max. 1 -3 Mpix短mm到cm照明要求高复杂系统大型中等良好弱中等飞行时间MaxVGA长mm到cm简单照明复杂传感器小型低良中快Mohan XU et al：用于AR/VR应用的具有扩展深度范围的同轴深度传感器三角剖分方法，这两种方法都受到遮挡阴影效应的影响。此外，被动立体方法需要大量的计算能力。它在弱光环境下的性能较弱，并且难以匹配均匀的测试场景。对于结构光方法，深度感测范围除了对相机与投影仪之间的基线分离的要求之外还受到照明功率和背景亮度的限制。因此，典型的工作距离可达4 m-5 m。ToF设备可以以低计算能力实现更广泛的深度测量范围，并且传感器可以很小。然而，最重要的限制是深度图分辨率有限。最后，由于遮挡效应，激光脉冲可能遭受干涉问题。为了克服上述现有方法的局限性，我们提出了一种用于AR/VR设备的具有扩展深度范围的同轴深度图传感器。这项工作有三个重要贡献。首先，所提出的深度传感器具有用于投影和成像路径的同轴设计，这可能比传统的结构光3D相机更紧凑。其次，这种深度传感器可以实现比传统结构光方法更大的深度范围，同时保持高分辨率的深度图。最后，该设计可以捕获高分辨率的2D图像以及3D深度图。在第二节中，我们将介绍所提出的深度传感器的方法，包括其深度测量概念和扩展深度测量范围的概念。第3节将重点介绍所提出的深度传感器的光学设计及其性能。在第4节中，我们展示了基于所设计的深度传感器的深度测量仿真。2方法与传统的结构光深度传感器类似，所提出的深度传感器由投影路径和成像路径构成，这两个路径通过分束器组合以实现紧凑尺寸的同轴配置。它实现了基于受控像差方法的深度测量[10]，并且我们通过在系统中使用电子可调焦透镜来扩展深度测量范围来进一步扩展该方法。在下面的小节中，我们将首先介绍深度测量概念的细节，然后说明扩展深度测量范围的原理。2.1深度测量概念所提出的深度传感器基于受控像差方法[10]从反射的投影图案测量场景的深度。图2示出了我们提出的同轴深度传感器的示意性布局，其主要由投影路径和成像路径共享的结构化照明单元、像差编码单元和成像光学单元组成。在结构化照明单元中，准直近红外（NIR）光源由数字偏振器件（DMD）编码以创建期望的光图案。然后通过像差编码单元投射图案以引起受控像差。这里的像差编码单元主要由一个插入到投影光路中的柱面透镜（用黄色标注）组成，它在投影光路的一个方向上增加额外的光焦度，即非常投影光路，其正交方向为普通投影光路，然后像差后的光图案通过投影光学系统投影到测试场景上。最后，由场景捕获的光由共享成像光学器件捕获以在图像传感器上形成反射图案。在该设计中，投影路径和成像路径由分束器组合以形成同轴配置。3+ ΦZ（Φ- Φ Φt）（Φ+ Φ - Φ Φt）O虚拟现实智能硬件2020年12月第1图2用于深度测量的同轴深度图传感器的概念。如上所述，像差编码单元创建两个投影路径：非寻常投影路径和普通投影路径。普通投影路径将光图案的水平方向聚焦在普通焦平面处。非寻常路径将垂直方向聚焦在非寻常焦平面处，该非寻常焦平面沿着光轴从寻常焦平面移位。在这个意义上，深度图传感器沿着光轴创建两个焦深。两个焦深之间的间隔被定义为深度测量范围Δz。该深度范围由柱面透镜光焦度和投影光学器件光焦度确定。对于位于两个焦平面之间的测试场景，随着目标远离深度传感器，反射图案在非常投影方向上的图像对比度保持减小，而在普通投影方向上的对比度保持增大。因此，通过测量这两个正交方向上的反射图像对比度，可以提取场景的深度信息。由于深度范围是由柱面透镜和投影光学系统确定的，因此找出柱面透镜光焦度和深度感测范围Δz之间的关系并然后为给定的投影光学系统选择柱面透镜光焦度是重要的。为了进一步说明深度图分辨率，我们计算了设计图案在不同距离投影到测试场景上的成像尺寸，同时考虑了普通和非常投影路径的散焦条件。图3a至图3c分别示出了普通投影路径、额外投影路径和成像路径的简化的一阶布局，其中光学器件简单地表示为：基本点和基本面具体地，在图3a中，我们使用主平面P0和P0 '来说明或描述具体的投影。zO 和Φ 0分别是物体和图像的距离，和Φ 0是普通投影透镜的光焦度。系统的光阑放置在远心设计的后焦平面上，光阑直径定义为DXP。如上所述，非常像平面和普通像平面之间的距离被定义为深度测量范围Δz。它可以表示为Δz =1 +-Φct-z'COC（一）其中，ze是非常投影路径的物距，Φc是柱面透镜的焦度，t是从柱面透镜的后主平面到普通投影透镜的前主平面的方向距离。可以获得用于所设计的投影图案的传感器上的图像尺寸，其确定深度图分辨率。假设有一个目标平面位于距离普通图像平面zM处。然后，对于DMD上尺寸为h0的像素，定义4eOzepXPpXPMohan XU et al：用于AR/VR应用的具有扩展深度范围的同轴深度传感器图3投影路径和成像路径基于基点和平面（a）是普通投影路径（b）是非常投影路径（c）是成像路径。一小时两分钟。根据几何学原理，板的厚度大小与板的h=h1+ΦozM+DXPzMp（二）1+zoΦ oz'oΦ o-1 2z'o-1/Φ o则相应的图像大小为y'=-zo+z'Mh+1（z'M-Φ oz'o+1D）（3）-z'o-zM2-zo+z'M-Φ oz'o+1-Φ ozM对于非寻常路径，对测试平面上的投影图案尺寸重复相同的计算h*=hze1-Φ eΦ oΔz-Φ eΦ ozM-Φ o（zM-Δz）Φe DXP均p0（四）zeΦ eΦ oz'e-Φ oΦ ct-Φ eΦ oΦ ez'e-Φ oΦ ct+Φ e2那么，非常路径投影图案的对应图像尺寸为y*=-zo+z'Mh*+1（z'M-Φ oz'o+1D）（5）-z'o-zM2-zo+z'M-Φ oz'o+1-Φ ozM为了用数字来说明深度范围和图像大小，我们将计算应用到特定的应用中。系统参数见表2。投影物镜的光焦度为51.58屈光度，目标尺寸为DMD像素间距7.68μm。其余参数与下一节系统光学设计中的系统参数相匹配。表2系统参数Φo（屈光度）51.58h0（μm）7.68Zo（mm）-19.75DXP（mm）6.46zC （毫米）-17.7厚度（mm）0.46图4a绘制了深度测量范围Δz作为不同柱面透镜光焦度Φc的函数。根据该图，对于给定的焦度在50屈光度左右的投影镜头，为了实现600mm的深度测量范围，柱镜焦度应该在5.9屈光度左右。图4b示出了基于表2中的系统参数的普通和非常投影的一个DMD像素的图像尺寸，并且柱面透镜焦度被设置为5.9屈光度。当测试平面与普通投影图像平面重合时，普通投影路径的图像尺寸与测试平面的尺寸相同5虚拟现实智能硬件2020年12月第1图4（a）不同柱面镜焦度Φ c的深度测量范围Δ z;（b）每个柱面镜焦度的图像尺寸DMD像素为非寻常投影路径和普通投影路径时的柱面透镜屈光度 是5.9屈光度然后，当测试平面距离增加时，由于散焦，非常路径和普通路径的图像尺寸都增加。此外，我们选择了适用于可见光（VIS）和NIR范围的图像传感器。在这个意义上，成像路径可以在VIS范围内捕获2D RGB背景图像，同时从NIR通道捕获深度图。测试场景的2D图像可以为进一步的处理提供额外的信息。此外，在配置中，我们选择DMD来生成投影图案，以获得灵活性。我们选择在正交方向上具有条的网格图案作为示例来说明基于受控像散的深度测量概念。然而，可用的图案不限于网格，并且具有正交特征的任何其他图案（例如，分别对应于普通路径和特殊路径的十字图案或棋盘图案）都是适用的。另外，正交方向上的特征应当是可比较的，或者换句话说，具有类似的空间频率，因为图案密度确定深度图分辨率。通过组合来自不同投影图案的深度图结果，深度传感器可以潜在地提高深度图分辨率。2.2用于扩展深度测量如前一节所述，深度测量范围Δz由柱面透镜光焦度和投影光学器件光焦度确定，并且受两个分量的选定组合限制，以便实现高分辨率深度映射。为了在不影响深度分辨率的情况下扩展深度测量范围，在投影光学器件中利用电子可调焦透镜。由于我们的同轴配置的性质，其中相同的投影光学器件由投影路径和成像路径共享，可调焦透镜将使我们能够沿着轴向方向同时移动投影和成像路径的焦深。为了在移动焦深的同时在成像传感器上保持相同的图像尺寸，投影光学器件应被设计为物空间远心的，并且电子聚焦可调透镜被放置在系统光阑处。通过这种设置，当调节电子可调焦功率时，图像大小保持不变。通过改变可调焦透镜的焦度，它可以改变非常和普通投影路径的焦深（图5）。因此，该深度传感器可以通过焦点扫描来扩展深度测量范围。6Mohan XU et al：用于AR/VR应用的具有扩展深度范围的同轴深度传感器基于表2所述的系统，深度测量范围约为600mm。在将电子可调焦透镜应用到系统中并调节功率之后，它将创建多个子范围。所有的子范围合并在一起，以实现所提出的深度传感器的深度测量的扩展范围。尽管深度范围可以连续调谐，表3示出了在三个不同的屈光度，0.5屈光度，0屈光度和-0.35屈光度，以及相应的-探 测 深 度 范 围 分 别 为 近 区 （ 340 mm-550mm）、中区（400 mm-1000 mm）和远区（700mm-2000 mm）。图5通过电子调焦透镜扩展深度测量范围的示意图。表3可调透镜深度范围TLCVR（1/mm）TL屈光度（屈光度）原始焦距（mm）非常焦距（mm）XP位置（mm）注：TL：可调镜头。0.001709附近0.55503401.4e+5中间0010004001e+10远-0. 0012-0.352000700-1.7e+5同时，可调焦透镜的波前质量也会影响光栅图案图像。因此，为了实现更好的深度测量精度，我们需要考虑液体焦点可调透镜的残余像差，其中球形膜表面随着所施加的电功率而改变其形状。在光学系统的设计中，通过对系统的优化，结合可调透镜，可以补偿大部分的球差等残余像差。然而，除了残余球面像差之外，一些像差，例如彗差，不仅随所施加的电压而变化，而且随重力或透镜的取向而变化。重力彗差引起的彗差会缩短深度测量范围。处理重力效应的一种方法是尽可能将镜头安装在垂直于重力方向的方向上。另外，重力引起的彗差是一种系统像差，可以通过仔细的标定来处理。以Optotune电子聚焦可调透镜EL-16-40-TC-VIS-5D为例。在16mm通光孔径的80%以上，其均方根波前误差小于0.25波。与附加像散引起的波前误差（可能大于1.2波）相比，不考虑重力影响的剩余波前误差在优化过程中可以得到很好的补偿，可以忽略不计。3光学系统设计在本节中，我们说明了所提出的深度传感器的光学设计。在设计实例中，投影透镜光焦度Φ0为51.58屈光度（表2），柱面透镜光焦度设置为5.9屈光度，并且我们用于优化的可调焦透镜光焦度设置为三个范围，0.5屈光度、0、-0.35屈光度 （见表3）。为了便于优化，投影镜头按照从感兴趣场景到DMD的相反顺序建模。如表4所列，柱面透镜屈光度为5.9屈光度，FOV为1.5屈光度。7虚拟现实智能硬件2020年12月第1在30°附近，图像空间F数为3。设计中使用的波长为0.486μm、0.588μm、0.656μm和0.810μm。表4设计光学系统FOV图像空间F/#波长圆柱透镜功率Φc±15。6° 30.810μm（NIR）、0.486μm、0.588μm、0.656μm 5.9屈光度模式发生器DLP4500NIR图像传感器决议912×1140光谱范围像素间距7.6微米空间分辨率工作波长700 nm-2000 nm像素尺寸Imec RGB-NIR400nm-700nm，750nm-850nm1024×5445.5×5.5um焦点可调透镜Optotune EL-16-40-TC-VIS-5D光功率-2至+3屈光度盖板玻璃涂层420nm- 1500nm在此设计中，我们使用NIR DMD芯片[11]（DLP4500NIR）来生成设计的投影图案。该器件是一个0.45 WXGA的近红外DMD器件，阵列分辨率为912×1140，像素间距为7.6 μ m，窗口透过率在700 ~2000 nm范围内为96%。对于图像传感器的选择，为了同时捕获用于深度图的NIR投影图案和用于背景的2D RGB图像，我们选择Imec RGB-NIR多光谱图像传感器[12]，其覆盖RGB颜色通道和810 nm左右的窄NIR通道。为了扩展深度测量范围，在系统光阑处放置了一个Optotune电子可调焦透镜[13]。这种焦点可调透镜可以将形状从平零状态改变为平凹或平凸透镜，从而导致从-2屈光度到3屈光度的焦点调谐范围。基于表4中总结的系统规格，我们设计并优化了一个由11个备用透镜、1个市售可调焦透镜和一个柱面透镜组成的系统。图6显示了非常投影光路的光学布局。柱面透镜粘合在分束器上，为非常投影光路增加额外的功率。图7是成像光路的光学布局。普通投影光路的光学布局与成像光路的反向布局相同，因此省略。基于表3中的可调焦透镜光焦度的三种不同设置，图8绘制了可调焦透镜光焦度的三种不同设置。图6非凡的投影路径布局。图7成像路径布局。8Mohan XU et al：用于AR/VR应用的具有扩展深度范围的同轴深度传感器图8成像路径的多色MTF。多色调制传递函数（MTF）的图像路径性能和结果清楚地表明，该设计满足所选传感器的分辨率要求。4深度测量仿真4.1深度测量模拟系统设置为了证明所提出的深度传感器设计的深度测量能力，实现了深度测量模拟。模拟设置如图9所示。在该深度测量模拟中，分辨率目标被用作期望的投影图案以清楚地示出结构化光投影的像散效应，并且白色屏幕被用作深度感测的测试场景，其中屏幕位置沿着光轴移动。通过表3中列出的可调焦透镜的三个不同功率设置中的每一个，深度传感器创建深度测量的三个子范围，即，近、中和远，其在图3中9.在每个子范围内，通过将测试场景放置在相应的深度处来对五个不同的深度进行采样，并且使用Code V®光学设计软件中可用的图像模拟功能针对每个采样深度来模拟由NIR-VIS传感器捕获的结果图像图案。 总体采样深度范围涵盖340 mm至2000 mm的深度。图9深度测量设置。图10示出了由图像传感器获得的模拟图像图案的阵列。根据相应的深度范围，分别将图案分组为三行，即近、中、远，并且每行中的5个模拟图案对应于每个范围内的5个采样深度。用于模拟的每个分辨率目标由四组三杆组成，分别对应于10、15、20和30周/度的角频率，或者对于杆宽度和间隙分别对应于3、2、1.5和1弧分的等效角分辨率。每组三杆由垂直和水平元素组成，目的是展示由于诱导散光引起的不同对比度变化。总的来说，当比较由每行上的测试场景反映的这些模拟图案的对比度变化时，垂直条逐渐获得增加的锐度和图像对比度，并且垂直条逐渐获得增加的锐度和图像对比度。9虚拟现实智能硬件2020年12月第1图10图像传感器为测试场景上的投影分辨率目标捕获的模拟图像， 从340 mm到2000 mm的不同深度。当测试深度在由可调焦透镜光焦度的设置确定的每个深度范围内从近到远轴向移动时，水平条变得更加模糊并且失去它们的对比度。可以对与由可调谐透镜配置的三个不同深度范围对应的所有三行的模拟图案进行相同的观察。模拟结果显示了足够的图像对比度差异之间的垂直和水平的功能，不同的空间频率，即使是最小的三杆组显示高的图像对比度差异之间的垂直和水平方向在每个25个采样的深度，这是必不可少的深度映射方法。模拟图案还清楚地证明了光学系统的高光学分辨率，如图8中的MTF评估针对三个不同深度范围所预测的。为了量化垂直和水平特征之间的图像对比度差异，我们选择了第20组中的三条元素作为示例，它们是在图10中用红色虚线框标记，并计算切向对比度和矢状对比度之间的比率（i.例如，垂直和水平条）。图11绘制了作为三个采样深度范围中的每一个的场景深度的函数的对比度的结果。对于每个深度范围内的所有采样深度，观察到从0.5到大约1.8变化的大对比度，并且水平特征和垂直特征之间的这种大对比度确保了通过所提出的方法对深度信息法此外，图11中的关系可以用作深度校准参考，其中可以通过测量正交特征的对比度并将其与对应于正交10图11屈光空间中组20的分辨率目标的反射投影图案的两个正交方向之间的对比度。Mohan XU et al：用于AR/VR应用的具有扩展深度范围的同轴深度传感器具有从参考目标提取的参考表。在未来的实验工作中，影响深度测量精度的主要挑战是深度对比度的标定。对于给定的深度，对应的对比度随不同的场而变化。因此，为了以小的增量覆盖整个场，校准过程可以以移位的投影图案操作多次。此外，基于校准结果，调焦透镜的重复性可能会影响测量的准确性。六、结论本文提出了一种基于结构光的同轴深度图传感器的设计方法，该方法通过对投影图样引入可控的像差。此外，该深度传感器具有同轴配置，其可以比传统的立体和结构光深度传感器更紧凑，同时实现比ToF方法更高分辨率的深度映射。最后，通过在投影/成像路径上引入电子可调焦透镜，深度传感器的设计可以实现深度测量范围的显著扩展，这些功能和特性已经通过图像仿真和分析得到了证明。引用1David J，Ramamoorthi R，Rusinkiewicz S.时空立体：三角测量深度的统一框架。2003年IEEE计算机协会计算机视觉和模式识别会议。Madison，WI，USA，IEEE，2003 DOI：10.1109/cvpr.2003.12114912作者：J. J.使用结构光系统进行精确的3D测量。图像与视觉计算，1998，16（2）：99DOI：10.1016/S0262-8856（97）00053-X3结构光三维表面成像教程。光学与光子学进展，2011，3（2）：128-160 DOI：10.1364/aop.3.0001284张文良，张文良，张文良.使用Time-Of-Flight相机进行手势识别。国际智能系统技术与应用杂志，2008，5（3/4）：334DOI：10.1504/ijista.2008.0212965放大图片作者：J.用于游戏应用的3D成像相机。2007年：《消费电子国际会议技术论文摘要》。拉斯维加斯，NV，美国，IEEE，2007，1DOI：10.1109/ICCE.2007.3415376Lange R，Seitz P.固态飞行时间测距相机。IEEE量子电子学杂志，2001，37（3）：390-397 DOI：10.1109/3.9104487[10] Kawahito S，Halin I A，Ushinaga T，Sawada T，Homma M，Maeda Y.场氧化栅结构CMOS飞行时间距离图像传感器。IEEE Sensors Journal，2007，7（12）：1578DOI：10.1109/jsen.2007.9075618Ganapathi V，Plagemann C，Koller D，Thrun S.使用单个飞行时间相机进行实时动作捕捉。2010年IEEE计算机协会计算机视觉和模式识别会议。San Francisco，CA，USA，IEEE，2010，755-762DOI：10.1109/CVPR.2010.55401419Gokturk SB，Yalcin H，Bamji C.飞行时间深度传感器系统描述、问题和解决方案。2004年计算机视觉与模式识别研讨会。华盛顿特区，美国，美国，IEEE，2004，35DOI：10.1109/CVPR.2004.29110张文，张文，等.基于投影像差的深度测量.北京：科学出版社，2000;光学快报，2012，20（6）：6561DOI：10.1364/oe.20.00656111DLP4500NIR。http://www.ti.com/product/DLP4500NIR12Imec RGB-NIR图像传感器。电子邮件www.imec-int.com/en/hyperspectral-imaging13EL-16-40-TC 电子邮件www.optotune.com/products/focus-tunable-lenses/electrical-lens-el-16-40-tc11