没有合适的资源?快使用搜索试试~ 我知道了~
17886Holocurtains:通过二元全息术编程光幕Dorian Chan,Srinivasa G.卡内基梅隆大学,匹兹堡,宾夕法尼亚州[dychan,srinivas,motoole2]@andrew.cmu.edu摘要光幕系统被设计用于检测用户定义的3D空间区域内的物体的存在,其在视觉和机器人方面具有许多应用。然而,光幕的形状到目前为止仅限于直纹表面,即,由直线组成的表面。在这项工作中,我们提出了Holocurtains:一个光效率的approach产生任意形状的光幕。关键的想法是将滚动快门相机与2D全息投影仪同步,该投影仪引导(而不是阻挡)光线以产生明亮的结构光图案。我们的样机投影机使用二进制数字放大器(DMD),以产生高速全息干涉图案。我们的系统可以产生传统光幕设置无法实现的3D光幕,从而实现全新的应用,包括能够在单个帧中同时捕获多个光幕,检测场景几何形状的细微变化,并将任何3D表面转换为光学触摸界面。1. 介绍光幕是一种光学屏障,用于检测3D空间区域内物体的存在或不存在[2]。例如,在电梯和车库门中使用光幕安全光幕也用于包含危险设备的设备(例如,机器工具、机械臂),以保护人员免受伤害,只要窗帘被打破,就自动关闭危险的机械。这些光幕包括两个关键部件:发射器和接收器。传统的光幕定位发射器以通过直接视线直接照射接收器。如果障碍物阻挡了从发射器到接收器的光,则检测到的光信号的下降触发事件。虽然非常可靠和简单的设备,但光幕必须针对其特定环境进行物理配置,这是一个费力的过程。Wang等人[35]最近提出了一种可编程AP-(a) 一只手臂穿过一个玩具牛形状的光幕(b) 一块泡沫板扫过光幕图1.我们的Holocurtain系统将用户定义的体积或表面(例如,一个玩具牛)变成一个3D光幕。(a)一只手臂穿过光幕。在左图中,蓝色像素表示光幕,绿色像素突出显示与光幕相交的区域。右图表示用于检测交叉点的系统的原始数据。(b)左图显示泡沫板移动通过光幕。右图是在不同时刻捕获的原始测量结果的组合,其中颜色表示不同的帧。通过三角测量产生光幕。用激光线照亮场景,用线扫描相机[35]或卷帘快门相机[5]测量响应。照明和传感平面的相交产生3D线(参见图2(a))。如果一个物体接触到这条线,来自光源的光会从物体上反射并到达相机,从而触发一个事件。快速改变照明和感测平面的位置(例如,用镜式电流计)产生直纹表面,即,由直线的并集定义的表面。三角测量光幕提供了几个好处,包括实时编程形状和在强环境光下操作的能力,这可能会被用于新的安全应用,包括辅助或自主导航。17887通过未知的环境[3,4,26]。尽管有这些优点,但一个关键的限制是这些光幕从根本上被限制为直纹表面。此外,现有系统在激光线和扫描线的位置上仅提供一个自由目前的原型系统仅设计用于生产主要垂直的窗帘[5,35]或水平窗帘[32,34]。在这项工作中,我们通过探索一种新颖的结构照明方法来消除对光幕形状的限制。具体来说,我们取代激光线与投影机能够产生任意的照明,灰模式,通过重新分配光在高速(高达10 kHz)。 我们建议使用2D计算机生成的全息图-制作结构光图案的方法,具有比传统投影仪高得多的光效率的优点当与滚动快门相机同步时,我们的系统能够产生任意形状的光幕,如图2(b)所示。此外,我们展示了将多个光幕复用到单个测量中的能力。我们将这些新功能用于许多新应用,包括光学干扰检测和3D光学触摸传感。我们的工作贡献包括以下方面:• 全息光幕技术,能够产生任意形状的光幕;• 空间多路复用策略,以在单个图像中捕获来自多个帘幕的响应;以及• 一种结构化照明的方法,涉及高速和光效率的2D全息术。2. 相关工作光幕需要结构化照明,这是一个将光图案投射到场景中的过程。结构化照明也用于许多其他视觉任务,包括3D扫描[14],分解场景外观[19]和光传输探测[20因此,有许多选项可以生成如选项卡中概述的灯光图案。1、每一种都有自己的优点和缺点。许多消费者设备利用静态结构化照明图案。例如,iPhone和iPad使用点投影仪来实现其Face ID功能。这些点投影仪由VCSEL(垂直腔表面发射激光器)阵列组成,其中每个VCSEL照亮场景中的另一个例子是激光线水平仪,建筑行业中使用的工具,其在表面上产生水平或垂直的激光线。如前所述,传统的光幕也使用发射器将光束投射到接收器。虽然简单,可靠,紧凑,这些照明解决方案是不亲,可语法化的滚动快门相机(a) 三角测量光幕[5,35]全息投影机(b) Holocurtains[我们的]图2.光幕系统示意图。(a)三角测量光幕将激光线与一维线传感器[35]或卷帘式快门相机[5]结合在一起光幕(绿色)形成在照明平面(红色)和感测平面(蓝色)的相交处,照明平面和(b)我们建议使用全息投影仪,它可以控制光线以高速选择场景的区域兔子的光幕通过使投影图案(兔子的横截面)与卷帘快门传感器同步来形成。为了增加可编程性,可以使用镜式检流计来引导激光束或线穿过场景。例如,该解决方案被商业3D扫描仪[1]和三角测量光幕[5,35]使用。在某些激光投影仪中使用的MEMS反射镜也可以用于以快速激光束光栅扫描场景[15],这是斜率视差门控[32,34]和Epis-can3D [20]采用的解决方案。然而,这些解决方案限于通过连续扫描产生结构化光图案。最常见和灵活的结构光形式涉及传统的LCD或DLP投影机。大量的工作存在于优化这些投影机的结构光图案。例如,这包括提高SNR的多路复用方案[28],或更有效地捕获3D形状的策略[13,27]。不幸的是,现成的投影机可能是非常光效率低。例如,要将细线投影到场景中,必须阻挡来自所有其他投影仪像素的光线。在这些不同的结构之间取得平衡投影图案传感器扫描线投影图案传感器扫描线扫描线17888技术光效率模式速率编程性引用静态图案振镜MEMS反射镜LCD投影仪DLP投影仪二元全息高高高N/A没有一[二]《中国日报》[5,35][20、32、34][22日][20个]我们250 Hz任意扫描模式≥10 kHz利萨如模式低低60 Hz任意图案≥10 kHz≥10 kHz二值模式高任意图案表1.不同结构化照明解决方案的比较。最右边的列参考文献应用相应的技术来生成不同类型的光幕(包括视差门控[20,32,34]和光学z键控[22])。Light solutions,Guptaet al. [14]在结构光3D扫描的背景下探索了光再分布的概念。在给定固定的光预算的情况下,其想法是重新分配可用光以形成结构光图案。该解决方案提供了在强烈阳光下捕捉物体3D形状的能力。在光传输探测[20]的背景下进一步探索了这一想法,以产生针对各种问题(阳光下的3D重建、直接和间接分离以及通过散射介质成像然而,他们的原型系统又一次被限制在某些类型的投影仪模式(即,它们涉及旋转多面镜和光栅扫描激光投影仪)。在这项工作中,我们探讨了光的重分布的背景下的光幕,并开发了一个全息投影仪能够任意重新分配光在高速。作为结构化照明的一种新方法,我们也相信这种解决方案可能对其他视觉问题(例如,结构光3D扫描和光传输探测)。3. 生成任意光幕光幕的目的是检测物体是否接触用户定义的虚拟表面G。这可以用相机和投影仪通过以下三个简单步骤来完成:在传感器上曝光单个相机像素,计算地使相机射线与虚拟表面G相交,以及投影选择性地照亮相交的图案。尽管该过程产生了期望的光幕,但是需要对每个相机像素单独地重复该简单的解决方案,这是一项耗时的工作。相反,可以通过同时曝光整行(或整列)像素以产生平面视锥或感测平面(参见图2)来开始。下一步是计算该平面与虚拟曲面G之间的交点。最后,投影仪然后可以选择性地照亮被投影的区域。1、这一过程将重新--对传感器上的每行像素进行计数为了生产任意形状的光幕,我们希望1该步骤假设感测平面不是投影仪-相机系统的核平面投影仪的三个关键特性:高光效率、速度和可编程性。例如,LCD和DLP投影仪是高度可编程的,能够显示作为输入的任何结构光图案然而,这些投影仪也是非常光效率低的;当给定稀疏图案作为输入时,这些投影仪发出的大部分光被阻挡。使用这种投影仪限制了光幕系统的工作范围和可靠性。因此,现有的光幕解决方案选择使用振镜系统[5,35]或MEMS反射镜[20,32,34]来跨场景扫描激光线。然而,由于这些先前的作品只能投影线图案,G的形状被限制为直纹面。因此,没有现成的结构化照明解决方案可以满足产生任意光幕所需的所有标准。4. 计算二元全息为了解决产生任意光幕所需的标准,我们建议使用计算机生成的二元全息[7,8]来形成结构光图案。全息投影仪使用波动光学原理来形成与目标投影图案相匹配的干涉图案1966年,Brown和Lohmann [7,8]报道了第一个计算机生成的全息图,通过用计算机控制的机械光栅打印二进制图案来创建。从那时起,许多论文已经表明,二元DMD(DLP投影仪中使用的数字DMD器件)可以全息地用于各种应用,包括光镊[30,31]、光束形成[9,18,33]、显微镜[10]、纳米制造[11]、像差校正[25]和3D显示[16]。然而,据我们所知,我们的工作是第一次利用全息作为计算机视觉问题的结构化照明解决方案4.1. 傅里叶变换全息术考虑图3所示的傅里叶变换全息装置。准直光束照射位于傅立叶平面(即,在透镜2的前焦平面处)。SLM调制波前17889±||F{·}1.00.750.5傅立叶平面(DMD)透镜2图像平面物镜0.250.00 25005000750010000 12500 15000 17500(a) 投影仪光学系统照明面积(像素)滚动快门相机DMD光纤激光器物镜透镜2刀口透镜1(b) 光幕设置图3.全息投影机样机概述(a)设置说明。来自530 nm尾纤激光器的光由透镜准直,并以24°角照射DMD(数字DMD通过第二透镜选择性地反射回光,第二透镜在像平面处形成全息图像。由于该图像是共轭对称的,我们定位了一个刀口孔径来阻挡图像的一半,以及明亮的DC分量。物镜将结果图像投射到场景中(b)原型装置的照片,其中包括投影仪光学系统和用于产生光幕的卷帘快门平面(即,在透镜2的后焦平面处在像平面处的波前U(s,t)的该图像形成模型可以表示如下:U(s,t)=F{u(x,y)·a(x,y)}(s,t),(1)其中u(x,y)是SLM上显示的图案,a(x,y)表示与缺陷相关的光学像差SLM,并且是傅里叶变换算子,其对从傅里叶平面到图像平面的波前传播进行建模。注意,波前的强度是由相机测量的信号,由其平方幅度给出(例如,U(s,t)2)。对于SLM,我们使用DMD,一种由具有12μ m倾斜角状态的反射镜阵列,以提供波前的二进制幅度调制。每个镜像都可以打开(1)或关闭(0)。虽然阶段SLM是图4.我们的全息投影仪是光线再分配的。为了验证这一点,我们将不同厚度的线投影到平坦的漫射白色表面上,并使用曝光堆栈测量每条线的平均亮度以形成HDR图像。图案随着照明区域的减小而变亮。我们还绘制了最佳光线再分布曲线的估计值,我们通过取最细线条的亮度之和并通过面积范围将该值归一化来计算。我们的测量结果与最佳的光线再分布曲线非常匹配,其中亮度与照明面积成反比。相位SLM的图案速率通常为60 Hz,这是因为它们具有优良的再现效果。相比之下,DMD提供高达30 kHz的模式速率。用DMD制作的全息图有两个显著的特点。为了简单起见,我们a(x,y)=1)。任何二进制模式的傅里叶变换是共轭对称的,并且具有强DC分量(与像素的数量打开)。因此,我们使用位于像平面的刀口来阻挡全息图的DC和对称副本,并使用物镜将图像的其余部分投影到场景中。物镜缩放图案以匹配相机全息投影仪的一个重要特性是它将光线从暗区重新分配到图像的亮区。这在图1中例示图4示出了具有不同厚度的线的全息图。线的强度与线的粗细成反比请注意,至少87。5%的光仍然被浪费,因为只有一半的DMD像素通常被打开,并且刀口阻挡了一半的图像以及直流光斑;我们在我们的设置中测量到92%虽然这可能不像线投影解决方案那样光效率高,但我们的系统具有能够生成任意图案的额外好处此外,许多促成因素可以通过使用快速纯相位SLM来避免[6]。4.2. 改进的Gerchberg-Saxton算法在2D计算机生成全息术中,目标是计算产生目标图像I(s,t)的图案u(x,y)=|U(s,t)|二、为了实现这一点,我们使用修改后的纤维透镜1激光刀口面积:256像素最优测量面积:4864像素面积:18688像素平均亮度(相对)17890u=F−1{U}·a<$U=I· exp(iU)u=(Re{u}≥0)√≈目标I(v)二元约束傅立叶平面图像平面+π−π(a) 无相位校正(b)有相位校正图6.校准对二值DMD相位畸变的影响。(a)在不考虑相位的情况下生成的正弦曲线图案。(b)作为GS算法的一部分校正相位的正弦曲线。在傅立叶平面上校准相位畸变引起的失真会产生更尖锐的曲线。将所有组件设置为1,并将所有其他值设置为0。GS算法重复这四个步骤直到收敛,这通常只需要几次迭代。4.3. 校准DMD实际上,DMD反射的光受到影响图5.流程图为我们的修改Gerchberg-Saxton(GS)al-出租。给定目标图像I和复值相位畸变图像a,目标是找到可以在DMD上显示以再现目标图像的二进制图案GS开始于(i)最初以随机二进制图案开始,(ii)将波前从傅立叶平面传播到图像平面,(iii)用I替换波前的振幅,(iv)将波前从图像平面传播到傅立叶平面,以及(v)将结果二进制化。GS算法在几次迭代后快速收敛。我们的GS算法的一个重要属性是,它accounts的DMD创建的大相位像差,从而产生更清晰的目标图像重建Gerchberg-Saxton(GS)算法[12],类似于过去在二元全息[17,24,30]中的工作。该算法在对图像平面处的全息图的强度强制约束和对傅立叶平面处的DMD图案强制二元约束之间交替在用随机二进制值初始化DMD图案u(x,y)之后,该算法迭代地执行四个简单的操作以计算全息图,如图5中突出显示的。首先,我们使用Eq。(1)模拟波阵面从傅立叶平面到像平面的传播。这涉及执行与预先计算的相位图案a(x,y)的逐元素乘法并计算结果的傅里叶变换,从而产生共轭对称波前U(s,t)。 第二,我们保持相位将该波前的振幅替换为匹配目标强度图像。第三,我们把道具倒过来-通过使用傅里叶逆变换并执行与相位图案a(x,y)的复共轭的逐元素乘法来计算相位算子。第四,我们将结果二进制化,通过将所有值设置为正实数是由畸变引起的 我们将最严重的像差归因于DMD表面的非平面性忽略这些像差会导致全息图模糊,如图6(a)所示。因此,我们预先计算相位像差图像a(x,y),并使用我们的GS算法来产生更清晰的全息图像,如图2所示。第6(b)段。为了校准这种失真,先前的工作将DMD划分为像素块,并同时打开成对的块以产生干涉图案[30,33]。通过测量这些干涉图案,可以计算两个像素块之间的相对相位。相反,我们选择了一种更简单的方法,不依赖于DMD块的干扰对。第一步是在DMD上显示一个像素块,其中该块内的像素这就形成了一个随机的干涉图案,我们用相机拍摄。接下来,我们将此块滑动到不同的DMD区域,并记录相应的干涉图案。如果相位模式在一个块上线性变化,这将改变观察到的干涉模式。我们通过在每个测量值与参考干涉图案之间执行零归一化互相关来测量偏移,并计算相位图案上的相应梯度。最后,我们求解一个大型线性系统,以根据这些相位梯度计算空间变化的相位值,这相当于求解泊松方程[29]。我们在补充中更详细地描述了这种方法。我们恢复的像差图像的相位如图5所示。 我们的计算表明,我们的DMD变化约为7。3λ3 .第三章。87µm,其中λ=530 nm是我们光源的波长。相位畸变aU=F{ u· a}(i)随机初始化。(ii)向前推进。(iv)向后推进。(iii)振幅约束17891××××5. 硬件设置我们在图3(b)中显示了我们的硬件设置的图像。对于我们的激光源,我们使用相干蓝宝石LPX 530-300激光器,它可以发射10 mW到330 mW的530 nm光。我们使用300 mW进行实验。使用透镜1(75 mm消色差双合透镜(Thorlabs AC 254 -075-A-ML))准直激光。来自Texas Instruments的DLP Lightweiter 6500 EVM控制二进制DMD,其分辨率为1920 1080,工作频率高达9523 Hz;我们使用Pyweiter 6500 li-finger [25]与设备接口。镜头2是105 mmf/2。8个数码单反镜头(尼康AF微型尼克尔)集中在室内。 我用的是9 mm f/1。4镜头(Fujinon HF9HA)为物镜。我们的光学系统是倾斜的,以选择从DMD出现的最明亮的模式,并且图像平面处的刀口阻挡明亮的DC分量和共轭对称副本,如在第2.2节中所述。4.第一章对于卷帘快门相机,我们使用了UI-3240 CP- NIR相机,配备了8 mmf/1。4个镜头,并在2个合并模式下操作,图像分辨率为640 512。我们还安装了一个531 nm的带通滤波器,具有10 nm的FWHM,以拒绝环境光。为了匹配DMD和卷帘快门相机的时间分辨率,我们在相机处以约7575 Hz运行DMD,其中40 MHz像素时钟用于28的最终帧率。64 Hz,每帧256个投影仪图案我们将相机的曝光设置为DMD的模式曝光时间这台相机被放置在距离投影仪投影中心约18厘米的地方我们在补充中描述了校准的更多细节。我们还增加了一个额外的UI-3240 CP-NIR相机,安装了一个537 nm陷波滤波器,具有162 nmFWHM,以帮助可视化。对于这台相机,我们使用了2 bin- ning模式,6 mmf/1。2个镜头。6. 结果正如我们在SEC中所展示的那样。4、我们的设置允许我们生成任意的光幕。为了说明我们系统的新功能,我们展示了四种不同类别的任务,这些任务对于其他可编程光幕设置来说是困难或低效的任意形状的光幕。首先,我们使用我们的系统同时生成图7中的平面和垂直光幕。目前的原型光幕系统[5,35]只能形成平坦或垂直的光幕之一,但不能同时形成两者。我们的全息投影系统没有这样的限制,并支持在对象周围放置边界框。我们在图中生成三维光幕1复杂的形状在图8中,我们使用我们的系统来选择性地对场景中的对象进行成像,从而保护敏感文档的机密性。特别是,这种光幕可以用于机器人安全应用。为图7.我们的系统可以同时形成不同方向的光幕。在此图中,我们同时将垂直和水平光幕放置到场景中。在一次滚动快门曝光过程中,我们的系统能够检测到与这些窗帘相交的物体。图8.与Uedaet al相似。[34],我们的系统可以选择性地在场景中对用户指定的3D区域进行成像,如本例中的茶壶。然而,我们的方法的优点是这些区域可以呈现任何3D形状。来自不包含在该3D区域内的所有对象的光被光学过滤掉,包括从绝密文件反射的光。例如,图9示出了离人体模型的身体5cm的适形光幕。机器人可以使用这种光幕来检测它是否太靠近人或物体。例如,这可以用于辅助喂养,以帮助那些无法养活自己的人。干扰检测。光幕系统可以通过在场景的表面上形成紧密的光幕来确定场景中的对象是否已经被干扰。如果没有物体受到干扰,我们的滚动快门照相机就会记录下明亮的图像。相反,如果物体被移动、损坏或凹陷,则在物体不再与光幕对齐的地方,测量的强度会因此,我们可以通过首先在场景未被扰动时对该光幕成像,并减去扰动后的光幕输出来提取扰动图17892图9.我们的系统可以创建形状贴合的光幕。在这里,我们创建了一个光幕5厘米的人体模型的表面这种光幕可以用于机器人安全应用中,以检测机器人是否过于接近人或精密物体。喂食机器人也可以使用这些窗帘作为放置勺子的提示,如上所示。请注意,可视化可能会产生误导-勺子的手柄在前面,而不是在窗帘后面。骚动实际上,这捕获了感兴趣的特定几何结构上的差异图像。我们在图11中展示了这种干扰检测的示例。如果任何物体受到干扰,记录的图像会记录一个显著的、密集的变化,而不是差图像的低强度、稀疏的输出。这个想法可能在制造业中有重要的应用;例如,如果安装在装配线上,我们的设备可以检查通过的物体是否有缺陷。多个同步光幕。我们证明了我们的系统可以在一个卷帘快门框架内同时产生和分离这通过交错与两个(或更多个)目标光幕相关联的图案来完成。我们展示了一个例子,这样的设置适用于图中的玩具场景。10个。为了证明为什么这可能是有用的,我们表明,干扰检测的想法,从前面的部分可以结合多路复用估计图中的干扰的大小12个。我们的系统投射出两个幕帘:一个薄幕帘和一个厚幕帘。如果厚帘有信号而薄帘无信号,则干扰一定很小。然而,如果两个窗帘都没有接收到信号,则干扰会很大。三维触摸界面。我们还在图13(a)中展示了光学三维触摸界面。我们在所需表面上方约2厘米处形成一个光幕。当一个人的手指与这个表面互动时,光幕会检测到它的位置。虽然Tsujiet al. [32]仅限于平面表面,我们的系统可以将任何任意几何形状变成虚拟触摸界面。在增强现实的空间中,检测用户与场景交互的位置可以用作艺术或娱乐应用的新输入例如,如图所示13(b),我们的方法可以用来把任何现实生活中的对象变成一个虚拟的绘画表面。图10.我们的系统可以同时捕获多个光幕。第1行:解复用过程。在最左边的原始图像中,偶数列对应于兔子窗帘,而奇数列对应于茶壶窗帘。分离的窗帘显示在中间和右边的图像。第二排:用泡沫板扫过窗帘。在最右边的两个图像中,板的三个位置由不同的颜色表示。7. 限制当使用DMD进行2D全息时,出现两个关键限制。首先,波前的二进制控制提供有限的重建质量。伪影以散斑的形式表现出来,这降低了所生成的图案的对比度。第二,如前所述,在SEC。4.1,由于全息图的二元性质,我们至少损失了87.5%的光这些问题可以通过使用改编自DMD技术的快速纯相位SLM来解决[6]。尽管显示图案是快速的,但是求解正确的DMD图案以显示某些期望的投影仪图案在计算上可能是昂贵的。GS算法的每次迭代需要两次傅里叶变换操作。我们在Intel i7- 9700 k CPU上运行GS 10次迭代,每个模式总共需要18假设每个光幕使用256个投影模式,计算一个光幕目前需要77分钟。然而,更专业的硬件(如GPU或FPGA)应该会加快我们的实现速度。还可以通过较少的GS迭代或通过使用更有效的重建算法来恢复8. 社会影响光幕系统被设计为选择性地测量特定的3D区域,而不是整个视场。虽然这对隐私有积极的影响,但双重实体可以将其用于光学审查。这样的系统还可以投射此外,光幕还可用于工厂和基础设施的检查和安全。虽然这可以降低成本并挽救生命,但它可能会使人类目前执行的工作自动化。17893(a) 原始场景(b)干扰后(c)差分图像(×2)(d)干扰图(×2)图11.我们的系统可以光学检测物体是否在场景中受到干扰。在几乎没有纹理或像素饱和或曝光不足的区域中,差异图像提供关于场景是否被干扰的低强度、稀疏信息。但是,光幕可以更准确地记录曲面几何体的任何变化。(a)原始场景(b)薄幕(c)厚幕图12.我们的系统可以通过复用不同厚度的光幕来光学地检测扰动的大小在这张图中,我们展示了一个薄幕和一个厚幕照亮了场景。第1行:当扰动很小时,薄幕很容易记录到扰动,而厚幕接收到的信号很小。第2行:相反,当干扰大时,两个窗帘都容易检测到干扰。9. 结论和未来工作在这项工作中,我们展示了一个二元全息approach的结构照明的背景下,三角光幕。这种基于DMD的设备速度快,光效率高,当与滚动快门相机组合时,足以产生任意形状的光幕。我们表明,这样的系统可以用于多路复用多个窗帘成一个单一的图像,光学检测干扰和它们的大小,并生成三维触摸界面。所有这些应用都通过一个易于校准的光学配置实现。我们在照明端实现了可编程性,同时保留了卷帘快门相机。它也是恩-(a) 原始输入(b)图13.使用我们的系统创建3D触摸界面。我们在离物体表面约2厘米处形成一个光幕,我们可以用它来检测与物体的相互作用随着时间的推移,通过积累交互,我们可以将任何对象转换为虚拟绘图表面。完全可能在传感器端编码可编程性(例如,通过控制各个像素的曝光[36]),同时保持在照明侧的电流计扫描激光线这种方法可以提供优于二元全息术的某些优点,例如额外的光效率或改善的图像质量。然而,这需要更复杂的光学设置或制造定制传感器。今后的工作有若干方向。本文中提出的全息投影仪可以进一步改进-使用诸如快速相位SLM [6]的高级硬件,通过使用相机在环方法[23]更好地校准前向模型,或者比第12节中提出的二进制Gerchberg-Saxton更复杂四点二。此外,我们的全息投影仪很可能很容易应用于其他计算机视觉问题,包括实时核线和非核线成像[20]以及明亮阳光下的结构光3D传感[14]。鸣谢。我们感谢奥利弗·克罗默提供了使用机器人手臂的机会,感谢马克·谢宁提供了反馈。这项工作得到了NSF Grant IIS-1900821的支持17894引用[1] 使用激光三角测量的3d扫描仪完整指南。https:www.3dnatives.com/en/3d-scanner-laser-triangulation080920174-99/,2017. 2[2] 美国基恩士公司https:www.keyence.com/products/safety/light-curtain/,2021年。第1、3条[3] SiddharthAncha , GauravPathak , SrinivasaGNarasimhan,and David Held.使用具有概率保证的光幕的主动安全外壳。arXiv预印本arXiv:2107.04000,2021。2[4] Siddharth Ancha,Yaadhav Raaj,Peiyun Hu,SrinivasaG Narasimhan,and David Held.主动感知使用光幕自动驾驶。欧洲计算机视觉会议,第751-766页。Springer,2020年。2[5] Joseph R Bartels , Jian Wang , William Whittaker ,Srinivasa G Narasimhan等人,使用三角测量光幕的敏捷深度传感。在ICCV,第7900-7908页,2019年。一、二、三、六[6] Terry A Bartlett , William C McDonald , and James NHall.采用德州仪器dlp技术演示相位空间光调制器。在Emerging Digital Micromirror Device Based Systems andApplications XI中,第10932卷,第109320页。国际光学与光子学会,2019。四、七、八[7] BR Brown和AW Lohmann。计算机生成的二元全息图。IBM Journal of Research and Development,13(2):160-168,1969. 3[8] Bryon R Brown和Adolf W Lohmann。使用二进制掩码的复杂空间滤波。应用光学,5(6):967-969,1966年。3[9] Jiyi Cheng,Chenglin Gu,Dapeng Zhang,and Shih-ChiChen. 基于二元全息术的高速飞秒激光光束整形Opticsletters,40(21):4875-4878,2015。3[10] Jiyi Cheng,Chenglin Gu,Dapeng Zhang,Dien Wang,and Shih-Chi Chen.通过数字成像设备和二元全息术实现双 光 子 显 微镜 的 超 快 轴 向 扫 描 。 Optics letters , 41(7):1451-1454,2016。3[11] Qiang Geng,Dien Wang,Pengfei Chen,and Shih-ChiChen.基于双光子聚合的超快多焦点三维纳米加工。Nature Communications,10(1):1-7,2019。3[12] R. W. Gerchberg和W.O. 萨克斯顿一种从像面和衍射面图确定相位的实用算法Optik,35:237-246,1972. 5[13] Mohit Gupta , Amit Agrawal , Ashok Veeraraghavan ,and Srinivasa G Narasimhan.全局照明下的结构光三维扫描。见CVPR 2011,第713-720页。IEEE,2011年。2[14] Mohit Gupta,Qi Yin,and Shree K Nayar.阳光下的结构光在Proceedings of the IEEE International Conference onComputer Vision,第545-552页,2013中。二、三、八[15] S v enTSHolmst ro?m,UtkuBaran,andHakanUre y. 微机电 系 统 激 光 扫 描 器 : 综 述 。 JournalofMicroelectromechanical Systems,23(2):259-275,2014. 2[16] 刘荣平,吴铭轩,曾文杰。通过具有局部化随机下采样和自适应强度调整的二进制计算机生成全息图的3D显示Optics Express,28(17):24526-24537,2020。3[17] 增田一信、斋田雄介、鸟谷龙介、夏鹏、新田光一、马田修。利用最佳化二元相位调变与强度累积改善三维显示 器 之 影 像 品 质 Journal of Display Technology , 12(5):472-477,2016. 5[18] KevinJMitchell,Se r g e yTurta ev,MilesJPadgett,Toma'sBucciniz m a'r,和D a vidBPhillips。矢量光束强度、相位和偏振的高速空间控制数 字 微镜 装 置 。Optics express , 24 (25 ) : 29269-29282,2016. 3[19] Shree K Nayar , Gurunandan Krishnan , Michael DGrosberg,and Ramesh Raskar.使用高频照明的场景的直接和全局分量的快速分离。ACM SIGGRAPH 2006论文,第935计算机协会,2006年。2[20] Matthew用于节能照明和成像的齐次代码。ACM TOG,34(4):1-13,2015. 二、三、八[21] Matthew O'Toole , John Mather , and Kiriakos NKutulakos. 3D形状和通过结构光传输的间接外观。在CVPR,第3246-3253页,2014年。2[22] 马修·奥图尔,拉梅什·拉斯卡,基里亚科斯·库图拉科斯.用 于 探 测 光 传 输 的 原 - 对 偶 编 码 。 ACM TOG , 31(4):39-1,2012. 二、三[23] Yifan Peng , Suyeon Choi , Nitish Padmanaban , andGordon Wetzstein. 神经全息摄影与相机在环训练。ACMTransactions on Graphics(TOG),39(6):1-14,2020。8[24] 拉斐尔·皮斯顿鲍里斯·斯派克特和约瑟夫·沙米尔。同轴二值振幅计算全息图。光通信,136(1-2):85-92,1997. 5[25] Paolo Pozzi 、 Dean Wilding 、 Oleg Soloviev 、 HansVerstraete 、 Laurens Bliek 、 Gleb Vdovin 和 MichelVerhaegen。基于数字共焦显微镜的高速无波前传感器像差校正。Optics Express,25(2):949-959,2017。三、六[26] Yaadhav Raaj , Siddharth Ancha , Robert Tamburo ,David Held,and Srinivasa G Narasimhan.利用三角光幕细化深度分布。在IEEE/CVF计算机视觉和模式识别会议上,第7434-7442页,2021年。2[27] Joaquim Salvi,Sergio Fernandez,Tomislav Pribanic,and Xavier Llado.用于表面轮廓术的结构光图案的技术状态Pattern recognition,43(8):26662[28] Yoav Y Schechner , Shree K Nayar , and Peter NBelhumeur. 多 路 复 用 以 获 得 最 佳 照 明 。 IEEETransactionsonpatternanalysisandmachineintelligence,29(8):13392[29] 塔尔·西姆乔尼,拉玛·切拉帕,和敏绍。计算机视觉问题中求解泊松方程的直接分析法。IEEE模式分析与机器智能学报,12(5):435-446,1990。517895[30] 达斯汀·斯图尔特奥利弗·巴特和阿克塞尔·库恩产生二元全息图的快速算法。arXiv预印本arXiv:1409.1841,2014年。三、五[31] 达斯汀·斯图尔特和阿克塞尔·库恩dmd控制光镊中单原子的捕获和输运。New Journal of Physics,20(2):023013,2018. 3[32] Mayuka Tsuji , Hiroyuki Kubo , Suren Jayasuriya ,Takuya Funatomi,and Yasuhiro Mukaigawa.使用斜率视差选通的投影屏幕的触摸感测。IEEE Access ,9:106005-106013,2021。二、三、七[33] 谢尔盖·图尔塔耶夫、伊沃·T·莱特、凯文·J·米切尔、迈尔斯·J·帕德格特、D·a·维德·B·菲利普斯和托玛的《查理·Z·M·A·R》。复光子学中基于双折射液晶和基于dmd的空间光调制比较Optics express,25(24):29874-29884,2017. 三、五[34] Tomoki Ueda , Hiroyuki Kubo , Suren Jayasuriya ,Takuya Funatomi,and Yasuhiro Mukaigawa.使用同步投影仪-摄像机系统的斜率视差选通。在2019年IEEE计算摄影国际会议上,第1-9页。IEEE,2019。二、三、六[35] Jian Wang,Joseph Bartels,William Whittaker,AswinC Sankaranarayanan,and Srinivasa G Narasimhan.可编程三角测量光幕。在ECCV,第19- 34页,2018年。一、二、三、六[36] Mian Wei,Navid Sarhangnejad,Zhengfan Xia,NikitaGu- sev,Nikola Katic,Roman Genov,and Kiriakos NKutulakos.用于计算机视觉的编码双桶相机。在欧洲计算机视觉会议(ECCV)的论文集中,第54-71页,2018年。8
下载后可阅读完整内容,剩余1页未读,立即下载
![application/msword](https://img-home.csdnimg.cn/images/20210720083327.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- VMP技术解析:Handle块优化与壳模板初始化
- C++ Primer 第四版更新:现代编程风格与标准库
- 计算机系统基础实验:缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台:证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统:加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习:查询分析与高级操作
- 海底数据中心散热优化:从MATLAB到动态模拟
- 移动应用作业:MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解:从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX:从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程:JUC核心概念解析与应用
- 数据结构实验报告:基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)