没有合适的资源?快使用搜索试试~ 我知道了~
−结构光编码Mohit Gupta和Nikhil Nakhate美国威斯康星大学麦迪逊分校计算机科学系网址:mohitg@cs.wisc.edu,nakhate@wisc.edu抽象。 我们提出了一个分析和设计高性能结构光(SL)编码方案的数学框架。使用这个框架,我们设计哈密顿SL编码,一个新的家庭的SL编码方案,可以恢复3D形状与高精度,只有少量(少至三个)的图像。我们建立流行的离散(二进制)SL编码方法,和哈密顿编码,这是一个连续的编码方法之间的结构相似性。基于这种相似性,并通过利用来自几个不同的SL编码家族的设计原理,我们提出了一个通用的配方,用于设计具有特定的期望属性的哈密顿编码模式,例如用于处理全局照明的具有高空间频率的模式我们进行了几个实验来评估所提出的方法,并证明了基于哈密顿编码的SL方法优于现有的方法在具有挑战性的场景,包括场景与黑暗的反照率,强环境光,和interreflections。1介绍结构光(SL)是在若干应用中广泛使用的3D成像技术,包括工业自动化、增强现实和机器人导航。基于激光扫描[9]的SL系统可以以极高的精度(10 - 100微米)恢复3D形状,尽管以大量采集时间为代价工业应用等检查需要高精度,但具有有限获取时间预算。虽然单次拍摄SL方法[33]可以仅用单个图像恢复深度,但深度在空间上是平滑的,导致细节丢失。多图案SL方法投影一系列图案,使得每个投影仪像素被分配唯一的时间强度代码。这些代码用于为每个相机像素建立每像素对应关系,从而实现高空间分辨率。然而,不幸的是,它们在要求苛刻的场景(小时间预算,低信噪比)中的深度精度仍然很低,并且通常是SL 3D成像在关键应用中广泛采用的瓶颈多图案SL系统的深度精度由编码方案确定,即,光源投射的图案集Horn和Kiryati [18]首先提出了设计实现高深度精度的最佳图案的问题然而,找到一个封闭的形式(或甚至一个数值)的解决方案被认为是不可行的。相反,提出了基于来自数字通信文献的直觉的模式族。这些图案,使用希尔伯特空间填充曲线设计,属于一类的离散编码方案(强度的图案是从一个离散的集合)。虽然这些模式在高信噪比(SNR)设置中表现良好,但是它们的性能随着噪声的增加而降低。在一般情况下,设计最佳的SL模式,特别是对于低SNR的情况下,以及开发正式的工具,用于分析不同的方法的性能,仍然是一个悬而未决的问题。2M. Gupta和N. 纳克哈特在本文中,我们提出了一个新的,高性能的SL编码方法的分析和设计的理论框架。我们考虑连续编码,其实现子像素对应映射,并且与离散编码方法相比需要更少的图像[20,18]。我们分析了SL编码(图像形成)和解码的几何形状,以获得SL编码方案的一般性能指标虽然该度量可用于预测给定方案的性能,但其计算昂贵,因此不适合作为代码优化中的目标函数。我们从飞行时间代码设计[15]的最新工作中获得灵感,并基于图像形成方程的一阶微分分析导出替代度量。代理是很容易计算,并借给自己一个直观的几何解释。基于这个度量,我们提出了一个新的家庭SL码,称为哈密顿模式。与现有方法相比,哈密顿编码实现了高达一个数量级的更高精度,特别是在低SNR场景中,同时需要少量的图像(少至三个)。1尽管是连续编码方案,但哈密顿模式的构造与广泛使用的二进制格雷编码[20]具有结构相似性。我们的主要观察是,由于这种相似性,开发的技术,格雷编码可以很容易地适应设计哈密顿模式。通过借鉴格雷码[13]的设计原理,我们开发了具有所需特性的哈密顿图案,例如,对广泛的全局照明具有鲁棒性的高频图案。实际影响:从概念上讲,哈密顿编码形成了二进制和连续SL编码方法之间的桥梁这为高性能SL图案的设计提供了一般配方,即使在具有低SNR和全局照明的具有挑战性的场景我们评估所提出的编码方法具有挑战性的低反照率,间反射和散射的场景的性能我们的结果证明,哈密顿代码优于几种传统的方法,以及最近的编码方案,专门设计用于处理全局照明[14]。由于SNR益处以及单个通用设计和解码算法,哈密顿模式可以成为基于连续SL的3D成像系统中的替代构建块(而不是正弦2相关工作结构光编码设计:在过去的三十年中,已经提出了几种不同的结构光编码策略。这些包括二进制格雷编码模式[20],颜色编码[1],斜坡编码[2],正弦曲线编码[35],梯形编码[19]和边缘编码[38]。有关结构光代码设计的全面调查,请参见[34]。令人惊讶的是,几乎没有工作分析不同编码方案的相对Horn等人[18]考虑了为离散编码方案设计最佳结构光图案的问题,其中每个投影列的强度相比之下,我们的目标是开发一个理论框架的设计和分析的连续编码方案,其中的投影强度可以发出一个连续的范围内的值。相反,离散编码方法通常需要大量的模式,例如,与投影仪列数的对数成比例。结构光编码的几何透视3场景(:投影仪列索引)光平面(投射图案源多光平面编码图案相机10功能强度分布(a)(b)第(1)款Fig. 1.结构光(SL)3D成像。(a)连续SL编码系统由投影具有连续强度范围的图案的投影仪组成。唯一的强度代码被分配给每个投影仪列,其用于确定与相机像素的对应关系。(b)在正弦相移中,投影图案具有正弦强度分布。存在全局照明时的结构光:已经提出了几种SL技术用于减轻由于相互反射和散射引起的误差。这些方法可以大致分为两类:(a)光学方法,例如基于极化[7]和极线扫描[27]的方法这些包括离散二进制模式[13,39]或连续正弦模式[14,6,25,8]。我们提出了一个一般家庭的连续模式,outper-form现有的编码策略,用于处理全局照明,而不需要额外的硬件。注意,所提出的编码方案与光学方法正交,并且可以以互补的方式与光学方法[27]一起使用。3图像形成模型SL系统由投影仪和摄像机组成,如图1(a)所示。投影仪在场景上投影一个或多个强度图案对于每个图案,相机捕获图像。单次拍摄方法[30,29,33,37]仅需要单个图像,但假设场景深度是局部平滑的,从而导致精细几何细节的丢失在本文中,我们考虑多拍摄的方法,其中几个图案的投影,并在每个像素的基础上计算深度。大多数多激发结构光系统使用可以表示为1D编码函数的图案,使得每列(或行)内的所有像素具有相同的强度。投影仪可以被建模为发射几个光平面,每列一个,如图1(a)所示。为了计算相机像素处的深度,我们需要确定其对应的光平面(照亮在像素处成像的场景点的光平面这是通过为每一列分配一个唯一的强度代码来实现的;代码的长度是投影图案的数量例如,强度代码可以是二进制[28]或N进制[18,3],其中每列可以具有2个或N个离散强度值。二进制和K进制编码属于离散编码方法的类别,其中编码函数只取离散值。这些方法假设光源4M. Gupta和N. 纳克哈特≤≤≤ ≤ ≤ ≤不确定区域,,(=) ଷ曲线ଶଵ简体中文=(ଵ,ଶ, ଷ)噪声椭球ଶଵଷ表面ଶଵ(a) 未知空间(b) 测量强度的空间(变化、固定和)(c) 测量强度的空间(变化和,固定)(d) 测量强度的空间(变化的λ,λ和λ)图二、结构光图案的几何结构结构化光编码方案可以被建模为从(a)未知空间到(b,c,d)测量强度空间的映射。给定强度测量,经由从测量空间到未知空间的逆映射(解码函数)来估计投影仪对应性。(d)测量空间中的噪声导致恢复的未知量中的不确定性,从而导致低深度分辨率。发射一组离散的灯光平面。相机像素处的可能深度值的数量由光平面的数量限定。因此,通过离散编码方法实现的深度分辨率是有限的。我们的重点是连续的编码方法,其中的编码功能是连续的和分段可微的功能。例如,正弦相移[35],最广泛使用的结构光技术之一由于光平面的连续性,与离散方法2相比,连续技术能够实现显著更高的深度分辨率。假设投影图案(和捕获的图像)的数量为K。 每个投影图案由1D编码函数Pi(c),1表示我K,其中c(1C是投影仪列索引,并且是投影仪中的列的总数。假设函数被归一化,使得0Pi(c)1。考虑由列编号c照明并且在相机像素p处成像的场景点S。在P处接收的强度由下式给出:Ii(p)=α(p,c)Pi(c)+A(p),(1)其中α(p,c)是反照率项;它被定义为如果列c发射单位强度,则在p处接收到的图像亮度A(p)是环境照明项;它是由于投影仪以外的光源而导致的p处的图像亮度一般来说,α(p,c)和A(p)都是未知的,列对应关系c也是未知的。因此,未知数的空间可以表示为3D空间,如图2(a)所示4结构光编码结构光编码方案的测量强度的空间是多少由编码函数[P1,. . . ,P K],将未知空间中的点P U=[α,A,c]映射到点P I=[I1,. . .,I K]中2从理论上讲,连续编码方法可以实现无限的深度分辨率,因为存在无限个光平面。然而,相机的有限分辨率和动态范围、有限的数值精度以及图像噪声对可实现的分辨率施加了实际限制。结构光编码的几何透视5^△△|−|N△△K维空间的测量强度。例如,考虑未知点的1D集合,对于α和A的固定值,但变化对应性c。用于K=3的正弦编码方案将这组未知点映射到在测量空间中形成圆的1D点集。这在图2(b)中示出。一组2Dc和α都变化的未知数被映射到形成中空圆锥的2D点集(图2(c))。整个3D未知集合被映射到3D点体积,其通过沿着线段挤出圆锥体而形成,如图2(d)所示给定相机像素,令Ii为图案Pi的真实强度测量。实际测量的强度Ii′,包括噪声,给出为:Ii=Ii+νi,(2)其中Vi是强度测量Ii中的噪声,包括读取噪声和光子噪声两者[17]。在点PI′处没有=[I1′,. . . 表示实际测量强度的矢量可能位于可能的真实强度的空间之外。4.1解码与噪声给出实际位置PI′ =[I1′,. . . ,IK’],则通过解码函数来计算预测向量对应关系,该解码函数是从测量空间到未知空间的逆映射。由于相关的随机性在测量PI’的情况下,所述已解码的未知位置是随机变化的,其分布用不确定性区域表示,如图2(a)3所示。 由于这种不确定性,解码算法可能计算不准确的对应关系c’。这种不确定性对可实现的深度分辨率施加了根本限制假设计算出的对应关系中的误差为c=c′c。给定编码方案和解码函数,平均的预期对应误差E(c)可以是:在整个未知空间上,给出为:E(△c)∫∝∫|c′−c|p(PI′)dPI′dPU,(3)PUPI其中,c’和c’是针对测量的位置PI’的估计的和真实的投影仪对应值。p(PI′)(PI,Σ)是PI ′的高斯分布函数(在图2(d)中表示为无噪声分布),其中位置点PI中的均值为均值,噪声协方差Σ I。在未知空间和测量空间上进行二重积分4.2优化结构光编码由于深度误差与对应性误差成比例,因此最佳结构光编码方案可以被定义为使预期对应性误差E(c)最小化的方案,如在等式2中导出的。3.不幸的是,E(c)难以分析地优化,并且甚至数值计算都是昂贵的优化必须在编码函数的高维空间中执行,这使得其更加难以处理。为了执行优化,我们提出了基于图像形成方程的一阶微分分析的替代目标函数(Eq.①的人。3不确定区域的形状取决于编码和解码函数。6M. Gupta和N. 纳克哈特1ଵ0ଶ10≤ ≤△斜坡模式三角模式正弦模式哈密顿模式1 1 1 10投影仪柱()0投影仪柱()0投影仪柱0投影仪柱(a) 用于各种结构光编码方法的投影图案(1D函数分布)1ଷ0曲线长度=1曲线长度=2曲线长度=曲线长度=22(b) 对应的编码曲线和曲线长度图3.第三章。各种结构光编码方法的编码曲线(a)用于不同SL编码方案的编码函数(3中的1)。(b)K= 3时的编码曲线和曲线长度。该度量受到飞行时间(ToF)成像的编码设计[15]中的最近工作的启发,其中在时间域中执行类似的分析替代度量根据编码曲线来定义,编码曲线是结构光编码方案的几何表示具体地,考虑由图案Pi,1表示的结构化光编码方案。我K.该方案的编码曲线是点[P1(c),. . .,P K(c)]作为投影仪列索引c是多种多样的。例如,正弦编码的编码曲线是K维的圆如图3(b)所示。给定编码方案,令Λ为对应编码曲线的长度。然后,替代度量Y被给出为:ςY∝α平均Λ,⑷其中,是测量噪声的标准偏差,αmean是未知量空间上的平均值α推导见补充技术报告直观地,较长的编码曲线将测量点在测量空间中进一步分开,导致由于噪声引起的较低的解码误差在[18]中,受通信代码设计的启发,使用类似的直觉来设计离散结构光图案。当量4形式化了这种直觉,并且提供了SL编码方案在其编码曲线长度方面的性能的近似但解析的表达式。给定结构光编码方案,其编码曲线长度Λ是直观且快速计算的几何性质。此外,给定系统相关常数ε和平均场景反照率αmean,γ通常与预期对应误差E(c)近似成比例(例外情况是如果编码曲线不是距离保持的,如下一节中所讨论的这表明编码曲线长度Λ可以用作设计高性能结构光编码方法的近似度量:编码曲线长度越大,预期的对应误差越低,因此预期的深度分辨率越高1ଷ01ଵ00ଶ101ଵଶ101ଷ01ଷ01ଵ0ଶ10亮度亮度亮度亮度结构光编码的几何透视7≈√K噪声椭球(a)(b)(c)见图4。长但低性能的编码曲线的示例。(a)自相交编码曲线不定义从投影仪对应到强度的唯一映射,并且不表示有效的编码方案。(b-c)螺旋和希尔伯特空间填充曲线。这些曲线不是距离保持的,并且即使对于小噪声也可能导致大误差。图3中示出了一些常用的结构化光编码方案(斜坡[2]、正弦曲线[35]、三角形[5])的编码曲线。例如,斜坡编码方案[2]的编码曲线(三个投影图案是常数1、常数2、常数3和常数4)可以被表示为:常数0和强度斜坡)是长度为1的线段,而编码广泛使用的正弦曲线编码[35]是半径为2√2的圆,其中K≥3是相移数(测量数)。对于K=3,正弦编码的编码曲线长度为3。是斜坡编码的84倍。因此,给定相同的场景和成像系统,正弦编码应实现约3。84倍的高精度(较低的错误)相比,斜坡编码,如稍后在第7节。5哈密顿编码结构光如前一部分所述,具有长编码曲线的结构化光编码方案我们能否利用这一设计原理来设计高性能的结构光编码方案?图4示出了三条潜在的编码曲线。第一条曲线很长,但自相交。因此,其不定义从投影仪对应到所捕获强度的唯一映射,且因此不表示有效译码方案。第二条和第三条曲线(螺旋线和希尔伯特空间填充曲线[18])是长的,并且不自相交。然而,这些曲线不是距离保持的,即,在曲线上存在沿曲线远离但在欧几里德距离意义上接近的点。虽然基于这些曲线的编码方案可以在低噪声设置中实现高性能,但是它们的性能对于中等到高的噪声量会迅速下降,从而导致大的解码错误。因此,我们的目标是设计编码曲线,除了长,是非自相交和距离保持。具有这些性质的曲线族是超立方体图上的哈密顿圈,由K维单位超立方体的顶点和边形成[15]。超立方体图上的哈密尔顿圈是访问立方体所有顶点一次的路径5.1哈密顿SL模式的编码曲线是SL模式的几何表示;在一组SL编码函数和编码曲线之间存在一一对应关系。给定噪声椭球8M. Gupta和N. 纳克哈特−≤ ≤ −−−−- -≤ ≤在K维中的编码曲线,我们可以创建K个SL编码函数的对应集合,反之亦然。考虑K维单位立方体上的哈密顿环作为编码曲线。然后,将哈密顿编码方案的第i个编码函数Pi定义为哈密顿圈上点的第i个坐标值的集合。所得到的哈密顿编码函数是梯形的,如图所示在图3的右上角。对于K=3,三个梯形函数是彼此的均匀移位副本。顺便说一句,在以前的工作中已经提出了三个相移梯形函数[19,38],并且可以被认为是哈密顿编码方案家族的特殊情况。相比之下,高阶哈密顿编码函数(K >3)不一定是彼此的移位版本,如图5所示。编码曲线长度:在构造哈密顿循环时,我们排除原点和对角相对的顶点。这样做使得对于每个投影仪列c,(K个中的)至少一个投影值为0,并且至少一个投影值为1。在这个减少的顶点集上找到哈密顿循环是NP完全问题,没有已知的多项式时间算法。幸运的是,对于相对较小的K,可以使用基于搜索的算法找到循环如果K是奇数,则循环的长度为2K−2;如果K是偶数,则循环的长度为2K−4[15]。由于曲线的长度随时间呈指数增长K,在进行单一编码的过程中,其长度仅随K增加(图3)。此外,哈密顿循环具有良好的局部保持特性[10],即,给定曲线上的任意两点,它们的欧氏距离与沿曲线的距离之间的比率是有界的。5.2哈密顿编码的深度恢复算法用于哈密尔顿SL编码的编码函数Pi(11K)可以被细分为2K2(或2K4)个子区间。在每个子区间中,(K个中的)一个函数从0到1(1到0)线性增加(或减小)。其余的K1函数是常数0或1。设子区间由λ,1λ Κ2(或Κ4)索引。给定一组测量的强度I =[I1,I2,. . . ,1K],解码算法,即,找到投影仪对应关系C涉及两个步骤:1. 估计c所在的子区间的索引λ:关键观察是,对于每个子区间,在子区间内恒定的K1个编码函数的身份(索引)和值是唯一的。因此,可以通过识别对应于K的测量强度的指数和值来计算λ。1常数函数。 这通过将K个测量强度(在每个像素处)聚类成三个聚类来实现:一个簇对应于编码函数为0(低强度),一个簇对应于编码函数为1(高强度),并且第三簇对应于线性增加(或减少)函数(中值强度)。[4]这些簇给出了对应于K−1个常数函数的强度测量的恒等式和值。2. 估计子区间内的对应关系c:第二步骤是确定子区间λ内的对应关系c的位置。考虑投影强度的集合P(c)=[P1(c),P2(c),. . .,PK(c)]的投影仪列c。如上所述,对应关系c位于编码函数的子区间中4我们强制第三个簇只有一个成员的约束结构光编码的几何透视9- ≤≤−IImaxmin1PPP0投影仪列索引投影仪列索引投影仪列索引投影仪列索引(a) K= 4的示例哈密顿代码1P0投影仪列索引投影仪列索引投影仪列索引投影仪列索引投影仪列索引(b)K= 5的示例哈密顿代码图五. 高阶哈密顿模式(K >3)不是彼此的移位版本。相比之下,K= 3的哈密顿模式(图3)是彼此的移位版本。其对应于哈密顿循环的边缘 假设边缘在两个顶点之间。P(c)=κPleft +(1),P(c)= κ Pleft+(1κ)Pright,其中0κ1是对应关系c在子间隔λ内的位置。令Ilow为对应于低强度的群集中的强度集合,因为d被用作Stepl中的一个子集。 设这些位置的平均值为Imin=mean(Ilow)。类似地,令高强度集群中的 强 度 的 平 均 值 为 Imax=mean ( Ihigh ) 。THE N , THESUB-IINTVERLOCATIO Nκisgivivena s:I−Imin,其中I=[I1,I2,. . . ,I K]是测量强度的集合。然后,子区间索引λ和子区间κ内的位置可以用于确定对应性c。6处理全局照明和散焦在Eq. 1假设场景点仅由投影仪直接照明,使得每个相机像素仅从单个投影仪列接收光。但是,通常,由于相互反射和散射,场景点也可以从其他场景点接收光。这些效应统称为间接或全局照明,可能导致恢复形状中的显著错误[26,14]。实现对全局照明的鲁棒性的一种策略是设计使用仅具有高空间频率的图案的编码方法[14,6,25,8,13]。然而,在前一节中设计的哈密顿模式具有高频和低频的组合,如图5所示。我们能设计出只有高空间频率的我们提出了两种方法,用于开发高频哈密顿模式,离散格雷编码和连续正弦曲线编码的设计原则的基础上。6.1用格雷码设计高频哈密顿模式哈密顿循环对应于超立方体顶点被访问的顺序。我们的关键观察是,对于K >3,超立方体图上的哈密顿圈不是唯一的(模同构圈)。当K >3时,超立方体的顶点存在多个(K的指数)序,对应于不同的P10M. Gupta和N. 纳克哈特哈密顿圈每个周期对应于不同的图案编码函数集合。例如,图6(顶部两行)示出了K=8的两组不同的哈密顿模式。第二个关键的观察是,不同的编码函数在构成空间频率的集合方面具有不同的属性。比如说,在第一组(顶行)中,不同的图案具有宽范围的空间频率(从低到高)。另一方面,在第二组模式(第二行)中,所有模式都具有相对高且相似的频率。哈密顿函数和格雷码之间的关系:格雷码[11]是二进制码的序列,使得连续的码仅在1位上不同。通过沿哈密顿圈遍历K-D超立方体的顶点,可以构造K位格雷码序列。每个立方体顶点被分配一个二进制代码,由其坐标给出。例如,origin被分配二进制代码[0,. . .,0]。格雷码序列,然后给出的立方体顶点被访问的序列。因此,超立方体图上的哈密尔顿圈既包含格雷码序列,也包含哈密尔顿函数集:哈密尔顿函数可以被认为是作为二进制格雷码的连续版本。不同的哈密顿圈会产生不同性质的Gray码和哈密顿函数例如,图6(a)中所示的哈密顿模式是基于传统的反射格雷码[31,20]设计这些代码具有广泛的频率范围(包括低频),不适合处理全局照明。为了扫描具有全局照明的场景,已经提出了仅具有高空间频率的格雷码[13]。我们利用格雷码序列和哈密顿函数之间的一对一关系图6(中间行)示出了使用对跖格雷码序列的哈密顿模式[4,21,22],其具有字符串的二进制补码在排序中与其呈现固定距离的对跖格雷码和对应的哈密顿函数具有窄的高频集合,从而导致对全局照明效应的鲁棒性。注意,哈密顿模式乍一看可能是二进制的;请放大图像以观察边缘附近的连续强度等级。6.2微哈密顿编码除了二进制编码之外,已经提出了基于正弦曲线模式的连续编码方案[14,6,25]来处理全局照明。例如,微相移方法[14]使用频率在窄高频带内的正弦曲线模式。通过组合来自若干高频的相位信息来执行相位展开我们利用这一原则来设计一个家庭的高频哈密顿编码方案。关键思想是使用多组具有小互质周期(高频)的哈密顿函数我们称这种方法为微哈密顿编码,由于每个模式使用小(微)周期例如,图6(c)示出了具有K=8个图案的微哈密顿编码方案。通过组合两组哈密顿模式创建:K3和K5哈密尔顿码(图3(右)和5(b)),周期分别为203像素和97像素。投影仪列的数量是Nc=1920。当每一个人都在寻找答案的时候,因此,如果不确定的对应关系模其相应的周期,则可以组合不确定的对应关系。通过相位展开技术[16,14]来恢复明确的深度。结构光编码的几何透视11(a) 反射哈密顿编码的模式(8个中的4个(a) 对跖哈密顿编码的模式(8个中的4个(a) 微哈密顿编码的模式(8个中的4个见图6。用于处理全局照明和散焦的哈密顿模式。(a)基于反射格雷码的K= 8的哈密顿模式。这些图案具有宽范围的频率(包括低频率)并且不适于处理全局照明。(b) 基于对跖格雷码的哈密顿模式。(c)微哈密尔顿编码由K3和K5哈密尔顿模式结合而成,周期很小.(b)和(c)中的图案具有高频率,并且对一系列全局照明效应是鲁棒的。微哈密顿编码的设计空间:微哈密尔顿编码提供了丰富的设计空间,并且使得能够精细地控制特性(例如,空间频率)。具有不同周期的几个基本哈密尔顿模式集可以组合成单个微哈密尔顿编码方案。例如,将K3和K5相结合,可以设计出K=8的微哈密顿格式基哈密顿集或两个不同周期的K4给定丰富的设计空间,一个自然要问的问题是:哪些基础模式应该是COM-如何确定各个时期给定系统参数(例如,投影仪列的数量,投影图案的数量),以及场景特性(例如,的量和性质的全局照明),我们使用一个简单的,基于搜索的程序来计算最佳组合的基本模式和周期(从一组可用的组合)的微哈密顿编码方案。我们的算法在精神上类似于用于优化正弦编码的频率选择算法[14]。图6(c)中所示的模式是使用此优化程序设计的对映哈密顿编码与微哈密顿编码:微哈密顿编码和基于格雷码的哈密顿编码(例如,对映哈密顿模式)被设计成实现对全局照明的鲁棒性。基于格雷码的哈密顿方案具有有限的设计空间,并且允许对投影图案的空间频率的有限控制相比之下,微哈密顿编码提供对空间频率的更大控制另一方面,微哈密尔顿码需要相位解缠以用于解码,并且因此可能由于不正确的解缠而在低SNR场景中遭受错误。相比之下,对映哈密顿码即使在低SNR下也能实现高精度,如图9和图10所示12M. Gupta和N. 纳克哈特平均深度误差(mm)平均深度误差(mm)平均深度误差(mm)平均深度误差(mm)2= 3三角斜坡正弦哈密顿量806040边缘正弦曲线3020= 4哈密顿= 5多频正弦希尔伯特正弦哈密顿量161281020 4010002000300040005000光源强度(勒克斯)010002000300040005000光源强度(勒克斯)010002000300040005000光源强度(勒克斯)806012060408040402020010002000300040005000光源强度(勒克斯)010002000300040005000光源强度(勒克斯)010002000300040005000光源强度(勒克斯)图7.第一次会议。平面场景的各种编码方案的比较 哈密顿编码在宽范围的SNR场景上优于现有方案。在高信噪比(高光源强度,低环境光),多频正弦方案实现类似的性能哈密顿编码。然而,在低SNR下,多频正弦方案遭受大的深度误差。相比之下,哈密尔顿编码的性能随着SNR降低而适度地降低7实验和结果对于我们的实验,我们使用由Canon T5i DSLR相机和Epson 3LCD投影仪组成的结构光系统首先,我们评估所提出的哈密顿编码方案在不同的信噪比(SNR)的设置。场景是漫射的白色平面表面,具有已知的地面实况深度,大约在范围[1100,1600]毫米。通过使用源投影仪(其投影结构化光图案)和充当环境照明源的另一投影仪图7示出了在不同的源和环境光强度以及不同的图案数量(K)下的几种编码方案的深度误差。对于所有编码方案,我们保持捕获时间和明确的深度范围相同。为了实现后者,所有方案的编码函数的周期被固定为1920年列.对于K=3,斜坡编码[2]由于小的编码而曲线长度(图3)。对于K=4,5,哈密尔顿编码明显优于现有的方法,如正弦编码。边缘模式[38]和希尔伯特模式[18]的编码曲线不是距离保持的,这导致大的深度误差在低SNR(低光源亮度,高环境亮度)设置下。对于K=5,我们将哈密顿编码与多频率正弦方案进行比较,该方案使用多个频率的正弦模式,例如,一个高频和一个低(单位)频率[36]。具体地,我们使用具有1920列的周期(单位频率)的3个图案,以及具有160像素的周期(高频)的2个图案(由π高频相位提供准确但模糊的投影仪对应。然后使用低频相位来分辨明亮的环境光低环境光平均深度误差(mm)平均深度误差(mm)结构光编码的几何透视13场景正弦编码多频正弦哈密顿编码见图8。K= 5的比较。多频正弦编码可以在高信噪比条件下恢复精细的几何细节。然而,在低SNR设置下,其性能显著下降,导致黑色熔岩岩石的大误差。相比之下,哈密顿编码可以恢复精细的细节,如岩石上的孔隙,尽管极低的重复性。场景微相移微哈密顿编码对映哈密顿编码见图9。具有相互反射的场景。所有三种编码方案都具有高频率,并且对全局照明相对鲁棒。Micro PS在中等到高SNR的情况下(碗的底部)可靠地然而,由于低信号强度,其性能在低SNR(在碗的边缘处)下降级,从而导致大的深度误差。详情请放大。模糊度(相位展开)。在高信噪比下,多频正弦方案实现了与哈密顿编码相似的性能。然而,在低SNR下,其遭受不准确的展开,并且因此遭受大的深度误差。相比之下,哈密尔顿编码的性能随着SNR降低而适度地降低。目视比较:图8示出了不同编码方案之间的视觉比较。单频正弦曲线,在一般情况下,实现了低的深度分辨率,从而导致损失的表面细节。在相同的源功率和捕获时间下,哈密顿编码可以恢复微妙的细节,例如雕像的面部特征(图8)。多频正弦编码可以在高信噪比条件下恢复精细的几何细节。然而,在低SNR时,其性能会显著下降,导致黑色熔岩岩石的误差较大(图8)。相比之下,哈密顿编码可以恢复精细的细节,如岩石上的孔隙,尽管场景具有极低的反照率。请参阅补充技术报告了解更多结果,包括在不同环境光。14M. Gupta和N. 纳克哈特场景微相移对映哈密顿量图10个。具有散射和散焦的场景 哈密顿编码在低SNR下优于MPS,同时减轻由于散射和散焦引起的误差。具有全局照明和散焦的场景:图9和图10示出了具有全局照明和散焦的场景的深度恢复结果。碗是由白色,光滑的材料,造成强烈的相互反射。蜡烛具有表面下散射。叉子场景的深度范围很大,导致投影仪散焦。我们使用了对跖哈密顿编码和微哈密顿编码,如图6(b,c)所示我们将这些方案与K=8的微相移[14](MPS)进行了模式.虽然MPS在中高SNR场景中可靠地执行,但其性能在低SNR时,由于展开误差,噪声降低,从而导致大的深度误差。由于不正确的展开,微哈密顿编码在低SNR中也遭受深度误差。然而,它优于MPS凭借使用高频哈密顿模式,而不是正弦曲线。对映哈密顿方法即使在低信噪比下也表现良好,同时减轻了由于全局照明效应而引起的误差。8局限性和未来展望编码方案的最优性:本文中设计的编码方案,虽然大大优于目前的最先进的,是不是可证明的最佳。基于本文提出的几何概念,通过使用高级优化算法[24],另一个有趣的未来研究方向是设计结合成像系统特性[24]和场景先验[23,32]的编码方案。处理极端全局和环境光照明:设计用于处理全局照明的哈密顿模式只能处理相对低频的互反射。对于具有强镜面互反射的场景(例如,反射镜),所提出的技术可以与光学方法结合使用,以减轻由于高频相互反射引起的误差[27]。类似地,对于具有强环境照明的场景,所提出的编码方法可以以与用于抑制环境照明的光学方法互补的方式使用[27,12]。谢谢。这项研究部分得到了ONR资助号N 00014 -16-1-2995和DARPA REVEAL计划的支持。结构光编码的几何透视15引用1. Boyer,K.L.,Kak,A.C.:用于快速主动测距的彩色编码结构光IEEE Trans- actionson Pattern Analysis and Machine IntelligencePAMI-9(1),142. Carrihill,B. Hummel,R.:强度比深度传感器实验。Computer Vision,Graphics,and Image Processing32(3),3373. Caspi,D.,Kiryati,N.,Shamir,J.:自适应彩色结构光距离成像IEEE传输模式分析马赫内特尔20(5),470-480(1998)4. Chang,G.J.,Eu,S.P.,叶正豪:关于(n,t)-对跖格雷码理论计算机科学374(1-3)(2007)5. Chazan,G.,Kiryati,N.:金字塔强度比深度传感器。技术报告编号121,以色列理工学院电气工程系,海法(1995年)6. 陈,T.,Seidel,H.P.,Lensch,H.:用于3D扫描的调制相移In:Proc.03 The Dog(2008)7. 陈,T.,Lensch H.P.A.富克斯角彼得·塞德尔,H.:用于半透明物体3D扫描的偏振和相移在:IEEE Proc. CVPR(2007)8. 时装V Martin,N. Roy,S.:非结构光扫描以克服相互反射。In:Proc. IEEE ICCV(2011)9. Curless,B.,Levoy,M.:通过时空分析改进光学三角测量IEEE计算机视觉国际会议论文集(1995)10. Gotsman,C. Lindenbaum,M.:离散空间填充曲线的度量性质。第53集9.6The Dog(1996)11. Gray,F.:脉冲编码通信。美国专利2,632,058(1953)12. Gupta,M.,尹QNayar,S.K.:阳光下的结构光IEEE International Conference onComputer Vision(2013)13. Gupta,M.,阿格拉瓦尔,A.,Veeraraghavan,A.,Narasimhan,S.G.:在存在间反射、次表面散射和散焦的情况下进行三维扫描的实用方法International Journal ofComputer Vision102(1),3314. Gupta,M.,Nayar,S.K.:微相移。In:Proc.IEEE CVPR(2012)15. Gupta,M.,Velten,A.,Nayar,S.,Breitbach,E.:飞行时间成像的最佳编码函数是什么?ACM Transactions on Graphics37(2)(2018)16. Gushov,V.I.,Solodkin,Y.N.:整数干涉仪条纹图的自动处理14.光学激光工程14(1991)17. Hasinoff,S.W.,Durand,F.,弗里曼,W.T.:噪音-高动态范围摄影的最佳捕捉。In:Proc. IEEE CVPR(2010)18. Horn,E.,Kiryati,N.:朝向最佳结构光图案。3D数字成像和建模最新进展国际会议(1997年)19. Huang,P.S.,Zhang,S.,(1991),中国农业科学院,蒋,F.P.:三维面形测量的梯形相移法04第12集9.1 The Dog(2005)20. Inokuchi,S.,佐藤,K.,Matsuda,F.:用于三维目标识别的距离成像系统。在:国际会议模式识别。pp. 80621. Kilian,C.E.,萨维奇,C.D.:对跖格雷码04第一季第3集7.1 The Lord ofthe Lord(2004)22. Kim,D.,Ryu,M.,Lee,S.:结构光的对映格雷码在:IEEE机器人与自动化内部会议(ICRA)(2008)23. Koninckx,T.,Van Gool,L.:自适应结构光实时测距。IEEE Transactions on PatternAnalysis and Machine Intelligence28(3),43224. Mirdehghan,P.,陈伟,Kutulakos,K.N.:最佳结构光菜单。在:Proc. CVPR(2018)25. 莫雷诺D.儿子K Taubin,G.:嵌入式相移:具有嵌入信号的鲁棒相移。In:Proc.IEEE CVPR(2015)26. Nayar,S.K.,Krishnan,G.格罗斯伯格医学博士Raskar,R.:使用高频照明的场景的直接和全局分量的快速分离ACM Trans.Graph. 25(3)(2006)16M. Gupta和N. 纳克哈特27. O'Toole,M. Mather,J.,Kutulakos,K.N.:3D形状和通过结构光传输的间接外观。In:Proc. IEEE CVPR(2014)28. Posdamer,J.L.,Altschuler,医学博士:用空间编码投影光束系统进行表面测量。Computer Graphics and Image Processing18(1),129. Proesmans,M.,Van Gool,L.J.,奥斯特林克,A.J.:运动物体三维形状的主动获取图像处理国际会议论文集。第3卷,第第3卷(1996年30. Proesmans,M.,Van Gool,L.J.,奥斯特林克,A.J.:一次性主动三维形状采集。在:模式识别国际会议论文集。第3卷,第33631. Ragland,E.A.,哈里湾Schultheis,J.:方向敏感二进制码位置控制系统。美国专利2,823,345(1953)32. Rosman,G.,罗斯,D.,Fisher,J.W.:信息驱动的自适应结构光扫描仪。IEEE计算机视觉与模式识别会议(2016)33. 佐川河奥塔,Y.,Yagi,Y.,古川河Asada,N.,Kawasaki,H.:快速运动物体用单一图案密集三维重建方法。In:Proc. IEEE ICCV. pp. 177934. Salvi,J.,Fernandez,S.,Pribanic,T.,利亚多,X.:用于表面轮廓术的结构光图案的技术状态模式识别43(8)(2010)35. Srinivasan,V. Liu,H.C.,Halioua,M.:自动相位测量轮廓术:相位映射方
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功