140490微小基线结构光0Vishwanath Saragadam�，Jian Wang，Mohit Gupta和ShreeNayar NYC研究实验室，Snap Inc.0vishwanathsrv@cmu.edu，{jwang4，snayar}@snap.com，mohitg@cs.wisc.edu0摘要0我们提出了微小基线结构光（MSL），这是一种专为手机和微型机器人等小型设备设计的新型3D成像方法。MSL使用小型投影仪-相机基线和低成本投影硬件运行，并且可以使用计算轻量级算法恢复场景深度。主要观察结果是小基线导致小视差，从而使非线性SL图像形成模型的一阶近似成为可能。这导致了本文的关键理论结果：MSL方程，SL图像形成的线性化版本。由于每个像素处存在两个未知量（深度和反照率），MSL方程是欠定的，但可以使用局部最小二乘方法高效求解。我们分析了MSL在投影模式和基线等各种系统参数方面的性能，并提供了优化性能的指导方针。凭借这些见解，我们建立了一个原型来实验性地检验理论及其实用性。01. 引言0结构光（SL）是最常用的3D成像技术之一。由于硬件简单且深度分辨率高，SL适用于各种应用，如3D建模，生物识别，游戏和用户界面。典型的SL系统由一个投影仪和一个用于成像场景的相机组成。通过在投影仪和相机像素之间确定对应关系，可以通过三角测量计算每个场景点的深度。与所有基于三角测量的方法一样，SL需要投影仪-相机对之间的大基线才能可靠地估计深度[15,31]。然而，有几个新兴应用越来越依赖于小型设备。想象一下基于手机的增强现实0�本工作在Snap的NYC研究实验室完成，并得到SnapInc.的支持。Vishwanath就职于卡内基梅隆大学电气与计算机工程系，Mohit Gupta就职于威斯康星大学麦迪逊分校计算机科学系。0智能手机无人机0相机0相机0内窥镜0相机0（a）受限设备上结构光面临的挑战：有限的基线，低设备复杂性，低计算能力0线性化模型0相机I ��0静态掩0微小基线0LED场景0I �� = ρ �� P �� + u �� P ′ ��0（b）提出的微小基线结构光0未知0P ��0图1：受限设备上的结构光。小型设备具有严格的约束条件，如（i）小的投影仪-相机基线，（ii）具有有限功能的低成本硬件，以及（iii）低计算能力。（b）我们提出了微小基线结构光，这是一种线性化SL图像形成模型的新方法。这使得使用低复杂度投影设备进行快速准确的深度恢复和轻量级计算成为可能。0（AR）应用程序构建其周围环境的3D模型[19, 11,29]，或者微型无人机[22]在穿越茂密森林时识别树枝等障碍物，或者薄型内窥镜[28]上的3D相机在人体内进行复杂手术的辅助（图1（a））。由于它们的体积较小，这些设备无法容纳大的基线，使得现有的SL方法难以恢复准确的场景几何。040500在这些设备上使用一个简单的单一图案投影仪（使用静态掩模或衍射光学元件）可能相对容易，但要放置一个可以动态改变投影图案的完整投影仪可能会更具挑战性。这排除了一大类称为多拍摄SL的SL技术[23,3]，这些技术需要按顺序投影多个编码图案。然而，使用单个图案的方法通常需要复杂的对应匹配或学习算法，这可能在有限的计算预算和缺乏足够数据的情况下成本过高。我们提出了一种新颖的SL方法，称为微基线结构光（MSL），该方法专为这些高度受限的设备量身定制，从而打开了在小型、低功耗和低复杂度设备上部署SL的可能性。MSL在小（微）投影仪-相机基线的约束下工作，如图1（b）所示，并基于以下观察结果：小基线导致投影仪像素和相机像素之间的视差较小。我们的关键理论洞察是，通过一阶近似，可以线性化在未知数（深度和反射率）中非线性的结构光图像形成模型。这导致了一个新的线性SL约束的推导，即微基线结构光（MSL）方程，它将场景的反射率和深度与测量的强度相关联。0理论和实际性能分析：MSL方程在每个像素上有两个未知数（深度和反射率），因此在没有额外约束的情况下是无法解决的。我们设计了一种局部最小二乘方法，它假设深度和反射率在局部上是恒定的，并将MSL方程表示为一个2×2矩阵的线性系统，称为MSL矩阵。通过反转每个像素的2×2MSL矩阵，可以以计算高效的方式恢复深度。MSL的深度恢复性能可以通过MSL矩阵的属性来描述，令人惊讶的是，这些属性仅取决于投影图案。基于这一观察，我们提供了设计MSL矩阵的投影图案的实用指南，以确保可靠地进行反演。0现实世界的适用性和限制：为了放宽对于局部恒定形状和反射率的严格假设，我们设计了一种实用的MSL方法，它捕捉两幅图像——一幅带有投影图案的图像和一幅关闭投影仪的图像。无图案的图像被用作引导图像[10]，以恢复具有复杂纹理的场景的深度，同时保持低计算和硬件复杂度，以便投影仪仍然可以使用单个静态掩模实现。然而，由于额外的图像，MSL不是严格的单拍技术，可能会受到高速运动伪影的影响。0范围：MSL专门针对具有小基线、低功耗和低复杂度的受限设备进行了优化，它不是一种可以替代现有方法的通用SL技术。实际上，在无约束的情况下（大基线、数据可用性或高计算能力、能够投影多个图案），现有的SL技术将比MSL实现更好的性能。然而，在具有强约束的设备上，MSL提供了一种轻量级的解决方案，同时实现了良好的准确性。02. 相关工作0结构光编码技术：广义上，SL技术可以分为多拍摄和单拍摄方法[25]。多拍摄技术，如光条纹[2]、格雷编码[23]和正弦相移[3]，通过快速连续投影多个图案来估计形状。这些技术可以使用计算简单的解码算法恢复高精度的深度，但需要能够动态改变投影图案的复杂投影设备（如液晶显示器、数字微镜）。单拍摄技术仅投影一个图案，并依赖于在强度[32]、颜色[8, 13]或局部邻域[9, 20,14]中对投影仪对应关系进行编码。单一图案技术非常适合动态场景；然而，这些技术通常使用计算复杂的解码算法，需要专用硬件[1]以实现实时性能。也有一些具有相对简单解码的单拍摄方法（如傅里叶变换轮廓测量法（FTP）[30]），但它们对场景的纹理和深度做出了强烈的假设。实时SL系统：有一些方法可以进行高速（1000fps）SL，其中一些方法使用高成本的高速相机[12]，无法移植到移动设置中，另一些方法则使用基于学习的方法，如HyperDepth[24]和UltraStereo[7]。这些方法在具备足够的数据和专用硬件（如Kinect[1]）的情况下，已经证明具有快速和准确的性能。我们的目标不同。我们的目标是开发一种具有简单、分析和闭合形式解码方法的方法，该方法利用了在小基线约束下传统SL方程的微分形式。一个有趣的未来研究方向是将MSL与数据驱动技术相结合，以进一步提高准确性和速度。03. 结构光基础知识0我们首先描述一个SL系统的图像形成模型，以了解投影仪-相机基线在结构光系统中的作用。I(xl, ym) = ρ0P(xl, ym) + ρ0u0P ′(xl, ym).(4)�,(5)40510图像形成模型。考虑如图1（b）所示的投影仪-相机对。我们假设一个矫正的投影仪-相机配置，其中投影仪和相机中心水平偏移了B个单位。我们进一步假设投影仪和相机具有相同的空间分辨率和焦距f。这些假设仅为了方便说明；所提出的分析和技术对于一般配置和系统参数都是有效的。设P（x，y）为投射的图案。在相机像素（x，y）处捕获的图像强度由以下公式给出：0I（x，y）= A（x，y）+ ρ（x，y）P（x+u（x，y），y），（1）0其中A（x，y）是环境光的贡献，ρ（x，y）是包含场景纹理和BRDF、投影仪亮度和强度衰减的反射率项，u（x，y）=Bfz是编码场景深度z的视差项。注意，方程（1）是一个包含三个未知数A、ρ和视差u的单一非线性方程。0估计u：视差u通过找到投影仪和相机像素之间的对应关系来计算。多次拍摄技术通过对每个投影仪列进行唯一编码来估计对应关系。相比之下，单次拍摄技术将对应关系编码在局部邻域、强度或频率的单个投射图案中，但依赖全局推理和复杂的优化算法来进行准确解码。在下一节中，我们设计了一种只需要投射一个图案（但捕获两幅图像）且计算成本低廉的技术，可以在功耗有限的系统上高效实现。此外，尽管传统的SL系统使用尽可能大的基线，但所提出的技术适用于只允许投影仪和相机之间有小（微小）基线的小型设备。04. 微基线结构光0现在考虑一个具有小投影仪-相机基线B的SL系统，例如手机或微型无人机几何结构所允许的基线。由于视差u =Bfz在像素处与B成比例，给定场景深度z和相机焦距f，小的B导致小的视差。我们的关键观察是，在具有小视差的这种SL系统中，图像形成模型（方程1）可以通过泰勒一阶近似进行线性化：0I（x，y）≈ A（x，y）+ ρ（x，y）（P（x，y）+ u（x，y）P'（x，y））0= � I（x，y）≈ A（x，y）+ ρ（x，y）P（x，y）+�u（x，y）P'（x，y），（2）0其中P'（x，y）= ∂P0∂x（x，y）和�u（x，y）=ρ（x，y）u（x，y）。0非图案图像：方程（2）是一个线性方程，尽管有三个未知数。为了减少未知数的数量，我们通过关闭投影仪，捕获一个额外的无图案图像I nopattern，即没有投射图案的图像。这个额外的图像测量环境光的影响，即I no pattern（x，y）=A（x，y）。然后我们从图案图像I pattern（x，y）中减去Ino pattern，以消除环境成分。得到的差异图像I（x，y）=I pattern（x，y）- I no pattern（x，y）如下所示：0I（x，y）≈ ρ（x，y）P（x，y）+�u（x，y）P'（x，y），（3）0我们将方程（3）称为微基线结构光（MSL）约束。与原始的非线性SL方程不同，MSL约束在u（x，y）和ρ（x，y）中是线性的，因此可以以低计算复杂度高效地解决投影仪-相机对应关系。虽然去除环境光需要额外的图像，但只需要关闭投影仪即可。这保持了投影仪的简单性，它仍然只需要投射一个单一的静态图案。因此，我们将方程（3）用于接下来的分析。0局部最小二乘法。虽然公式（3）是线性的，但未知数ρ(x,y)和�u(x,y)使其成为一个欠定的线性系统。进一步正则化的一种方法是假设在一个小邻域内，反照率和视差都是常数，这增加了每个未知数的方程数。考虑相机图像中的一个n×n像素的窗口。通过假设该窗口内的反照率ρ0和视差u0是常数，可以将像素(xl, ym)的修改后的MSL约束方程写为：0对于n >1，线性方程组有唯一解，并且可以使用线性最小二乘法得到。我们现在提供一个简单的算法来计算窗口内的反照率和视差。设ic = [I(x1, y1), ..., I(xn, yn)]�为相机测量的向量。同样，设p = [P(x1, y1), ..., P(xn, yn)] �为投影模式的向量。0设投影仪强度的向量为p，投影模式在x轴上的导数的向量为p x。那么窗口内的一组方程可以写成：0ic = ρ0p + �u0px = �pp0� ρ0 �u00其中�u0 = ρ0u0，A =�pppx�。使用最小二乘法需要在两边乘以A�，得到A�ic =A�A�ρ0�u0。0这些假设是为了便于分析，并将在本文中稍后放宽。�,=xp⊤pxp⊤x px����MMSL�ρ0�u0(6)Relation to differential methods.The above analysisbears similarities to recent differential approaches designedfor photometric stereo [5] and light-field-based motion esti-mation [18]. These approaches also linearize an otherwisehard-to-solve non-linear problem, resulting in tractableanalysis and solutions. In the same spirit, MSL can be con-sidered as a differential version of SL.∆MSL = (p⊤p)(p⊤x px) − (p⊤px)2= ∥p∥2∥px∥2(1 − cos2(θ)),(7)̸̸̸̸40520�pp�icp�xic0�0我们将Micro-baseline StructuredLight矩阵称为MSL矩阵。公式（6）表明，使用所提出的方法，只需在每个像素点上求解一个2×2矩阵的逆，这是计算上廉价且易于并行化的。0与光流的关系。值得注意的是，MSL矩阵与Lucas-Kanade跟踪器中的结构张量类似。在立体视觉的背景下，已经研究了类似的视差/光流线性化和构造2×2矩阵的方法。结构张量和MSL矩阵之间的一个关键区别是，MSL矩阵仅依赖于投影模式及其导数。因此，MSL矩阵的可逆性只能通过分析投影模式的属性而不是场景来进行分析。05. MSL矩阵的可逆性0我们现在讨论MSL矩阵可逆和良好条件的要求。为了分析其可逆性，我们观察其行列式，0其中θ是p和px之间的角度。公式（6）可解当且仅当∆MSL≠ 0。这通过显示一个不全为零（p ≠ 0），不是常数（px≠ 0）或不是任何使θ ≠ 0，π的模式来确保。条件θ =0或π意味着p ∝ px，这只有指数模式才满足。0命题5.1（可逆性的必要和充分条件）。当投影的图案不是水平恒定的或形式为P（x，y）= c 1 e c 2x的指数图案时，MSL矩阵是可逆的。0有关推导，请参见补充材料。0（a）图案图像0� �，� � � ���，��0未知 已知0（d）相移（e）无引导（23毫秒，13.2毫米）（f）有引导（27毫秒，8.3毫米）0750毫米01150毫米0（b）引导（已知）（c）局部近似010�的强度0图2：处理高频纹理。大多数真实场景都有纹理对象。为了考虑场景中的高频纹理，引导MSL方法使用场景的无图案图像进行鲁棒的深度恢复（b）。我们将未知的对象纹理建模为引导图像的简单线性缩放，如（c）所示，这在深度估计方面有显著改进，同时保持低解码复杂度。0这个命题表明，理论上，通过投影不是常数或指数函数的图案可以保证MSL方程有解。接下来，我们讨论解的稳定性，在存在噪声的情况下这是一个重要的考虑因素。0在存在噪声的测量情况下的可逆性。为了在存在噪声的情况下稳定地反演MSL矩阵，必须最大化其两个特征值。这两个特征值是，0λ 1 = ∥ p ∥�01- cos 2（θ），λ 2 = ∥ px ∥ �01- cos 2（θ），（8）0并且与∥ p ∥，∥ p x ∥和1- cos 2（θ）成正比。直观上，∥p ∥与投影仪的亮度成正比，∥ p x∥与图案的局部梯度成正比。同时最大化这两个量是一个复杂的优化问题，我们观察到第三项1- cos 2（θ）在θ =90°时达到最大值，这由连续周期信号满足。因此，当投影的图案是周期性的时，MSL方程的稳定解可以得到。图案的周期可能与分析窗口不对齐。然而，在实践中，正如我们的实验所示，深度估计对小的错位是鲁棒的。I(xl, ym) = α0P1(xl, ym) + u0P2(xl, ym),(9)405306.处理纹理边缘0到目前为止的分析假设小窗口内的反射率和视差都是恒定的。虽然这简化了分析，但这些假设非常限制，因为大多数现实世界的场景都由纹理对象组成。为了处理这样的真实场景，我们提出了对MSL的简单修改，利用无图案图像来消除环境成分（第4节）。无图案图像作为引导图像G（x，y）进一步规范化MSL解码，特别是在存在高频场景纹理的情况下，如图2所示。我们称这种方法为引导MSL。0引导MSL：我们假设反射率在局部上是引导图像的缩放版本，而不是局部平滑的反射率。当窗口很小且对象不是高度镜面时，这样的假设成立。具体而言，我们假设反射率与引导图像之间存在以下关系，在分析窗口内，ρ（x l，y m）≈α0 G（x l，y m）。然后，MSL方程被修改为，0其中P 1（x l，y m）= G（x l，y m）P（x l，y m）和P 2= G（x l，y m）P ′（x l，ym）。上述方程与标准MSL相同，只是图案和导数的表达式不同，因此可以同样高效地解决。这类似于引导滤波[10]，其中要过滤的图像被局部表示为引导图像的线性缩放加上一个偏移量。为了保持计算简单，我们假设反射率只是引导图像的缩放版本。图2通过计算高纹理对象的深度来说明引导MSL相对于标准MSL的优势。引导MSL显著提高了基于MSL的深度恢复的准确性，几乎没有计算开销，从而扩大了所提方法的适用范围。从现在开始，我们所有的结果都是使用引导MSL方法计算的。07. MSL的实际考虑因素0现在我们讨论MSL系统的几个实际设计选择，包括设计投影模式和各种系统参数，包括基准线。07.1. 选择投影模式0如第5节所讨论的，周期性模式保证了MSL矩阵的可逆性，尽管在局部恒定深度（视差）的假设下。在本节中，我们旨在设计适用于更广泛场景几何的模式。我们不再假设局部恒定深度，而是模拟具有局部平面深度变化的小窗口中的局部几何，这是一种近似的方法。0线性视差可以很好地估计线性视差。我们能否设计出能够准确估计局部线性视差的模式？可以证明，当且仅当模式具有恒定的导数3时，MSL方程的解对局部线性几何是无偏的，即| P ′ ( x,y ) | = f ( y)。唯一满足此条件的模式是强度斜坡，但由于其导数较小，因此不理想。相反，我们选择窗口内的分段线性模式，以确保窗口内的导数近似恒定，并具有较大的局部梯度幅度。一个周期对称的三角形就是这样一种模式，它在几乎所有地方都是连续的且具有恒定的导数。本文中所展示的所有结果都是使用三角形模式得出的；与其他模式的比较结果在补充材料中展示。07.2. 选择系统参数0接下来，我们评估不同MSL系统参数（基准线、模式周期和窗口大小）对深度准确性的影响。由于捕捉具有各种参数范围的真实数据是不可行的，我们通过使用Middlebury数据集[26，27]中的几个场景进行模拟评估。对于所有的模拟，我们选择了一个与手机平台相似的系统配置。具体而言，相机和投影仪的焦距设置为f =25毫米，并且在深度范围100-2000毫米上模拟场景。我们还添加了读出和光子噪声，以了解噪声对MSL性能的影响。基于这些模拟，我们提供了选择参数以实现高性能的指南，然后通过真实实验进行了验证。0窗口大小。窗口的大小决定了估计的深度图的准确性和空间分辨率。这类似于基于块匹配的立体技术中窗口大小的影响。为了量化窗口大小的影响，图3显示了在20像素周期下不同窗口大小的准确性图。直观地说，较小的窗口无法捕捉足够的空间信息，导致对应关系估计的不确定性。相反，较大的窗口会导致空间平滑，导致分辨率损失。正如第5节中所指出的那样，适当的窗口大小接近于模式周期，因此窗口大小为20像素可以在所有场景中获得最高的准确性。0模式周期。对于固定的基准线，较小的周期可以准确捕捉小的深度变化，但限制了深度范围。相反，较大的周期可以实现更大的深度范围，但深度分辨率较低。具体而言，给定所需的深度范围d min和d max，视差范围由∆ = Bf / d min - 1确定0为了确保明确的解决方案和局部线性逼近成立，周期0详细信息请参见补充材料。1020304010 010 2102050100101102baby1baby2baby3booksbowlingcactuscloth1cloth2cloth3conesdollslaundrymoebiusmonopolyplasticpotsreindeerrocksshade1shade2teddytoysumbrellawood1001011021510501005001000 (3.2MP, 1105ms) (3.2MP, 133ms) (3.2MP, 27ms)4054020 40 60 80 100窗口大小（像素）0平均误差（毫米）0基准线（毫米）0平均误差（毫米）010px 30px60px 100px最佳准确性0图3：MSL与窗口大小和模式周期的准确性。（a）20像素模式周期下不同窗口大小的MSL性能（深度误差）。与模式周期相近的窗口大小获得最低的误差。（b）不同模式周期的性能作为基准线的函数。随着基准线的增加，最佳周期也增加。我们选择每个基准线的适当周期，得到最佳的准确性曲线（黑色）。05 10 15 50 100 200 基线（毫米）0平均误差（毫米）0图4：MSL与基线的准确性。该图显示了使用Middlebury数据集上的几个示例场景进行模拟时，MSL与基线之间的准确性。在各个场景中，MSL在8到30毫米的基线范围内实现了最佳性能。0n需要满足n≥2∆。图3（b）说明了一些代表性模式周期的准确性与基线的关系。显然，对应于最小误差的周期随着基线的增加而增加。0选择合适的基线。较小的基线确保一阶近似成立，但会导致三角测量误差[31]。另一方面，较大的基线需要较大的窗口，因此局部恒定性假设可能不成立。图4显示了基线函数的准确性模拟。对于这个分析，给定一个基线，我们选择能够在该基线下获得最佳准确性的模式周期。我们观察到，MSL在8-30毫米的范围内在各种示例中始终实现最高准确性。在实践中，参数的确切选择取决于几个其他因素，例如投影仪的允许分辨率，相机和投影仪的散焦。我们发现15毫米的基线导致最准确的结果，因此我们的实验室原型是以这个基线配置的（见图6）。050 100 150 200基线（毫米）0平均误差（毫米）0BlockMatch相移 MSLMa等人[17]0(a)不同方法的误差与基线的关系00 1 2 3 分辨率（MP）0时间（毫秒）0BlockMatch（SGBM）BlockMatch（naive）MSL0(b)在Android手机上的运行时间与分辨率的关系0图5：何时应该使用MSL？（a）多模式方法如相移始终优于MSL。单模式方法（例如BlockMatch）在较大的基线上也可以优于MSL；只有在小于100毫米的基线下，MSL才能实现更高的准确性，这可以被视为MSL的工作范围。（b）MSL在一系列图像尺寸上比BlockMatch快一个数量级。这里的运行时间在Android手机Pixel 2XL上进行测试。因此，MSL适用于受限于小基线、低计算能力和无法投射多个模式的设备。07.3. 何时应该使用MSL？0在哪些设备约束下，MSL比现有的SL技术更合适？MSL针对的是具有受限形态因子、低硬件复杂性和计算资源的平台，因此不应被视为现有测距硬件的全场景、通用替代品。例如，如果系统能够投射多个模式，那么相移[3]即使在窄基线下也能准确工作，如图5所示。同样，如果系统具有足够的计算资源和/或较大的基线，现有的单拍技术[20, 8, 33, 1, 7,24]可以实现比MSL更高的准确性。此外，如果系统配备了两个摄像头，可以依靠精确的立体匹配技术[17]获得对应关系，尽管需要较大的计算需求。然而，当考虑的设备小型且硬件和计算能力有限时，MSL提供了一种轻量级解决方案。图5说明了在小于100毫米的基线下，MSL比块匹配更准确，同时速度显著更快。具体数字取决于确切的配置，当基线较小且只能投射一个模式时，MSL是合适的。08. 实验0硬件设置。我们的设置包括一个1280×720的DLP投影仪（AAXA技术）和一个2048×1536的机器视觉相机（BasleracA2040-120uc），焦距分别为8毫米和12毫米。不同的焦距和830mm1000mm800mm1000mm40550投影仪0相机0示意图0图6：硬件设置。我们将机器视觉相机放置在具有15毫米水平基线的DLP投影仪上方。虽然由于机械约束，垂直基线很大，但只有水平基线是重要的，因为我们使用的是垂直对称的图案。0场景真实值0MSL随机点07.8毫米6.2毫米0图7：与单一图案方法的比较。我们将MSL与依赖伪随机图案的流行单拍技术进行比较。单一图案技术依赖于具有全局推理和复杂优化的搜索策略。MSL可以实现与现有单拍方法相当的性能，同时速度更快（27毫秒对比133毫秒）。0像素尺寸导致相机图像中投影仪图案的放大倍数约为2.5倍。相机放置在投影仪上方，水平基线为15毫米，如图6所示。系统还具有沿垂直方向的基线，由于机械约束无法避免。然而，由于我们投影的是垂直对称的图案，因此只考虑水平基线和视差；垂直基线不会影响水平视差的计算。0真实值。我们使用相移编码以五个频率捕捉了真实的深度信息，对应于模式周期为1280像素、100像素、50像素、20像素和10像素。较低的频率用于展开较高频率的相位，从而实现亚像素精确的视差估计。0在手机上的运行时间比较。为了评估实时能力，我们将MSL与具有微小基线的立体块匹配算法进行了比较，通过投影运行0（a）帧179（b）帧285（c）帧4370图8：MSL的视频速率深度。MSL的低计算和采集复杂性使得能够以视频速率捕捉深度。我们展示了使用所提出的技术计算的手势的15fps 3D成像的选择帧。0随机点图案。结果在图7中可视化。请注意，投影的图案以及解码策略并不针对窄基线进行优化；我们的重点是比较计时复杂性而不是准确性。图5（b）显示了在Android设备Google Pixel 2XL上对不同图像分辨率进行运行时的比较，使用了基于匹配的方法，如块匹配和半全局方法（SGBM）使用OpenCV[4]实现。对于3MP图像，块匹配和半全局技术的运行时间分别为133毫秒和1秒。相比之下，MSL的运行时间为27毫秒，表明MSL适用于移动平台。0视频序列。轻量级结构光技术的一个好处是能够以视频速率计算深度。为了测试这一点，我们以30fps的速率捕捉了一系列图像，用于视频速率的3D成像。交替帧是没有任何图案的，用作引导图像。系统以15fps的速率输出深度视频和无图案视频，这是无需计算的（无需进行图案-场景分离），并且通常对增强现实非常有用。我们在图8中展示了三个代表性的深度帧。请注意，深度变化在各种手势中都是清晰可见的。更重要的是，估计深度的计算开销足够小，可以实时输出，使得MSL成为移动系统的一种引人注目的技术。0实验评估。图9显示了在具有不同几何和纹理复杂性的几个场景上基于MSL的3D重建结果。所有实验都是使用不同周期的三角形图案进行捕捉的，以展示可以使用MSL的各种场景。第一行显示了具有各种纹理复杂性的平面物体的结果。模特场景展示了用于具有有限纹理的非平面场景的MSL。请注意，3D模型显示了额头和脸颊上的曲线。最后，浮雕场景显示了小深度范围但高空间复杂性的准确性。浮雕的深度图750mm1150mm0mm100mm7.8mm2.5mm840mm960mm5.4mm62.3mm28.3mm40560场景真实值MSL深度误差03D模型0平面模特浮雕0图9：使用MSL进行三维成像实验。我们在几个场景上展示了MSL的性能，这些场景的复杂程度不同-一组平面（顶部行），模特脸部（中间行）和浮雕结构（底部行）。场景是用三角形图案捕获的，分别具有20像素、10像素和6像素的周期。MSL能够准确地恢复具有纹理和小深度变化的平面和曲面的深度。0浮雕场景是通过显示具有6像素周期的图案来计算的，从而获得高空间分辨率。请注意，在3D模型中，对战机大腿的重建是准确的。在所有情况下，深度误差小于8mm。0失败案例。由于MSL是一种局部的、窗口化的估计技术，深度边缘处的计算深度被平滑处理，导致粘附到物体边界上（见图9中的平面场景）。对于高纹理物体和复杂几何结构（如细结构），性能也会下降，因为违反了局部恒定性假设。其次，引导MSL假设窗口内的反照率是环境照明下图像的缩放版本。如果环境照明、投影仪照明或反射率的光谱具有较大的变化，或者表面法线具有较大的变化，则该假设不成立，会产生伪影。第三，MSL依赖于亮度与亚像素精度的视差，但容易受到间接照明的影响，因此在互反射或次表面散射下无法良好地工作（见图10）。09.讨论0我们提出了一种新的SL技术，旨在在窄基线、简单、低成本硬件和低计算能力的约束下运行。通过线性化0次表面散射0互反射0（a）场景（b）MSL深度（c）深度误差0图10：全局照明对MSL的影响。全局照明效果，如散射和互反射，可能导致深度估计错误。（顶部）笔记本电脑和支架之间的互反射导致深度错误（62.3mm误差）。（底部）由于次表面散射和复杂纹理引起的深度错误。0通过投影仪-相机对应方程，我们展示了可以使用局部最小二乘方法高效地估计深度。我们提供了设计投影图案的理论和实践指南。MSL能够使用有限的硬件计算深度，使其成为手机、无人机、微型机器人和内窥镜的理想技术。[2] Gerald J Agin and Thomas O Binford. Computer descrip-tion of curved objects. IEEE Trans. Computers, (4):439–449,1976. 2[3] Dirk Bergmann. New approach for automatic surface recon-struction with coded light. In Remote Sensing and Recon-struction for Three-dimensional Objects and Scenes, volume2572, pages 2–10. International Society for Optics and Pho-tonics, 1995. 2, 6[4] G. Bradski. The OpenCV Library. Dr. Dobb’s J. SoftwareTools, 2000. 7[5] Manmohan Chandraker, Jiamin Bai, and Ravi Ramamoor-thi. On differential photometric reconstruction for unknown,isotropic brdfs. IEEE Trans. Pattern Analysis and MachineIntelligence, 35(12):2941–2955, 2013. 440570参考文献0[1] Microsoft kinect. https://en.wikipedia.org/ wiki/Kinect .访问日期：2018-11-16. 2 , 60[6] Julie Delon和Bernard Rougé. 小基线立体视觉.数学成像与视觉杂志, 28(3):209–223, 2007. 40[7] Sean Ryan Fanello, Julien Valentin, Christoph Rhemann,Adarsh Kowdle, Vladimir Tankovich, PhilipDavidson和Shahram Izadi. 超立体:用于主动立体系统的高效学习匹配.在IEEE国际计算机视觉和模式识别会议(CVPR)上, 2017. 2, 60[8] Zheng Jason Geng. 彩虹三维相机:高速三维视觉系统的新概念. 光学工程, 35(2):376–384, 1996. 2, 60[9] Paul M Griffin, Lakshmi S Narasimhan和Soung R Yee.生成用于范围数据采集的唯一编码光模式. 模式识别,25(6):609–616, 1992. 20[10] Kaiming He, Jian Sun和Xiaoou Tang. 引导图像滤波.在IEEE欧洲计算机视觉会议(ECCV)上, 2010. 2, 50[11] Anders Henrysson, Mark Billinghurst和Mark Ollila.面对面的移动电话协作增强现实.在IEEE/ACM国际混合与增强现实研讨会上. IEEE计算机学会, 2005.10[12] Peisen S Huang, Chengping Zhang和Fu-Pen Chiang.基于数字条纹投影的高速3D形状测量. 光学工程, 42(1):163–169,2003. 20[13] Changsoo Je, Sang Wook Lee和Rae-Hong Park.用于快速结构光范围成像的高对比度彩条纹模式.在IEEE欧洲计算机视觉会议(ECCV)上, 2004. 20[14] Hiroshi Kawasaki, Ryo Furukawa, RyusukeSagawa和Yasushi Yagi.使用单个结构光模式进行动态场景形状重建.在IEEE国际计算机视觉和模式识别会议(CVPR)上, 2008. 20[15] Jianyang Liu和Youfu Li.短基线投影仪-相机系统的3D形状测量算法性能分析.机器人与仿生学, 1(1):1, 2014. 10[16] Bruce D Lucas和Takeo Kanade.一种迭代的图像配准技术及其在立体视觉中的应用.在图像理解研讨会上, 1981. 40[17] Ning Ma, Peng-fei Sun, Yu-bo Men, Chao-guangMen和Xiang Li. 用于窄基线遥感图像立体视觉的亚像素匹配方法.工程中的数学问题, 2017. 60[18] Sizhuo Ma, Brandon Smith和Mohit Gupta.从4D光场梯度中获取3D场景流.在IEEE欧洲计算机视觉会议(ECCV)上, 2018. 40[19] Mathias Mohring, Christian Lessig和Oliver Bimber.消费者手机上的视频透视增强现实.在IEEE/ACM国际混合与增强现实研讨会上, 2004. 10[20] Raymond A Morano, Cengizhan Ozturk, Robert Conn,Stephen Dubin, Stanley Zietz和J Nissano.使用伪随机码的结构光. IEEE模式分析与机器智能交易,20(3):322–327, 1998. 2, 60[21] Gareth Llewellyn Keith Morgan, Jian Guo Liu和HongshiYan. 从非常窄的基线立体测量中精确子像素视差测量.IEEE遥感与遥感, 48(9):3424–3433, 2010. 40[22] Tomoyuki Mori和Sebastian Scherer.首次在单目相机上检测和避免前方障碍物的微型无人机结果.在IEEE国际机器人与自动化会议上, 2013. 10[23] Jeffrey L Posdamer和MD Altschuler.通过空间编码投影光束系统进行表面测量.计算机图形学与图像处理, 18(1):1–17, 1982. 20[24] Sean Ryan Fanello, Christoph Rhemann, VladimirTankovich, Adarsh Kowdle, Sergio Orts Escolano, David Kim,and Shahram Izadi. Hyperdepth: 从结构光学习深度而无需匹配.在IEEE国际计算机视觉和模式识别会议(CVPR)上, 2016. 2, 60[25] Joaquim Salvi，Sergio Fernandez，TomislavPribanic和XavierLlado。表面轮廓测量中结构光模式的最新技术。PatternRecognition，43(8)：2666-2680，2010年。20[26] Daniel Scharstein和RichardSzeliski。密集的双帧立体对应算法的分类和评估。Intl. J. Comp.Vision，47(1-3)：7-42，2002年。50[27] Daniel Scharstein和RichardSzeliski。使用结构光的高精度立体深度图。在IEEE In
我的内容管理
展开
