基于Kinect传感器的3D扫描及优化方法研究

工程科学与技术，国际期刊22（2019）555完整文章Kinect传感器Erdal Özbay Zahmet Zahninar计算机工程系， Firat University，23119 Elazig，土耳其阿提奇莱因福奥文章历史记录：2018年6月29日收到2018年9月25日修订2018年9月26日接受在线发售2018年关键词：对齐Microsoft Kinect点云优化3D扫描A B S T R A C T物体的3D扫描已经在计算机图形学和计算机视觉中广泛使用多年。在这个领域有各种各样的解决方案，例如用于扫描的运动或多个传感器。在这项研究中，我们提出了一种方法，通过一个固定的Kinect传感器，其使用比传统的3D扫描仪更实用，更具成本效益的用户的自然运动生成扫描。针对Kinect采集的低质量三维点云，提出了基于LVS的局部体素化结构该方法允许在各种室内和短距离3D对象中生成完整的点云数据。所开发的物体扫描系统易于设置，产生简单而令人印象深刻的结果。站立在转盘上的3D对象面向单个固定的Kinect传感器以特定角度旋转（例如，90°）以获得多个点云扫描数据。然后，将扫描得到的点云数据重心移动到（0，0，0）原点位置进行合并和对齐操作。因此获得后续扫描。从第二次和随后的扫描获得的点云数据分别相对于中心点（0，0，0）在y轴方向上变换。在某些情况下，x轴和z轴也可以用于旋转。从不同角度获得的变换后的点云数据相对于彼此对准，根据所确定的合并关键点移位。对一个完整的三维点云数据进行了细化运算。因此，所得到的扫描具有没有数据拥挤的3D、干净且有序的结构我们的方法已经验证了大量的用户和不同的3D对象，并根据度量规格与参考扫描进行比较。©2018 Karabuk University. Elsevier B.V.的出版服务。这是CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍真实感三维物体和人体建模广泛应用于计算机游戏、计算机视觉、动画、计算机图形学和人机交互等领域。然而，要找到合适的模型并不是一件容易的事.如今，使用3D结构光扫描和快速激光扫描技术可以获得非常接近现实的高精度测量[1]。例如，使用高精度地面激光扫描仪对属于文化遗产的结构进行3D建模和结构分析操作是有价值的工作[2]。另一个有价值的工作是使用Mapstrip方法来完成和优化3D模型[3]。实施的困难和系统的高成本是这些技术的广泛使用的障碍。此外，经常咨询专家知识来管理这些设备中使用的设备。*通讯作者。电子邮件地址：erdalozbay@firat.edu.tr（E.Özbay），acinar@firat.edu.tr（A.（inar）。由Karabuk大学负责进行同行审查。系统. 物体扫描的主要问题是，在创建完整的3D模型时，相机或物体中的一个，有时两者都必须移动。在提取人体3D模型期间可能发生类似的痛苦，这取决于人体没有稳定地为了克服这些不利因素，已经提出了不同的办法。在三维物体建模和人体建模中，经常使用基于图像的方法。最先进的多视图方法可以提供有效和准确的结果[4]。在轮廓形状（SFS）方法中，同步使用多个传感器可以产生有效的结果[5，6]。这种方法最重要的优点是，它是足够的，看看轮廓信息的纹理。但是，这些方法具有高计算成本，并且来自不同视图的稀疏或复杂纹理中的遮挡会导致取决于同步相机数量的问题[7]。微软的Kinect距离传感器摄像头吸引了计算机图形学领域研究人员对距离测量的关注。与已知的3D扫描仪相比，它可以以视频速率捕获图像和深度此外，他们也可能https://doi.org/10.1016/j.jestch.2018.09.0122215-0986/©2018 Karabuk University.出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程科学与技术国际期刊杂志主页：www.elsevier.com/locate/jestch556E. Ozbay，A.工程科学与技术，国际期刊22（2019）555Fig. 1. 扫描系统设置。对光线和质地条件敏感。易于携带、简单和低成本是Kinect经常受到青睐的原因。研究人员利用物理场景的深度信息进行了许多研究。近年来，他们中的许多人在类似的作品中使用Kinect相机作为扫描仪。在一些研究中，Kinect用于构建室内环境的密集3D地图[8]。此外，Kinect传感器对于3D扫描具有非常低的x，y，z分辨率和深度精度[9]。此外，在360°扫描之后，必须收集各个捕获，并且必须将图案聚合到正确的对准。在其中一项研究中描述了一种超分辨率方法，以提高扫描数据的分辨率值[10，11]。也有研究使用外部图形硬件与Kinect在这个领域[12]。在另一项工作中，Kinect已经用于通过单个（RGB）图像和相应的深度图来计算高质量的个性化化身[13]。实时捕捉的面部表情被映射到特定的字符。在最近的其他作品中，SCAPE模型已经被引入到使用轮廓图像和深度数据使用单个Kinect来预测人体[14]。但是这种方法单独考虑姿态和形状变形。另一方面，基于张量的模型方法同时处理姿态和形状变形[15]。在本文中，如图所示。 1，我们介绍了一种系统，该系统使用单个固定的Kinect传感器在室内区域中执行3D对象的全扫描。一个细化过程已被应用到用于360度扫描的几何对齐的点云。因此，生成具有合理质量和比正常扫描数据少得多的规则数据的闭合3D形状扫描数据。首先，使用转盘以不同角度扫描单个固定Kinect对面的对象。扫描次数取决于物体扫描中的遮挡状态。扫描是从总共360°的完整角度获得的。然后对重叠区域进行细化处理。每次扫描被移位到中心数据（0，0，0）以实现几何变换。此过程将提供正确的点转换。将从不同角度获得的关键姿势序列彼此对准，与所选择的对准关键点配对。对齐后，一系列细化操作应用于所产生的全3D扫描，使数据更加自然。2. 材料和方法在3D对象扫描方法中使用的技术通常使用诸如激光或结构光条纹扫描仪之类的主动系统，或者直接操作的诸如图像扫描仪之类的被动系统。系统[11]。在以视频速率获取深度图像的同时，3D或深度传感器的能力在新的扫描方法中脱颖而出。Kinect传感器提供比飞行时间（ToF）相机更清晰的数据和相对更少的噪声扫描。稳健的对齐技术用于配准这种结构化数据的扫描，例如迭代最近点（ICP）及其变体或全局刚性对齐[16，17]。 合并方法可用于在刚性对齐后创建单个3D结构网格[18，19]。在一些作品中，已经实现了一个过程，其中手持相机围绕一个固定的3D对象自由旋转。在其他情况下，相反，从不同的角度扫描例如相对于固定的3D传感器用转台旋转的3D对象[20]。3D对象扫描和建模活动根据相机的数量和3D对象的运动大致分为四种不同的场景这些不同的方法导致了不同研究领域的发展这些场景 可 以 分 类 如 下 ： （ 1 ） 具 有 单 个 固 定 传 感 器 的 移 动 对 象（MOSFS），（2）具有单个移动传感器的静态对象（SOSMS），（3）具有多个固定传感器的静态对象（SOMFS），以及(4)移动物体与多个固定传感器（MOMFS）。2.1. （MOSFS）移动物体与单个固定传感器基于MOSFS的方法通常应用于基于深度的统计学习方法。在这些方法中，通过将对象的形状与拟合图像剪影和深度数据匹配以形成SCAPE模型来估计对象的形状[14]。学习一个方案，其中预测最佳模型匹配。最后的模型是从候选子空间映射。这种方法的实现过程可能相对较慢。在一个建议使用简单的3D扫描仪的作品中，形状被测量为像一支移动的铅笔在物体上的阴影。这种方法只适用于静态设置。在物体周围没有任何运动[21]。作为主动对象扫描研究的替代方案，存在基于图像的被动方法，例如SFS重建和立体[20，22]。在我们的工作中，扫描系统已经实现了一个旋转表，可以控制的对象的运动，而不是执行一个麻烦的学习过程，如模型匹配。2.2. （SOSMS）具有单个移动传感器的静态对象在基于SFS的方法的扫描方法中，传感器被安装在机器人臂上，使得臂围绕对象圆形地移动。在该圆周运动期间被跟踪的连续帧受到确定的基本帧的限制。E. Ozbay，A. 工程科学与技术，国际期刊22（2019）555-568557自由度矩阵（DoF）[23]。为了估计所有的基本矩阵参数，可以最小化对应的极线缠结的重新投影误差[24]。因此，3D对象模型可以在从这些基本矩阵计算的运动中重建。最近，KinectFusion扫描方法（基于深度的方法之一）已经相当成功[25]。 在这种方法中，执行诸如相机姿态估计、体积形状表示和与迭代最近点的积分扫描对准的操作[12]。可以基于静态3D场景的实时体积表示和再现来执行密集跟踪[26]。虽然它适用于静态场景，但在移动扫描中的点配准期间可能会发生故障。为了实现实时工作的性能，应用程序必须得到GPU的支持。与Kinect传感器相比，ToF摄像头。因为它更能容忍系统性的扭曲。在这方面，不可能将KinectFusion方法直接应用于ToF相机。已经提出了一些方法，如超分辨率，以避免去噪[17]。2.3. 具有多个固定传感器的（SOMFS）静态对象在基于IFS的方法中，在使用基于表面的表示的能量最小化和正则化过程结束时，结果可以令人印象深刻[27]。还提出了将立体3D场景重建和基于SLAM的相机跟踪与密集深度图匹配的方法[28，29]。但这种方法有一个局限性，即这些疾病可以得到解决和恢复。类似地，尝试通过SFS方法中的SFS和基于照片一致性的细化的组合来解决在捕获3D对象的凹陷中经历的失败的问题[30]。随着市场上广泛引入的测距传感器，研究人员可以直接在3D建模中生成3D对象的形状使用商业生产的多个校准深度范围传感器执行3D对象和人体建模。三维物体的点云需要从不同的相机获得对齐。尽管到目前为止在这两种方法中已经实现了高精度，但是从该系统可以应用于室内家庭应用的事实中去除了诸如多个相机的同步和相机之间的干扰的消除的因素[31]。2.4. 具有多个固定传感器在该方法中使用的相机的数量与对象的运动增加物体运动的角度可以减少固定摄像机的数量如果良好的配准提供了组合3D对象的多个扫描，则适合增加相机的数量。在SFS方法的一些方法中，实现对象的彩色表面点（CSP）并通过定位它们来配准[32]。6-DoF刚性运动合并来自两个连续帧之间的CSP的信息。在基于深度的方法中，可以使用ICP算法的铰接版本来实现良好的配准操作[33]。尽管如此，成对非刚性几何配准或球配准可以迭代执行[34]。因此，所有这些方法都需要使用至少3或4个同步传感器相机。此外，在扫描过程中，面对相机的物体需要保持刚性或在转盘上移动。获取真实物理3D对象的几何内容是计算机视觉和计算机图形学领域的一个基本概念。不幸的是，目前还没有现成的低成本系统能够提供高质量和高分辨率的距离实时3D场景信息[35]。激光和结构光等设备，可以产生高质量的扫描，价格昂贵，需要专业知识的使用，如Cyberware Scanner的平均价格为220，000美元数据采集也可以使用低成本的深度相机来完成这些传感器采用两种不同的方法进行深度测量。第一个称为飞行时间（ToF），它解决了物体和相机之间的每个视点的光信号的飞行时间的距离。SwissRanger是一款工业ToF相机，可实时提供高分辨率3D图像数据。SR 4000/SR 4500 3D的价格约为10，000美元。第二个使用红外线模式。通过对场景反射的红外图案变形进行编码，计算场景的深度。这些相机比使用红外成像仪的ToF传感器成本更低而Kinect的摄像头大约是100美元。在这项工作中，我们介绍了一个国内的应用系统，执行一个完整的3D扫描使用一个单一的固定Kinect。家庭应用程序可以很容易地被日常用户使用。只有Kinect用于可靠的形状捕捉。虽然它使用简单，成本效益高。出于这个原因，细化算法已被应用到获得一个规则的3D结构和自然化的路线。3. 扫描系统本研究的目标是生成一个3D形状扫描仪，该扫描仪使用手动操作的手持式转台，基于ToF摄像机生成真实物体的360°3D点云[36]。该系统由一个与红外系统一起工作的有源Kinect摄像头和一个位于其前面转盘上的3D物体组成[37]。在转台的帮助下，根据同一物体的不同角度进行一系列扫描在此操作期间，Kinect保持静止，转盘上的3D对象将手动旋转扫描次数和旋转角度取决于3D对象的可见性。当没有可见遮挡时，扫描度数完成到360。扫描角度选择为90°。在这种情况下，不能期望进行出色然而，不完整或缺失的点在3D变换和对准过程之后通过细化过程进行校正[38]。所提出的方法不需要高级别的数据输入。因此，系统设置简单、容易且成本低[39]。图2示出了来自人体的不同角度的原始数据。每次扫描时，使用转盘将面向相机的3D对象旋转90°。因此，扫描数据完成到360，几乎没有遮挡。当四个生成的扫描显示在同一坐标平面上时，产生的重叠如图所示。 2 b.3.1. 立方体积LVS使用一个局部立方体来有规律地均匀划分相邻区域立方体体积占据在计算机视觉领域有着广泛的应用。立方体积结构已被定向，以获得旋转不变性。 立方体积定义的细节在图中介绍。3.第三章。为了明确物体的结构，在空间中计算并划分局部三次相交曲面。立方体积为快速和均匀的空间划分提供了优势在这方面，创建一系列体素，也称为体素化。LVS的基本原理是基于确定体素中是否存在一个或多个点。因此，首先检查对应于特定体素上的体素索引qi阿吉什ð1个;2分;···Nv我0否则558E. Ozbay，A.工程科学与技术，国际期刊22（2019）555图二、（a）系统使用单个Kinect从不同角度捕获人体的原始数据，以及（b）在同一坐标系中显示图三. 绘制具有立方体积定义、体素化和体素标签集成的LVS描述符。通过体素化计算，得到了缺省值Nv=m3的曲面Qc为了实现体素的二元结构表征，我们用0或1标记立方体体积中的每个体素。然后我们一点一点地整合这些标签。vid q¼，qi：zr，xm2，qi：yr，xm，qi：xr，1f. lvlvlv3其中m是沿着立方体体积的每个边缘的部分的数量，l是体素化期间的分割步骤，即，2r/m。b：c演示下舍入操作。在Qc已经被索引，体素vi包含点子集Qvi。此外，在Qvi的帮助下，针对体素vi定义标签l（vi），我是说，1ifjQvij>0本节表明，LVS有潜力表示局部形状的几何结构与显着更少的位和体素点。这种LVS过程预计是不变的刚性变换和各种挑战，如噪声，点密度变化，点不规则性。 这在图中示意性地总结。 四、首先，LVS使几何特征对刚性变换不变性其次，与之前的描述符不同[40]，点作为特征编码单元，所提出的LVS考虑到l步l步l步LVS¼我我¼ ðÞP我7564y64克hi不7564z075¼64ghi不7564z7567E. Ozbay，A. 工程科学与技术，国际期刊22（2019）555-568559该方法以整个体素为编码单元，在面对噪声、点密度变化、点不规则等点级扰动时具有良好的稳定性。在这项技术的帮助下，我们还强调，点不规则性现象在文献中很少被探索，尽管它在由Kinect等低成本传感器捕获的点云中起源几何变换操作是从坐标系到其自身的映射。通常，变换后的几何模型被改变到其模型坐标系（MCS）。将变换操作应用于针对3D对象扫描的原始点集。作为变换过程的结果，对象参数及其相对距离被保留。均匀将3D中的坐标提升为4维位置向量。算法1.输入：获取每帧的参考点云，Pref;fi¼1···ng：3D点P在齐次坐标中由4维向量表示为（4）;2x 3 2ax 3是的RP输出;fi¼1·· ·ng：计算每一帧的重心P¼64z7564ax751一ð4Þ初始化x max;ymax;z max x avg;yavg;z avg countmax：当i≤ncountcount1xmaxxmaxxi;ymaxymaxyi;zmaxzmaxzi：变换点集Xωf P;t;t是变换参数。在齐次坐标中，3D变换由4 × 4矩阵表示，并且点变换被执行为（5）;end while2aBCtx32x0 32aBCtx32x3xavgxmax=count Max;yavg 最大值=6defTY76Y0 76defTY76Y7zz为i¼1n做00 0 1100 0 1 1Pref xi¼xi-xavg;yi¼yi-yavg;zi¼zi-zavg端计算多次扫描的3D旋转。P in;fi1·· ·ng：（3）.点云围绕空间中任意轴的3D旋转应用如下步骤：● 与其中一个坐标轴重合的任意轴我出来● 考虑一个任意轴通过一个点（x，y，z）返回RPi;f=1 ···ng.所有对瓣架的刚性配准。3.2. 刚性配准3D对象的刚性变换可以包括平移和旋转过程，而无需缩放和剪切。例如，确定在不同空间中定义的坐标（y1，y2，y3），具有方向余弦（CX，CY，CZ）。● 将（x0，y0，z0）变换到坐标中心（原点）。● 适当旋转以使轴与y轴重合● 绕y轴旋转对象。在3D变换中有三个正交的平面，它们是要旋转的对象。这些称为围绕轴的旋转平面。在（6）中公式化了围绕轴旋转弧度的第一步骤;使用Affine3D映射数据的每个点（x1，x2，x3）即2x0 32个cos/0-sin/032x3为什么这些操作通常用作Affine3D中的子集转变在对同一对象的多次扫描中，点云的重叠然而，重叠之间的间隙导致ΣRyΣ0年沪ICP备16004440号-110 1 00正弦/余弦/0 0 0 17564z7561问题因为重叠的冗余被一系列的归约操作正则化了。但是，如果重叠部分之间存在间隙，则无法进行校正。而Kinect摄像头可以进行三次不同的扫描，平均120°，通常以较大的扫描次数和较低的旋转角度进行扫描。在使用Kinect执行的每次扫描中，使用大量体素生成一组点云数据。高级插值解决方案是缓慢的，因为许多体素是在这些数据聚类的收敛处计算的。点云的刚性变换提供更快的插值。因为只有体素以指定的速率进行平移操作[41]。在我们的算法中，使用Kinect获得的所有点云数据根据左手坐标系旋转。在执行转换操作之前，计算针对相同3D对象捕获的每个扫描的权重中心。该重心在作为原点的坐标系（0，0，0）的中心移动。如图5所示，所有其他数据在相同方向上一起移位移位量。用于对齐3D点云帧的流水线在算法1中作为伪代码给出根据点云数据的原点执行3D几何变换操作，绕y轴的回旋旋转调整到左侧坐标系如（7）所示;p0¼Ry/p 7这些矩阵以适当的顺序相乘并执行运算。这些操作的顺序很重要。角度是点云扫描期间在转盘上旋转的3D对象的旋转角度。旋转角度f根据p系数被引入到程序中。只有3D对象的第一次扫描不涉及旋转操作。如图6所示，随后的3D旋转以扫描的每一圈的速率执行。第一次扫描是稳定的。程序中用于每次后续扫描的3D旋转角度的角度值为p/2、p和3p/2。3.3. 对准全局对齐是可以应用于刚性扫描的环路闭合问题的方法之一[42]。在另一种暴力解决方案中，它是使用ICP算法[43]迭代所有扫描。这类系统的方法通常涉及大方程解。在另一种解决方案中，采用贪婪的方法，countmax;zavgzmax=countmax重心和所有点都移到原点，ð5Þ¼6560E. Ozbay，A.工程科学与技术，国际期刊22（2019）555见图4。(a)在2D中演示LVS的鲁棒性，并说明（b）噪声，（c）点密度变化和（d）点不规则性。图五. 不同扫描的重心被移动到原点。每个新的扫描与先前的扫描对准。 然而，在这些方法中，来自先前扫描的错误可能无法减少，并且不能保证产生一致的循环。出于这个原因，成对对齐的想法出现在扫描之间。首先，对帧执行变换操作，以在几何级别上刚性对齐。然后，为每连续两帧确定对准关键点。 这些关键点由用户从对象的相反特征（例如角、边缘、端点等）确定[44]。 这些点是从被认为是两个帧共有的点中选择的。深度信息直接处理指定的点。执行对准，使得已经实现变换处理的帧的关键点与前一帧的关键点对中键以这样的方式合并点，即它们在第一帧中处于共同的位置。将变换帧中的整个点云数据移动到第一帧中，与关键点一起移动相同的偏差量。因此，通过针对前两个帧的对准过程来获得点云。对于每个后续帧重复相同的对准过程。如图7所示，多个扫描操作与在3D变换之后实施的对准操作合并。 通过分别将在前一次扫描中选择的用于对准的红点与在下一次扫描中选择的蓝点对准来合并它们。交叉区域的数据溢出对于对齐过程没有问题。这是因为数据在对齐处理之后通过细化处理被正则化。该方法适用于多扫描物体建模，并在短时间内产生有效的结果。我我我JnoE. Ozbay，A. 工程科学与技术，国际期刊22（2019）555-568561见图6。 原点上的三维几何变换过程在3D变换中有三个正交平面可用于旋转对象。这些被称为围绕任何轴的旋转平面。在（6）中公式化了绕轴旋转弧度的第一步;3.4. Refinement and reduction3D物体扫描成功配准后，应用云细化过程。显然，获得的regis-算法2.输入：Get，Pref;fi=1···ng：产出：登记情况得到改善。P输出;fi¼1·· ·ng：截面计算，S（v最大值;v最小值;x最大值;x最小值）/（x-维度）当i≤n如果xi>vmax，则vmaxxi：如果xivmin，则vmax，则vmaxmaxi：如果yivmin，则vmax，则vmax/zi：如果zivmin，则

下载后可阅读完整内容，剩余1页未读，立即下载