基于学习的单幅结构光图像的三维成像技术

https://doi.org/10.1016/j.gmod.2023.1011710图形模型126（2023）10117102023年2月20日在线发表1524-0703/© 2023年Elsevier公司发表。本是CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。0在ScienceDirect上提供的内容列表0图形模型0期刊主页：www.elsevier.com/locate/gmod0基于学习的单幅结构光图像的三维成像0Andrew-Hieu Nguyen a，b，Olivia Rees a，Zhaoyang Wang a，�0a 美国华盛顿哥伦比亚特区天主教大学机械工程系 b 美国马里兰州巴尔的摩市国家卫生研究院药物滥用国家研究所神经影像研究分部0文章信息0关键词：三维图像获取 三维传感 单幅成像结构光 条纹到相位转换 深度学习0摘要0最近，将结构光技术与深度学习相结合，用于单幅三维成像，因其卓越的稳健性而受到了极大的关注。本文提出了一种创新的监督学习的单幅灰度结构光图像三维成像技术。所提出的方法使用单输入、双输出的卷积神经网络，将常规的条纹图像转换为两个中间量，从而有助于高精度地进行后续的三维图像重建。进行了一些实验，以证明所提出的技术的有效性和稳健性。01. 引言0单幅三维成像捕获了物体的几何轮廓，并从单个2D图像而不是多个图像中获得了轮廓上点云的三维坐标，这一技术长期以来一直是计算机视觉科学研究和工程应用中的一个长期关注的课题。实施经典的单幅三维成像技术通常具有挑战性，因为它高度依赖于对特定技术的深刻理解，以及光学和计算机视觉方面的相关知识。此外，由于只使用了单个图像，单幅技术所产生的形状重建的准确性通常较低。令人鼓舞的是，最近的基于深度学习的方法可以减轻这些限制和缺陷，通过从大规模数据集中学习来执行三维成像任务。深度学习易于实施，特别是已经与结构光方案（工业三维扫描仪中最广泛采用的方法）相结合，以便从单个图像中提供三维成像和形状重建。相应的技术可以分为直接和间接测量两类。前者可以直接将投射了某种结构光图案的目标的单个图像，通过2D到3D人工神经网络直接转换为目标的三维几何形状。这种转换是直接的，但通常准确性较低，因为当前网络无法充分满足2D输入图像与3D输出形状之间的复杂关系的映射。与直接对应的间接技术相比，通过将单个2D图像首先转换为某些中间量，然后再进行3D形状重建，间接技术可以产生比直接对应技术更准确的结果，因为中间量有助于建立从2D图像到3D形状的映射。0� 通讯作者。邮箱地址：hieu.nguyen@nih.gov（A.H. Nguyen），reeso@cua.edu（O. Rees），wangz@cua.edu（Z. Wang）。0在这两类技术中，使用条纹投影轮廓法（FPP）作为结构光的一种流行的三维成像技术，可以用于获得深度学习所需的准确训练标签。经典的FPP技术使用大量图像（10张或更多）来提供高精度的结果（图1）。它非常适合用于数据标签的生成；然而，由于连续图像的捕获时间较长，其一般应用明显受到限制。相反，只需要单个图像的单幅FPP技术通常可以快速获得低精度的三维成像。尽管传统的单幅FPP技术在实践中较少见，但前述的间接深度学习方法可以帮助显著提高其准确性能。间接方法利用了经典FPP基于时间序列的多个子任务的事实，因此，深度学习过程可以应用于各个阶段，以获得后续工作所需的中间量。潜在的中间量包括相移条纹图案、粗整数条纹阶、包裹或未包裹的相位图等。一些参考文献[28-32]已经证明了人工神经网络在将条纹图像转换为用于确定包裹相位的几个相移条纹图像的能力。然而，这些技术在实际应用中的实用性受到了多个输入图像、彩色复合图像和/或多个训练子网络的限制。特别是，Feng等人和Qiao等人[33,34]提出了一个两阶段网络模型，用于从单个条纹图案计算包裹相位图，但这样的两阶段串行网络在动态测量中效率不高。还要注意的是，他们的网络产生了分子和分母2𝜙𝑤(𝑢, 𝑣) = arctan 𝐼4(𝑢, 𝑣) − 𝐼2(𝑢, 𝑣)𝐼1(𝑢, 𝑣) − 𝐼3(𝑢, 𝑣)(1)(3)0图形模型 126（2023）1011710A.H. Nguyen等人0图1. 经典FPP基础3D成像技术流程。0反正切函数用于相位计算，然而已经表明，包裹相位可以直接产生以简化计算 [35 , 36]。为了将包裹相位转换为真实或未包裹的相位，该过程取决于知道全场整数条纹阶数 [ 37 – 39 ]。最近已经报道了一些方法用于确定整数条纹阶数 [ 40 – 42]。尽管它们取得了有希望的3D结果，但它们需要辅助参考条纹阶数或多编码图案和多个网络。[ 43]中提出的类似工作采用编码复合图案，利用卷积神经网络（CNNs）提取粗整数条纹阶数。此外，Bai等人 [ 44]使用多个原始条纹图像将包裹相位图转换为条纹阶数图，使用深度学习。Qian等人 [ 45]提出使用五路径CNN模型从彩色条纹图案中获得各种类型的中间量。受最近深度学习网络成功应用和限制对未包裹相位确定的启发，本文提出了一种新的3D成像技术，从单个灰度常规条纹图像（即非编码）中。关键思想是使用深度学习网络将单个灰度条纹图像转换为两种中间输出：四个顺序相移的条纹图案和分段整数条纹阶数图。然后可以使用这些中间结果来确定未包裹相位分布，然后使用传统算法计算点云的3D坐标。与使用编码复合图案、多输入图像和多个子网络的最近基于深度学习的技术相比，新技术的重要贡献在于：（1）提出了一个单一的CNN模型来预测四个相移的条纹图案和整数条纹阶数的全场图；（2）网络输入是常规条纹图案的单个灰度图像，既没有复合编码也没有参考图像。02. 方法02.1. 条纹投影轮廓测量（FPP）技术0采用经典的FPP基础3D成像技术生成具有高质量标签的训练数据，用于拟议方法中的监督学习。拟议方法还采用了一些其算法来计算未包裹相位分布和最终的点云的3D坐标。图像捕获过程包括使用投影仪将一系列均匀间隔的正弦条纹图案照射到目标表面上，同时使用相机捕获图像。基本目标是从捕获的条纹图案中检索表面高度/深度信息。由于捕获的每个单独像素根据其位置和条纹相位值与其他像素不同，因此FPP技术必须首先确定全场相位分布。相位确定通常通过使用一系列相移的条纹图案来实现。分析始于利用标准的四步相移（FSPS）算法来确定包裹相位，如下所示 [ 46 – 48 ]：0其中  � � 表示像素坐标 ( �, � ) 处的包裹相位； � 表示 ( �, � ) 处捕获图像的强度；上标  �表示相位在 [0 − 2 � ) 区间内包裹；下标 {1 ,  2 ,  3 ,  4} 代表四个相移图像。 ( �, � )之后将简化。由方程 (1)得到的包裹相位必须解包以检索真实相位分布。一种普遍的相位解包方案采用多频率的条纹图案 [ 49 ]，解包算法遵循递归过程：0� �  =  � � � +  0� � −1 � � � � −1 02 �0� � �� 2 � (2)0其中 � 表示第 � 个条纹频率图案，其中  �  = {2 ,  3 ,  …  , � } ， �为条纹频率的数量；INT是最接近整数的函数； � �  是第 �个投影图案中的条纹数量，其中  � �  > � � −1  >  �  > � 1  = 1。递归计算按照  � 1 ,  � 2,  � 3 和 � 4 的顺序获得相位值，其中对于  � 1  = 1 自动满足  � 1  =  � � 1。本文使用 �= 4， � 2  = 4， � 3  = 20，和  � 4  =80。值得注意的是，在后续确定三维坐标时，使用最高频率条纹图案的展开相位，即  �  =  �4。其他三个频率在递归计算中起辅助作用。在捕获图像中对应像素点的深度或高度可以从像素的唯一特征中确定，包括其位置 ( �, � ) 和展开相位�。尽管确定深度或高度的控制方程非常复杂，但可以简化为 [ 50 ]：0�  = 1 + ∑ 19 � =1 � � � �0∑ 19 � =0 � � � �0� 0−19  = { 1  � � � 2 �� � 2 � 3 � 2 � �� 2 � 3 } �  {1  � }0其中  � 为物理深度或高度； � 表示Kronecker乘积； � 1  −  � 19  和  � 0  −  � 19是可以通过校准过程预先确定的39个常数系数 [ 51 ]。确定  �之后，同一点的其他两个坐标  �  和  �  可以很容易地计算出来 [ 52 ]。02.2. 单输入双输出（SIDO）网络0提出了单输入双输出（SIDO）网络，可以从单个灰度条纹图案输入中同时生成两种类型的输出。SIDO网络类似于著名的UNet，这是一个最初用于生物医学图像分割的U形自动编码器网络 [53]。然而，与具有对称编码器-解码器路径的UNet架构不同，SIDO网络包括编码器路径和两个解码器路径，如图2所示。具体来说，编码器路径和第一个解码器路径执行条纹到条纹的转换，将输入图像转换为四个FSPS条纹图案 [ 29 , 30]。条纹到条纹的转换不改变目标的背景强度和阴影，但改变了条纹条纹之间的移位，每两个连续图像之间的相位间隔为 �2。另一方面，编码器路径和第二个解码器路径被训练来执行条纹顺序分割的任务，以获得整数条纹顺序的全场图 [ 39]。由于所提出的方法尝试在单个类别中预测不同值的整数条纹顺序，因此采用了实例分割模型而不是语义分割模型。此外，还应用了一种独热编码过程，将条纹顺序的值逐像素分隔成不同的输出通道。编码器路径由空间卷积（窗口大小为3  ×  3）和最大池化（窗口大小为2  ×2）层组成，以从输入图像中提取分层特征。第一个卷积块中的滤波器数量为32，在每个最大池化层之后加倍（即64、128、256和512）。与编码器路径相反，解码器路径包含转置卷积和空间卷积层，逐渐将上采样和解码特征图转换为所需的输出。第一个解码路径的每个子尺度块中的滤波器数量依次为256、128、64和32。同样，30图形模型126 (2023) 1011710A.H. Nguyen等人0图2. (a)所提出技术的流程图;以及(b)网络架构的细节。0图2. (a)所提出技术的流程图;以及(b)网络架构的细节。0第二解码器路径中每个块中的滤波器数量逐渐减少，分别为320、208、128和64。此外，每个解码器路径的末端附加了两个卷积层（窗口大小为1×1），分别具有4和58个滤波器，用于将最后的特征图转换为期望的条纹图案和条纹次序输出。第一和第二路径分别使用线性和非线性softmax激活函数。此外，在网络中的每个空间卷积层之后应用一个带有负斜率0.1的泄漏整流线性单元（LeakyReLU）激活函数，以处理零梯度问题。此外，在编码器路径和每个解码器路径之间添加了一个丢弃函数，丢弃率为0.5，以避免可能的过拟合。SIDO网络使用常见的均方误差（MSE）作为条纹到条纹转换的回归损失函数，并使用分类交叉熵损失函数进行基于实例的条纹次序分割。优化的总损失40图形模型126（2023）1011710A.H. Nguyen等人0图3. （a）数据集中输入-输出对的六个示例，（b）基于实例的条纹次序分割的one-hot编码过程示意。0双输出网络的损失函数定义为：0L  =  � 1 � �  +  � 2 � � (4)0其中  � �  和  � �  分别是条纹图案和条纹次序输出的损失；  � 1  和  � 2是权重因子。这两个因子都设置为1，以平衡网络模型优化的两个输出。所提出的SIDO网络的训练数据集准备为一个形状为（ �, �, �, � ）的四维张量，其中  �表示数据样本的数量；  �  和  �  分别是输入图像的空间高度和宽度；  �是通道深度。  �的值分别设置为1、4和58，用于灰度图像输入、条纹图案输出和条纹次序输出。需要指出的是，58的使用来源于视场中实际的条纹次序。它是特定于系统的，可以高达  � 4 的值。03. 实验和结果03.1. 数据集0在准备数据集的图像采集过程中，每个样本目标都被16个条纹图案照射（16来自每个四个频率的四步相移），同时被捕获（见图1）。重要的是要注意，这16张图片中只有一张作为输入，其他15张被要求生成地面真实标签。具体来说，每个数据样本包括一个输入和两个输出向量（即地面真实标签）。输入向量是四个最高频率（即  � 4  = 80）的条纹图像中的第一个。第一个地面真实输出（输出1）包括所有四个最高频率的条纹图像，第二个地面真实输出（输出2）是从相位展开函数中的INT项获得的分割整数条纹次序的映射，即方程（2）。换句话说，16张捕获的图像中有4张直接作为输出1的地面真实标签，而计算分割整数条纹次序需要所有16张图像。图3（a）显示了六对输入和输出样本。因为实例分割要求将每个实例标签存储在一个单独的通道中，所以条纹次序的整数值通过one-hot编码转换为多类标签。在所呈现的实验中，投影条纹的范围从0到80次序，但捕获的视场较小，条纹次序落在23 � 79  的范围内。此外，必须为阴影区域分配一个唯一的整数（例如， −1）。因此，为每个样本生成了一个特定于系统的58个通道的向量。图3（b）展示了条纹的one-hot编码的示例0其中每个整数都放在输出向量的一个单独通道中。基于FPP的3D成像系统使用RVBUSTRVC-X迷你3D相机，包括两个摄像头和一个投影仪，实验中只有一个摄像头处于活动状态。数十个小石膏雕塑和实验工具被用作数据标记的样本。3D相机到三角测量基线的距离约为600毫米。在图像捕获期间，3D相机系统可以获取单个对象或多个分离对象的图像。此外，对象已被随机旋转并位于视野中的不同位置。捕获过程大约需要4小时，以获取1500个具有复杂形状和各种颜色的目标场景。采用80%-10%–10%的分割比例将整个数据样本分为训练、验证和测试集。数据集已经公开可访问[ 54 ]。SIDO网络的训练是在一台配备四个Nvidia Tesla V100 SXM232GB图形卡的计算机上完成的。03.2. 实施和超参数调整0在训练过程中，网络模型参数经过400个时期的Adam优化和批量大小为1进行了优化。训练使用以下学习率计划：在前300个时期保持恒定为0.0001，然后开始衰减。为了抑制过拟合，模型采用了数据增强程序，包括典型的图像调整，如随机亮度和对比度修改。此外，采用了模型检查点的回调来监视训练进度，并保存具有最低损失的模型权重。例如，图4显示了监控的损失和输出的准确性。整体训练时间约为七个小时，每次新预测大约需要30毫秒。03.3. 3D重建结果0为了证明所提出的技术的有效性，我们在测试数据集中添加了一些在训练和验证数据集中未见过的样本。将每个测试输入图像输入后，训练好的网络可以立即输出四个相移条纹图像和分割的整数条纹序号图。条纹图案直接用于获取使用方程（1）计算的包裹相位  � �。然后，可以通过使用分割的整数条纹序号，按照与方程（2）等效的方程检索全场展开相位：0�  =  � � + 2 �� (5)5ing 𝛿=ma𝑧𝑖0图形模型126（2023）1011710A.H. Nguyen等0图4。网络模型训练历史的损失和准确性图。0图5。从所提出的技术获得的两个测试样本的3D成像结果。0其中  �  表示像素 ( �, � )处的整数条纹序号。图5显示了使用所提出的技术对两个选定样本进行的3D重建。在图中，左侧部分展示了相移条纹图案的第一个预测输出。中间部分显示了地面真实值和第二个预测输出的条纹序号图，右侧部分展示了地面真实值和重建的3D形状。利用均方误差（MSE）和结构相似性指数测量（SSIM）两个指标来定量评估所提出的SIDO神经网络模型的性能。得到的SSIM值非常接近1，表明预测的条纹图案和条纹序号图几乎与地面真实值相同。因此，随后的3D形状重建结果预计将非常接近地面真实的3D形状，如图所示。重建的3D表面上可观察到的垂直噪声来自预测的条纹序号和计算的包裹相位之间的错位。使用传统的单次条纹投影技术对具有几何不连续性的3D场景进行重建是具有挑战性的，因为确定不连续的条纹序号存在歧义。通过从具有几何不连续性的训练数据集中学习，所提出的方法可以很好地处理几何不连续性问题，如图6（a）所示。此外，图6（b）和（c）呈现了另外两个测试结果，以展示所提出的方法在黑色和动态物体的3D成像中的实用性。可以看到，3D重建误差主要发生在边缘，如果需要可以通过边缘侵蚀轻松消除。应指出，动态刚性运动实验或可变形运动实验都可以帮助证明0单镜头3D成像技术的有效性和能力。图6（c）中显示的旋转风扇是一个动态刚体运动实验。进行动态可变形体运动实验将会很有帮助[55-57]，但本研究未进行此类实验。已经实施了额外的实验，以比较所提出的技术和同一类别中几种最先进的技术在深度学习基础的3D成像中的性能。比较仅考虑单镜头方法，不需要任何额外的图像。它们包括一个输出包裹相位图的 fringe-to-WP网络[35,36]，一个产生相位计算中的arctangent函数的分子和分母的fringe-to-ND 网络[33,40,45]，以及一个直接预测深度图的 fringe-to-depth网络[8-10]。值得注意的是，fringe-to-WP和fringe-to-ND方法使用所提出方法获得的相同的整数条纹阶。评估采用了先前用于评估单目深度的五种误差或准确度指标[58-60]。它们包括著名的绝对相对误差（ARE）、均方根误差（RMSE）和以下三种其他指标：0•  绝对相对误差（ARE）：10� ∑ � � =1 |  �� � − � �0•  均方根误差（RMSE）：√01 � ∑ � � =1 (  �� �  −  � � ) 20� ∑ � � =1 | | log(  �� � ) − log( � � ) | | •  均方根对数误差（RMSLE）：√01 � ∑ � � =1 [ log(  �� � ) − log( � � ) ] 20�� � )  < ��� , 其中  ���  ∈  { 1 . 25 ,  1 . 25 2 ,  1 . 253 }6ARERMSEMLERMSLE𝛿 < 1.25𝛿 < 1.252𝛿 < 1.2530图形模型126（2023）1011710A.H. Nguyen等0图6. (a) 两个分离的物体，(b) 两个暗物体，(c) 动态移动物体的3D成像结果（参见补充视频）。0表1 不同技术的定量性能比较0方法 误差（越低越好） 准确度（越高越好）0Fringe-to-depth 0.200 2.593 0.074 0.237 87.2% 94.6% 96.5% Fringe-to-WP 0.174 3.6350.063 0.231 90.9% 96.1% 97.7% Fringe-to-ND 0.099 1.611 0.058 0.216 91.6% 96.1% 97.6%Proposed method 0.061 1.540 0.052 0.205 92.7% 96.5% 97.9%0其中  �  表示有效点的数量；  � �  和  �� �分别表示从所提出的方法得到的预测深度和第  � 个像素的地面实际深度。 表1列出了误差和准确度指标，显然所提出的方法在四种技术中取得了最佳结果。0图7对所提出的技术与其他三种现有技术进行了定性比较。结果显示，所提出的技术和fringe-to-ND 技术比其他两种技术提供了更好的结果。fringe-to-depth方法实现了直接端到端的转换，但准确度有限。原因是网络模型无法充分解码2D图像与其3D形状图之间的关系。另一方面，其他三种方法首先确定了某些中间量，这有助于达到更高的准确度，用于后续的3D形状重建。与 fringe-to-WP网络相比，fringe-to-ND和所提出的网络被训练以获得更基本的中间量，以增强相位确定的准确度。由于输入和输出之间的关系更直接和简单，因此最终的3D形状重建的准确度更高。04. 讨论和结论0总之，提出了一种将深度学习融入结构光方法的单镜头3D成像方法。所提出的SIDO网络可以被训练为将单色条纹图像转换为两个中间结果：四个相移条纹图和分段整数条纹阶的地图。然后可以直接使用这些中间结果进行后续的3D成像。具体而言，采用了广泛使用的3D成像方法FPP技术来准备所提出的训练过程的高精度地面实况。FPP算法也被用于从网络生成的中间结果完成3D形状重建。0经典的FPP技术用于3D成像以其高精度和慢速度而闻名，后者源自捕获多个图像所花费的额外时间。由于经典FPP技术涉及多阶段过程，深度学习方案可以应用于通过获得各种中间结果来促进FPP技术，例如条纹图案、相位计算组件、包裹或展开的相位分布、条纹顺序和深度图。所提出的方法旨在从单个条纹图案图像构建经典技术所需的多个条纹图像。因此，它保留了经典技术的所有优点；同时，它消除了慢成像速度的缺点，因为系统只需要捕获单个图像而不是多个图像。与需要捕获多个图像（例如，用于精确3D成像的16个图像）的传统方法相比，所提出的技术只需要捕获单个图像。这种基本差异使得所提出的技术具有吸引力。所提出的算法仍然需要多于一个图像，但这些额外的图像是通过深度学习生成的，而不是实际捕获。因此，捕获速度可以得到显着改善，这使得实时3D成像成为可能，正如动态实验所证明的那样。所提出的方法也优于从单个条纹图像生成所有16个图像的方案，因为在生成的低频（例如，�=1）条纹图像中存在显着的大误差。与大多数，如果不是所有的3D成像技术一样，尽管具有许多继承的优点，但所提出的技术也有局限性。有两个显著的局限性如下。0•训练好的网络模型仅适用于特定的几何配置。该技术基本上使用三角测量设置，摄像机和投影仪的几何配置至关重要，并且它们的相对位置在训练后应固定。系统可以整体改变其位置；但是，如果摄像机和投影仪之间的相对位置发生变化，则必须使用在新的几何配置下生成的新数据集再次训练深度学习模型。生成新数据集可能是耗时的，未来解决这一局限性的方案是探索在实践中使用具有高保真度的合成或模拟数据的可靠方案。一些研究人员进行了这样的调查[8,9,61]，但仍缺乏令人满意的结果。•技术采用的总条纹数增加，对训练数据集需要更大的存储空间。基于实例的独热编码随着输入图像中条纹数量的增加而需要更多的成像通道。随着计算机技术以不断增长的速度不断发展，这个问题将变得不那么紧迫。70图形模型126（2023）1011710A.H. Nguyen等人0图7. 通过现有和提出的单镜头技术重建的3D形状的比较。0输入图像中条纹数量的增加将使这个问题变得不那么紧迫。随着计算机技术以不断增长的速度不断发展，这个问题将变得不那么紧迫。0所提出的技术可以预测单个输入图像中显示的区域的3D形状，但无法预测未见区域或单个正面图像的目标的完整360° 3D形状。这项工作范围之外的整个360°3D形状重建研究。0利用单个灰度图像和单个网络进行准确的3D成像使得所提出的技术在需要实时和准确的3D成像的大量科学研究和工业应用中变得相当实用。这些应用包括但不限于人脸识别、机器人导航、托盘堆垛、虚拟现实和产品在线检查。这些应用通常无法通过需要多个图像的传统准确的3D成像技术来实现。0竞争利益声明0作者声明他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。0数据可用性0数据将根据要求提供。0附录A. 补充数据0与本文相关的补充资料可在网上找到，网址为https://doi.org/10.1016/j.gmod.2023.101171。以下是本文的补充数据。0参考文献0[1]  F. Li, Q. Li, T. Zhang, Y. Niu, G. Shi,结构光和深度学习立体匹配相结合的深度获取，信号处理，图像通信。75（2019）111-117。8[2][61]0图形模型126（2023）1011710A.H. Nguyen等0Hyperdepth:从结构光中学习深度而无需匹配，在：IEEE计算机视觉和模式识别会议（CVPR），2016年，第5441-5450页。0[3]  S. Tang, X. Zhang, Z. Song, L. Song, H. Zeng, 结构光中的稳健图案解码0形状编码的结构光，光学激光工程96（2017）50-62。0[4]  J. Zhong, W. Yin, S. Feng, Q. Chen, C. Zuo, 具有散斑投影轮廓测量0深度学习，红外激光工程49（2020）20200011。0[5]  Q. Du, R. Liu, B. Guan, Y. Pan, S. Sun, 用于结构化的立体匹配网络0光，IEEE信号处理通信26（2019）164-168。0[6]  A. Nguyen, K. Ly, C.Q. Li, Z. Wang, 使用单次拍摄的3D形状获取0基于学习的结构光技术，应用光学61（2022）8589-8599。0[7]  S. Schreiberhuber, J. Weibel, T. Patten, M. Vincze, GigaDepth: 学习深度0通过分支神经网络从结构光中学习深度，在：欧洲计算机视觉会议（ECCV），Vol.13693，2022。0[8]  Y. Zheng, S. Wang, Q. Li, B. Li, 通过进行条纹投影轮廓测量0从其数字孪生中学习深度学习，光学快报28（2020）36568-36583。0[9]  F. Wang, C. Wang, Q. Guan, 基于单次条纹投影轮廓测量0深度学习和计算机图形学，光学快报29（2021）8024-8040。0[10]  H. Nguyen, Y. Wang, Z. Wang, 单次拍摄3D形状重建0结构光和深度卷积神经网络，传感器20（2020）3718。0[11]  S. Fan, S. Liu, X. Zhang, H. Huang, W. Liu, P. Jin, 无监督深度学习0用于双频率条纹投影轮廓测量的3D重建，光学快报29（2021）32547-32567。0[12]  H. Nguyen, T. Tran, Y. Wang, Z. Wang, 三维形状重建0使用深度卷积神经网络从单次散斑图像中进行3D重建，光学激光工程143（2021）106639。0[13]  L. Wang, D. Lu, R. Qiu, J. Tao, 从结构光投影中的3D重建0通过双路径混合网络进行轮廓测量，EURASIP J. Adv. Signal Process. 2022（2022）14。0[14]  L. Wang, D. Lu, J. Tao, R. Qiu, 单次结构光投影0通过SwinConvUNet进行轮廓测量，光学工程61（2022）114101。0[15]  T. Jia, Y. Liu, X. Yuan, W. Li, D. Chen, Y. Zhang, 基于深度测量0基于卷积神经网络和结构光的单次2D到3D图像转换，测量科学技术33（2022）025202。0[16]  A. Nguyen, B. Sun, C. Li, Z. Wang, 不同结构光图案在单-0使用深度学习进行单次2D到3D图像转换，应用光学61（2022）10105-10115。0[17]  H. 阮，K. 李，T. 阮，Y. 王，Z. 王，MIMONet：结构光0多输入多输出网络进行的3D形状重建，Appl. Opt. 60（2021）5134–5144。0[18]  H. 阮，K.L. 李，T. 陈，Y. 王，Z. 王，hNet：单次3D形状0使用结构光和H形全局引导网络进行相位展开的结构光重建，Res. Opt. 4（2021）100104。0[19]  J. 石，X. 朱，H. 王，L. 宋，Q. 郭，标签增强和基于补丁的深度0学习进行单帧条纹投影3D测量中的相位检索，Opt. Express 27（2019）28929–28943。0[20]  T. 杨，Z. 张，H. 李，X. 李，X. 周，条纹的单次相位提取0使用深度卷积生成对抗网络进行单次相位提取的条纹投影轮廓测量，Meas. Sci. Technol.32（2020）015007。0[21]  H. 于，B. 韩，L. 白，D. 郑，J. 韩，未经训练的基于深度学习的条纹0投影轮廓测量，APL Photon. 7（2022）016102。0[22]  G. Spoorthi，R. Gorthi，S. Gorthi，PhaseNet 2.0：嘈杂的相位展开0基于深度学习方法的数据，IEEE Trans. Imgage Process. 29（2020）4862–4872。0[23]  K. 颜，Y. 于，C. 黄，L. 隋，K. 钱，A. Asundi，条纹图案去噪0基于深度学习，Opt. Commun. 437（2019）148–152。0[24]  G. 杨，Y. 王，基于精确轴部件的三维测量0基于在线结构光和深度学习的测量，Measurement 191（2022）110837。0[25]  J. 关，J. 李，X. 杨，X. 陈，J. 席，用于镜面的缺陷检测方法0基于偏转计量和深度学习的表面缺陷检测方法，Opt. Eng. 61（2022）061407。0[26]  J. 李，Q. 张，L. 钟，X. 卢，混合网络：两对一的深度学习0三波长相移干涉术的框架，Opt. Express 29（2021）34656–34670。0[27]  X. 朱，Z. 韩，L. 宋，H. 王，Z. 吴，基于小波的深度学习0从条纹投影轮廓测量的单帧相位估计，Optoelectron. Lett. 18（2022）699–704。0[28]  R. Machineni，G. Spoorthi，K. Vengala，S. Gorthi，R. Gorthi，端到端深度0基于深度学习的条纹投影框架用于物体的3D轮廓测量，Comput. Vis. Image Underst.199（2020）103023。0[29]  H. 于，X. 陈，Z. 张，C. 左，Y. 张，D. 郑，J. 韩，动态3-D0基于条纹到条纹变换的深度学习的测量，Opt. Express 28（2020）9405–9418。0[30]  H. 阮，Z. 王，来自单个的精确3D形状重建0通过条纹到条纹网络进行的结构光图像，Photonics 8（2021）459。0[31]  Y. 杨，Q. 侯，Y. 李，Z. 蔡，X. 刘，J. 席，X. 彭，相位误差补偿0基于Tree-Net的深度学习，Opt. Lasers Eng. 143（2021）106628。0[32]  Y. 李，J. 沈，Z. 吴，Q. 张，大深度3D的被动二进制散焦0基于深度学习的测量，Appl. Opt. 60（2021）7243–7253。0[33]  S. 冯，Q. 陈，G. 顾，T. 陶，L. 张，Y. 胡，W. 尹，C. 左，条纹图案0使用深度学习进行分析，Adv. Photonics 1（2）（2019）025001。0[34]  G. 乔，Y. 黄，Y. 宋，H. 岳，Y. 刘，一种单次相位恢复方法0基于深度学习的相位测量偏转计量，Opt. Commun. 476（2020）12630。0[35]  W. 胡，H. 苗，K. 颜，Y. 付，一种基于神经的条纹相位提取方法0网络，Sensors 21（2021）1664。0[36] H. Nguyen, E. Novak, Z. Wang, 通过条纹到相位的精确三维重建0网络，测量190（2022）110663。0[37] W. Yin, Q. Chen, S. Feng, T. Tao, L. Huang, M. Trusiak, A. Asundi, C. Zuo,0使用深度学习的时间相位展开，Sci. Rep. 9（2019）20175。0[38] J. Liang, J. Zhang, J. Shao, B. Song, B. Yao, R. Liang, 深度卷积神经0基于深度学习的网络相位展开用于条纹投影三维成像，Sensors 20（13）（2020）3691。0[39] V. Sumanth, R. Gorthi, 用于三维表面轮廓测量的深度学习框架0使用数字全息干涉术测量物体，IEEE国际图像处理会议（ICIP），2020年，第2656-2660页。0[40] P. Yao, S. Gai, Y. Chen, W. Chen, F. Da, 基于多码的三维测量技术0基于深度学习的三维形状测量，Opt. Lasers Eng. 143（2021）106623。0[41] W. Li, J. Yu, S. Gai, F. Da, 单次拍摄条纹投影的绝对相位恢复0基于深度学习的条纹投影轮廓测量，Opt. Eng. 60（6）（2021）064104。0[42] J. Qian, S. Feng, T. Tao, Y. Hu, Y. Li, Q. Chen, C. Zuo, 基于深度学习的0几何约束和相位展开用于单次绝对三维形状测量，APL Photonics 5（2020）046105。0[43] W.L. Budianto, D. Lun, 结构光三维扫描中基于深度学习的周期顺序检测0光三维扫描，IEEE国际电路与系统研讨会（ISCAS），2019年，第1-5页。0[44] S. Bai, X. Luo, K. Xiao, C. Tan, W. Song, 从深度绝对相位恢复0手持式三维测量的单频相位图，Opt. Commun. 512（2022）128008。0[45] J. Qian, S. Feng, T. Tao, J. Han, Q. Chen, C. Zuo, 单次绝对三维形状0基于深度学习的彩色条纹投影轮廓测量，Opt. Lett. 45（2020）1842-1845。0[46] H. Nguyen, D. Nguyen, Z. Wang, H. Kieu, M. Le, 实时，高精度三维成像0成像和形状测量，Appl. Opt. 54（2015）A9-A17。0[47] H. Nguyen, N. Dunne, H. Li, Y. Wang, Z. Wang, 实时三维形状测量0使用3LCD投影和深度机器学习，Appl. Opt. 58（2019）7100-7109。0[48] H. Le, H. Nguyen, Z. Wang, J. Opfermann, S. Leonard, A. Krieger, J. Kang, 腹腔镜结构照明三维成像系统演示0演示用于引导重建性肠吻合的腹腔镜结构照明三维成像系统，J. Biomed. Opt.23（2018）056009。0[49] Z. Wang, D.A. Nguyen, J.C. Barnes, 条纹投影中的一些实际考虑因素0条纹投影轮廓测量，Opt. Lasers Eng. 48（2）（2010）218-225。0[50] H. Du, Z. Wang, 任意排列的三维形状测量0排列的条纹投影轮廓测量系统，Opt. Lett. 32（16）（2007）2438-2440。0[51] M. Vo, Z. Wang, B. Pan, T. Pan, 超精确柔性校准技术0用于基于条纹投影的三维成像，Opt. Express 20（2012）16926-16941。0[52] H. Nguyen, J. Liang, Y. Wang, Z. Wang, 条纹投影精度评估0轮廓测量和数字图像相关技术用于三维形状测量，J. Phys. Photonics 3（2021）014004。0[53] O. Ronneberg