1566一种实用的飞行时间成像编码函数设计Felipe Gutierrez-Barragan，Syed Azer Reza，Andreas Velten，Mohit Gupta威斯康星大学麦迪逊{fgutierrez3，sreza2，velten}@ wisc.edu，mohitg@cs.wisc.edu摘要连续波飞行时间（CW-ToF）成像系统的深度分辨率由其编码函数决定最近，人们对设计新的高性能CW-ToF编码功能的兴趣越来越大。然而，这些功能通常以硬件不可知的方式设计，即，而不考虑诸如带宽、源功率、数字（二进制）函数生成的实际设备限制。因此，尽管理论上有所改进，但这些功能的实际实现仍然是一个挑战。我们提出了一种约束优化方法，设计实用的编码功能，坚持硬件约束。优化问题是一个非凸的大搜索空间，没有已知的全局最优解。为了使问题易于处理，我们设计了一个迭代，交替最小二乘算法，随着凸松弛的约束。使用这种方法，我们设计高性能的编码功能，可以在现有的硬件上实现最小的修改。我们证明了perfor-芒的好处所产生的功能，通过广泛的模拟和硬件原型。1. 介绍飞行时间（ToF）相机正迅速成为多个应用中的首选深度感测技术，包括自主导航、增强现实和用户界面。一般来说，ToF相机可以分为两类：脉冲ToF（I-ToF）和连续波ToF（CW-ToF）。I-ToF系统通过发射高功率激光脉冲并使用高速探测器测量其飞行时间来估计深度。典型的I-ToF系统（例如Li-DAR）需要高速激光器和传感器等高成本部件相比之下，CW-ToF相机是低功耗和低成本的（例如，Kinect），并通过调制光强度和解码反射信号来估计深度。当前的CW-ToF相机具有有限的深度分辨率，特别是在低信噪比（SNR）场景中。虽然可以使用高功率光源和更长的曝光时间来提高分辨率，但这并不总是可能的。给定固定的能量和曝光时间预算，CW-ToF系统的深度分辨率取决于编码函数（即，光调制和传感器解调，功能）。大多数现有的CW-ToF系统使用正弦函数[22]或平方函数[12，24]，虽然易于实现，但深度分辨率较低。最近，人们对设计高性能CW-ToF代码[1，15，27]的兴趣越来越大，尽管是在硬件不可知的环境中。这些工作提出了新的编码功能，虽然理论上很有趣，但不符合当前设备的实际限制。例如，这些编码函数[15，1]需要具有无限峰值功率和带宽的脉冲调制，以及连续的模拟解调函数。在实践中，物理上可实现的编码功能的空间是高度受限的。具体地，尽管高成本激光器可以发射具有大峰值功率的超短脉冲，但是CW-ToF相机中采用的大多数光源（例如，激光二极管、LED）具有有限的峰值功率。此外，系统的大多数组件具有有限的带宽。此外，大多数CW-ToF系统使用数字平方/二进制函数进行光调制和传感器解调，并且可能需要相当大的硬件修改来支持任意连续函数。最后，二进制函数也是首选，因为它们适用于商业CW-ToF相机中使用的2桶传感器[29]。这导致CW-ToF代码设计中的权衡：传统的编码方案，如正弦波和方波等，由于实际条件的限制，性能较低.另一方面，最近的计划承诺更高的perfor-曼斯，但，可能无法在当前的硬件上物理实现。在本文中，我们考虑以下问题：我们能否设计出既符合硬件限制又能在广泛成像场景中实现高性能的CW-ToF编码功能？我们考虑三个重要的限制因素：有限峰值源功率、有限带宽和二进制编码功能。1为了解决这个问题，我们提出了实际的CW-ToF代码设计作为一个约束优化问题。由于编码函数的大空间和非凸约束，这具有挑战性。为了保持问题的易处理性，我们考虑预先设计的相关函数，这是分解成物理上可实现的调制和解调功能。虽然这减少了1二元函数理论上具有无限带宽。我们同时考虑二进制和带宽约束，假设带宽约束被应用，而通过成像系统，生成后的二进制编码函数15670Eτ搜索空间，将给定的相关函数分解为调制和解调函数是不适定的。为了执行这种因式分解，我们使用迭代优化方法，类似于盲反卷积[2，21]，其中在每次迭代中解决凸子问题。这种方法，函数发生器（）下一页源环境照明场景随着约束的凸松弛，使优化，D点在实际编码函数的空间上进行优化。所提出的方法是灵活的，给定的硬件实现，它计算高性能的编码函数，乘法器、传感器：距离符合相应的约束条件，并在物理上可实现。我们通过广泛的仿真和硬件实验证明，所提出的编码函数的性能虽然低于理论上的（但不切实际的）编码函数[15]，但大大高于传统方法，如正弦曲线和平方编码。我们还演示了如何适应一个2桶架构的结果sulting实际代码所提出的方法提供了一个框架，用于在从弱到强的各种约束条件下设计实用的ToF编码功能，例如严重限制=图1：CW-ToF成像。根据函数M（t）对光源的强度进行时间调制。入射传感器辐射率R（t）乘以解调函数D（t）。该乘积在曝光时间T内积分，并记录所得强度I。根据调制函数M（t）随时间变化。假设没有间接照明，在时间t入射在传感器像素上的辐射率R（t）被给出为：带宽和峰值功率，并在挑战成像场景中实现3D成像（例如，户外、低功率）。2. 相关工作R（ t）=s M.Σt−2dC+A，（1）CW-ToF的代码设计：已经提出了许多编码设计来解决CW-ToF成像中的问题，例如减轻多相机干扰[4，29]、多路径干扰[20，14]和由混叠谐波引起的非线性[25，24]。此外，CW-ToF代码设计还用于瞬态成像[20]和照明解复用[19]。在设计实现更高深度分辨率的编码方案方面几乎没有工作。Payne等[26]提出了多频正弦函数，以同时实现大深度范围和高深度精度。这种方法需要相位展开，并且在低SNR情况下易于产生大的误差本文的重点是设计实用的编码方案，实现高深度分辨率，即使在低信噪比的情况下。结构光编码设计：在其他主动视觉系统中，特别是结构光（SL）[18，23，13]，已经探索了用于改进深度分辨率的代码设计。尽管SL（空间编码）其中d是场景点到传感器的距离c是光速，S是依赖于场景的比例因子，其取决于场景点A是由于外部光源（例如，室外场景中的阳光）。入射辐射率R（t）与传感器处的解调函数D（t）相关，其中0≤D（t）≤1。2解调功能可以通过光子混频器器件[22]或快速光闸[5]实现。我们假设M（t）和D（t）都是具有相同基频f0（零差CW-ToF）的周期函数在像素处测量的强度I由R（t）和D（t）的时间相关性给出：∫TI=D（t）R（t）dt，（2）0其中T是传感器暴露时间。我们将χ（d）定义为M（t）和D（t）之间的归一化互相关：和CW-ToF（时间编码），在它们的实际硬件限制方面存在关键的不同。例如，典型的SL系统可以实现仅受系统空间分辨率限制的任意连续模式[6]∫τχ（d）=（D<$M<$）（d）=0D（t）M<$.Σt −2dC∫τdt，（3）相比之下，CW-ToF系统限于正弦和平方函数，具有强带宽约束（200MHz），这严重限制了可实现的深度分辨率。<3. 背景：图像形成模型我们首先回顾CW-ToF图像形成模型[22，16，15]。CW-ToF成像系统（图1）由一个强度经过调制的光源组成，其中τ是M（t）和D（t）的周期，Eτ=0M（t）dt，是光源在一段时间内发射的总能量τ，M<$（t）=M（t）是归一化调制函数。2双桶ToF传感器[22]通过取两个互补测量值的差来模拟负的零均值由于这些函数是两个正解调函数的差在第6.4节中，我们展示了如何将所提出的二进制解调函数调整为可用于2桶传感器的互补解调对1568∞0=相关函数=源调制传感器解调⋆图2：实用的编码功能设计。黑线说明了高性能相关函数的脉冲ToF实现[15]。我们的算法设计的输入调制和解调功能（蓝线），坚持峰值功率和二进制约束。根据系统的脉冲响应对输入函数进行平滑处理系统实现的实际相关函数是平滑输出函数的相关我们的算法设计的蓝色功能，以产生目标相关函数的最佳近似代入Eq. 1到Eq. 2，并使用Eq. 3，我们得到以下测量强度的表达式：I=Isx（d）+Ia，（4）∫第二步，他们考虑了平凡的因子分解：脉冲调制函数Mi（t）=Eτδ（t），并且解调函数与归一化相关函数相同梯形函数（见图2）。Al-其中a=ATD（t）dt，I=s平均值T和PEτ平均τ虽然理论上是可行的，但这种分解是不可行的。由于三个基本的硬件限制：是M（t）的平均幂。因为方程中有三个未知数4（距离d、有效光强Is和环境亮度Ia）时，需要K≥3每个测量Ii（1≤i≤K）使用不同的调制和解调函数对进行K调制和解调函数被称为编码方案[15]。4. 代码设计的约束优化设计实用的、高性能的编码方案（ Mi（t）， Di（t）），1≤i≤K，可以看作是一个约束优化问题。不幸的是，函数的空间可能很大，使得这成为一个具有挑战性的优化问题来解决。为了让它易于处理，我们实际的编码设计作为一个两阶段的问题。ToF成像系统在深度精度方面的性能可以完全由其相关函数χi，1≤i≤K[15]表征。因此，第一阶段设计的相关函数，而不强加的硬，件约束。这可以按照任何先前的编码函数设计方法[15，1，27]来执行。第二阶段将每个χi分解为调制和解调函数。这一步很关键，因为对于实际实现，我们需要确定创建给定相关函数的调制和解调函数。在数学上，这个因式分解问题可以表示如下：find（Mi（t），Di（t）），1≤i ≤K1. 有限峰值源功率：脉冲调制函数假设激光器可以发射无限短的高功率脉冲，如图2所示。尽管高功率脉冲激光器用于多种应用[28]，但它们通常价格昂贵，不适合低成本CW-ToF系统。2. 有限带宽：理想的冲激函数需要无限的带宽. 大多数当前的CW-ToF摄像机受到编码功能的可用带宽（通常<为200 MHz）的严重限制。3. 非二进制编码函数：上述平凡分解导致任意连续值解调函数。几种商用CW-ToF系统依赖于数字生成的信号来调制M（t）和D（t）[24，22]，因此仅限于二进制函数。此外，非二进制码不能利用有效地使用源功率的双桶ToF传感器，从而提高SNR。我们提出了一个框架，分解成一个调制和解调功能，同时遵守预先指定的硬件约束的调制和解调功能。图2示出了这种分解的示例。我们的框架将期望的相关函数（例如，梯形函数，如黑线所示）、最大峰值功率约束和频率带宽，指定为系统的脉冲响应鉴于这些使得（Di<$M<$i）（t;d）=χi（d），∫τM<$i（t）dt≤1，0≤M<$i（t），0≤Di（t）≤10（五）参数和二进制结构先验，解决了类似于5的优化问题。所设计的调制和解调功能（图2中的蓝色虚线）将产生目标核心的最接近近似值最近的编码设计工作[15，1]仅关注设计相关函数的第一步为证交会-关系函数这些设计的调制和解调功能被输入到CW-ToF系统，然后S15696NτP平均值源调制传感器解调相关函数、图3：功率受限分解。在不同的最大功率水平下，功率限制相关函数分解为哈密顿量K = 3。在Pmax≥6Pave处，所得到的调制和解调函数具有与目标哈密顿相关性相同的这在Pmax= 30Pave（蓝色）的情况下清楚地说明，其中所选择的解决方案仅使用6Pave。当Pmax≤6Pave时，只能得到客观相关的近似值根据其脉冲响应来平滑它们输出调制和解调函数（图2中的红线）将产生实际的相关函数。作为一个例子，我们展示了我们的框架上的家庭的哈密尔顿相关函数[15]。具体地，我们考虑具有3、4或5个测量的哈密尔顿码，以下称为哈密尔顿算子K= 3、K= 4和K=5。5. 功率受限编码函数设计在本节中，我们分析了有限光源峰值功率和无限带宽的相关5.1. 功率受限分解设m<$i ， di ，χi是表示M<$i （t）， Di （t）和χi（d）的单个周期关于iv的N点离散化的向量。我们通过求解以下约束优化来找到givenχi的最佳拟合m<$i和di施加二进制函数约束：交替凸优化方法经常导致m i和di的快速波动的非二元解。这样的解决方案可能能够精确地近似X1，但是，由于它们的高带宽要求和非二进制结构，它们是不实用的。理想情况下，我们会对m和d施加二元约束。这样的约束将使得每个子问题是非凸的。因此，我们通过对m施加全变分正则化来放松二元约束，d，从而保持子问题的凸性虽然这种松弛导致m和d的近二进制稀疏解，但它并不保证二进制结构。为了获得二进制解，我们在每次迭代结束时应用二进制重投影算子。功率受限的哈密尔顿编码函数：图3示出了在不同的最大功率水平下的一个（三个中的一个）哈密顿量K = 3码的相关分解。关于其他两个相关函数，请参见补充资料当Pmax≥6P平均时，我们的算法-argmin我，我χi−m<$iRithm能够找到实现零误差的因子分解：M（t）是峰值功率为P（t）是一个具有1个占空比的平方。当受m<$i，j<$t≤1，0≤m<$i，j≤pf，（六）PMax<6个P2保存我们的算法生成的编码方案j=10≤ di，j≤ 1，j = 1，. . . ，N其中，τ是互相关运算符，τt=τ，pf=Pmax. 为了可解释性，我们在优化中固定τ = 1。对于每个χi，1≤i≤K，该问题得到解决。交替凸优化方法：问题（6）可以被认为是盲目的一维模拟仅近似哈密顿量K= 3。在限制在Pmax= 2Pave的情况下，我们的方法返回传统的平方编码函数。 请参见附录材料，了解不同幂约束下K= 4，5的哈密顿量的幂限制分解。5.2. 功率受限编码方案的性能客观标准差的L2范数图像去模糊[10，7，21]，一般来说，是在-关联函数和m′的相关性d是一个met，约束和不适定。 然而，如果mi或di是固定，问题变得适定，并且可以通过标准凸优化方法来解决[3，11]。因此，找到局部最优解的一种方法是：在固定mi和di与求解凸子问题这样做直到损失函数收敛。我们使用CVXPY [8]实现了交替优化 编码函数向量m和d被随机初始化，并且X被设置为目标相关性在我们的最终实现中，包括下面讨论的额外正则化，收敛通常在5-50次迭代内实现这是一个很容易表达的优化问题。然而，一个更有意义的度量是通过分解实现的平均深度误差（MDE），对于给定的深度范围和场景深度分布[15]。有关MDE指标的详细信息，请参见补充报告。平均深度误差比较：我们使用了以下参数。基频，f0= 15Mhz，对应0-10米深度范围高斯噪声，仿射噪声模型包括光子噪声和传感器具 有 20 个 电 子 的 方 差 的 读 取 噪 声 总 积 分 时 间 为300ms，场景采样率为0−1。为了在宽范围的SNR水平下执行比较，我们改变源1570i、j=30μ m，~ ∞= 5 μ m，~10μm= 5 μ m，~ 5 μ m0(a)（b）（c）图4：功率受限和带宽受限CW-ToF码的平均深度误差。在功率受限的情况下（a），所有编码方案都达到其理论性能。在考虑系统带宽限制的更实际的场景中（b和c），重新设计的哈密顿方案在所有SNR水平下都优于两个基线放大以获得更好的可视化。和环境强度，同时固定其他参数。图4（a）示出了哈密顿量K= 3、K= 4、K= 5、正弦曲线[22]和多频正弦曲线[9，26]的MDE。3.考虑K =5的多频正弦信号;三个低频测量值f=f0，两个高频测量值f= 7f0。我们使用7f0，因为哈密顿量K= 5中的较高频率分量可以由频率为7f0的方波近似。编码方案进行了比较，在各种峰值功率约束。当Pmax=30Pave时，所有编码方案实现零误差分解。因此，理想Hamilton码的性质得以保持。随着峰值功率约束的加强，即，Pmax减小，分解变成近似。在补充材料中，我们显示了Pmax= [15Pave，5Pave，2Pave]时的性能。多频正弦信号在高信噪比时性能良好，但在低信噪比时由于相位展开误差，性能急剧下降。尽管与理论上理想的码相比，功率受限的哈密尔顿码的性能降低，但是它们在大多数源和环境功率水平下仍然优于基于正弦的码。这些部件平滑输入调制和解调功能，其衰减系统带宽之外的频率这里，重要的是在输入编码函数M_in（t）和D_in（t）与输出函数M_out（t）和D_out（t）之间进行区分，输出函数M_out（t）和D_out（t）是在输入函数被系统平滑之后创建的。我们正在设计输入函数，但输出函数实际上相互关联，形成相关函数。因此，对于带限系统的相关分解的目标是找到Min（t）和Din（t），其对应的（平滑的）Mout（t）和Dout（t）最佳地近似客观相关。此外，我们将第4节和第5节中描述的边界约束应用于输入函数，因为在实践中，这些边界可以通过函数生成器施加在Min（t）和Din（t）上。一旦输入函数被施加了边界，输出函数也将满足它们。6.2.带限分解令hm（t）和hd（t）为系统的调制和解调臂的脉冲响应。然后，我们解决以下优化问题以找到输入编码函数：ar gmin<$χi−（m<$in<$hm（t））<$（din<$hd（t））<$26. 带限编码函数设计在本节中，我们分析相关分解我我米卢迪ΣN受m<$int≤1，0≤m<$in≤pf，（七）峰值功率和带宽限制的问题j=1i、ji、j6.1. 系统带宽系统的带宽由脉冲/频率响应表征。硬件组件的级联（例如，函数发生器、激光器、传感器）确定脉冲响应。实际上3为了比较具有不同K的编码方案，我们假设固定的总积分时间，其在强度测量之间均匀地分割。在这样的约束下，正弦方案的性能不随K的变化而变化。详情请参阅补充资料。0 ≤d≤ 1，j = 1，. . . ，N其中，n是循环卷积算子。我们使用第10节中描述的带有TV正则化的相同交替凸优化方法来解决问题7第5.1条由于更强的约束，带宽受限分解的收敛平均比功率受限的情况更快，只需要3-20次迭代。带限哈密顿编码函数：我们假设调制和解调脉冲响应被平均深度误差（mm）平均深度误差（mm）平均深度误差（mm）1571脉冲响应频率响应图5：汉宁窗口。在我们的仿真中，使用fmax≤5f0的汉宁窗来模拟带限组件相同的，即， hm（t）= hd（t），并将它们建模为汉宁窗[17]。图5显示了一个汉宁窗口及其频率响应的示例。 我们评估了两种情况下的汉宁窗口，约束的最大频率是fmax<$10f0和fmax<$5f0。我们认为fmax为最大频率，衰减超过105x。图6显示了输入调制和解调功能，最适合两个（五个）汉密尔顿K= 5相关函数。由于有限的带宽，只能实现哈密尔顿码的平滑近似然而，由我们的算法生成的输入编码函数（Min（t）和Din（t））继续具有期望的二进制结构（图6中的列1和3）;只有输出函数（Mout（t）和Dout（t））是带限的。在不同的约束组合下，哈密顿代码的所有带限分解结果请参考补充材料。6.3. 带限编码方案的性能图4（b）和图4（c）示出了在两个不同带宽约束下的几种编码方案的MDE。使用第5.2节中描述的相同模拟参数。平滑降低了所有编码方案的性能。在我们的评估中，我们没有将我们的框架应用于基于正弦的方案，但是我们确实限制了它们的带宽，因为它在实践中发生了。尽管在严重带限的情况下，Hamilton码的近似相对较差（图6），所得到的码仍然比基于正弦的码大2-5倍。有关不同最大功率下的其他MDE模拟，请参阅补充材料，带宽级别。图7示出了在两个硬件约束场景中用于手势重建的3D成像模拟。在松散约束的情况下，所有编码方案几乎理想地执行并且忠实地恢复3D几何。在具有更严格的功率和带宽约束的更实际的设置中，所有编码方案的整体性能降低。然而，我们的新的硬件约束的代码优于传统的正弦波码在高和低信噪比设置。6.4. 适用于2桶CW ToF传感器互补解调功能对：实施二进制解调功能的一个重要结果是，它们可以利用双桶CW-ToF传感器。双桶传感器使用互补二进制解调函数对同时获取两个测量值[22，29]。 具有K个二进制解调函数的任何编码方案（例如，本文中的代码）可以在双桶传感器中实现。图8示出了在两种频带限制情况下在双桶传感器中实现的基于正弦的代码和哈密顿代码的性能哈密尔顿算子K= 8对应于适用于2桶ToF的哈密尔顿算子K= 4四个额外的测量是互补的解调功能。双频正弦波对应于4f0和4 7f0测量。 有关双桶传感器的其他讨论和结果，请参见补充资料。7. 硬件实验7.1. 硬件原型我们开发了一个CW-ToF硬件原型，可以实现任意编码方案，具有可控的基频和平均功率。我们的设置是基于使用振镜系统（GVS 012，Thorlabs）的点扫描设 计 。 光 源 是 830nm 激 光 二 极 管 （ L830P200 ，Thorlabs），最大功率为200mW。激光的强度是由一个AR调制最高频率为150Mhz，是带限通信的二进制函数发生器（SDG 5162，Siglent）的一部分。反射信号通过透镜聚焦检测到的信号乘以解调功能，灰使用混频器（zx 05 - 1 L-s+，微型电路）。混合器的输出通过数据采集卡（USB-6000DAQ ， National Instruments ） 放 大 （ C7319 ，Hamamatsu）、低通滤波（EF 110，Thorlabs）、采样和平均有关设置的其他信息，请参见补充资料。7.2. 实验结果我们评估了所有编码方案的性能，根据不同的硬件参数，约束条件和SNR水平在四个场景。表1总结了用于每个场景的实验参数。我们的原型系统的带宽限制建模类似于模拟的最大频率为150兆赫。评估单个像素处的深度误差：图9显示了每个编码方案的硬件设置的平均深度误差。场景是距离为0的单个点。距离源和传感器7m。激光被准直，传感器聚焦 在 激 光 光 斑 上 。 为 了 评 估 平 均 绝 对 误 差（MAE），我们估计点的深度300倍。我们模拟整个深度范围1572输入调制输出调制输入解调输出解调相关函数图6：带限分解。从哈密顿量K= 5中选取两个编码函数进行因式分解。带宽约束为fmax<$10f0。输入调制和解调函数遵守其相应的边界和二进制约束。高SNR低信噪比= 5 μ m，~10μm= 5 μ m，~ 5 μ m0哈密顿量K=5MAE = 1.17mm多频正弦波MAE = 3.65 mm哈密顿量K=5MAE = 2.93mm多频正弦波MAE =4.69 mm(a)（b）第（1）款高SNR低SNR图8：双桶传感器的性能。 MDE的两个正弦为基础的和一个汉密尔顿计划适用于一个两桶架构。能够杠杆化两桶架构允许哈密顿量K= 8继续优于基于正弦的方案。哈密顿量K=4MAE = 3.75mm窦状隙MAE= 8.69 mm哈密顿量K=4MAE = 6.47mm窦状隙MAE= 14.11 mm低高SNR水平图7：在宽松和严格约束下的模拟。在宽松（Pmax=20Pave，fmax= 20f0）和严格（Pmax= 5Pave，fmax=5f0）约束下的3D手部重建的比较。在宽松的约束下，哈密顿和多频正弦曲线都能准确地恢复形状。在更严格的约束下，性能下降，然而，重新设计的哈密顿量K = 4继续恢复手的整体结构和细节。总集成时间（毫秒）总集成时间（毫秒）通过人为地移动调制函数并计算每个移动的MAE来实现编码方案图9中的平均深度百分比误差是通过平均所有偏移（20个偏移）的MAE并除以总深度范围（30m）计算的由于在此配置上f0比fmax低30倍，因此我们假设无限带宽并评估功率受限编码方案。3D墙壁重建：图11示出了壁的3D重建。在高信噪比和低信噪比下，实际哈密顿码的性能优于正弦基码。具有复杂纹理的真实场景：图10示出了使用哈密顿量K = 5和多频正弦函数的桌面场景和排球的恢复的深度图。桌面场景由3本间隔20厘米的书组成图9：实验平均深度误差。单个功率受限设置中的像素MDE，其中Pmax=15Pave.与仿真结果一致，在中低信噪比下，功率受限的哈密尔顿码优于基于正弦的码，而在高信噪比下，多频正弦表现为哈密尔顿函数。彼此之间，还有一面背景墙，在第一本书的后面。第二个场景是放置在距离传感器1米处的20厘米半径的排球。曝光两个场景所用的时间是相同的。带限哈密顿量K= 5深度图具有相当少的离群值。另一方面，多频正弦曲线在低信噪比下由于错误的相位展开而显示出较大的误差。通过对高信噪比桌面和排球场景进行多平面和球面拟合，得到了最大声发射（MAE）松散约束紧约束平均深度误差（mm）平均深度误差平均深度误差（mm）平均深度误差1573场景高信噪比低信噪比展开误差哈密顿量K=5，MAE = 1.2cm多频正弦波，MAE = 2.9 cm哈密顿量K=5，MAE = 1.1cm多频正弦波，MAE = 0.9cm哈密顿量K=5，MAE = 1.8cm多频正弦波，MAE = 50.4cm哈密顿量K=5，MAE = 7.8cm多频正弦波，MAE = 64.6 cm图10：桌面场景和排球的深度贴图。 我们比较了哈密顿量K = 5和多频正弦信号的重建结果。在高SNR下，两种编码方案都准确地恢复了两个场景中的3D几何形状在书籍场景中，在低信噪比下，相位展开误差出现在多频正弦曲线中，特别是在具有低分辨率（最左边的书）和较远深度（背景墙）的区域对于排球，多频正弦曲线在低SNR下沿周边也显示出较差的深度暗红色斑点对应于大于30cm的误差，这表明球的重建较差另一方面，哈密顿量K= 5表现出没有相位展开误差和低离群值率。场景平均值 f0fmax高SNR低SNR单像素2 mW 5 Mhz ∞O.D. 2个O.D. 3壁10mW10Mhz15f0 O.D.2个O.D. 3台式10mW15 Mhz10f0 O.D.1 O.D. 2排球10mW15Mhz10f0 O.D.1 O.D. 2正弦曲线MAE =181.1mm窦状隙MAE= 461.1 mm多频正弦波MAE = 84.7毫米多频正弦波MAE =392.2 mm哈密顿量K=5MAE = 51.6mm哈密顿量K=5MAE = 109.3mm表1：硬件实验的参数。在所有实验中，最大功率固定为15Pave。最大频率约束（fmax）由f0和函数发生器的频带限制（150Mhz）确定。高和低SNR设置通过用具有不同光密度（O.D）的ND滤光片衰减源功率来模拟O.D为1、2和3导致图11：3D墙重建。墙的距离为0。5米。在高信噪比时，哈密顿量K= 5，多频正弦信号进行正交变换.在低信噪比下，多频正弦信号会出现相位展开误差，严重影响其性能。相对于所有像素的平均深度来计算MAE8. 局限性和未来工作两步法的最佳性：理想情况下，可以直接以MDE为目标优化实际调制和解调功能。由于所产生的优化问题具有挑战性，没有已知的易处理的解决方案，我们将其分为两个步骤：（1）在MDE上优化相关函数，（2）找到逼近相关的实际调制和解调函数。这种方法实现起来比较简单，而且我们的结果表明，这种方法可以得到实用的高性能编码.虽然，我们的方法是通用的，足以适用于任何相关函数，它是困难的。信号衰减系数为10、100和1000。ficult，以保证一个给定的相关性可以准确地分解。最终，拟合优度取决于约束的强度（例如，补充图12）。用于2桶ToF的互补解调：用我们的方法从二进制解调函数导出的2桶编码方案可能不是最优的。将互补函数约束嵌入到优化中是今后研究的一个有趣方向.多径干扰：在本文中，我们假设没有由于多次反射的干扰。相关函数设计步骤和深度推断算法可以结合如在[1，27]中所做的多路径传播模型。这是一个很有前途的研究方向。鸣谢：这项研究得到了ONR资助N 00014 -15-1-2652和N 00014 -16-1-2995以 及 DARPA 资 助HR 0011 -16-C-0025的部分支持。高SNR低信噪比1574引用[1] A.亚当角Dann，O. Yair，S. Mazor和S.诺沃津实时形状、照明和反射的贝叶斯飞行时间。IEEE transactionson pattern analysis and machine intelligence，39（5）：851-864，2017。一、三、八[2] G. Ayers和J. C.很精致。迭代盲反卷积方法及其应用。Optics letters，13（7）：547-549，1988。2[3] S. Boyd和L.范登伯格凸优化剑桥大学出版社，2004。4[4] B. Büttgen 和P. 塞茨基于智能像素结构的反辐射光学飞行时间距离IEEE电路与系统学报，55（6）：1512-1525，2008。2[5] D. A. Carnegie，J.McClymont，A.P. 容格内伦湾德雷顿A. A. Dorrington和A.D. 佩恩移动机器人应用的可配置全视场成像系统的设计和传感技术的新发展和，第133-155页。Springer，2011. 2[6] B. Carrihill和R.哈梅尔强度比深度传感器实验。计算机视觉，图形和图像处理，32（3）：337- 358，1985。2[7] T. F. Chan和C.-K. 黄。全变差盲解卷积。IEEE图像处理学报，7（3）：3704[8] S. Diamond和S.博伊德Cvxpy：一个Python嵌入的凸优化 建 模 语 言 。 The Journal of Machine LearningResearch，17（1）：2909-2913，2016. 4[9] D. Droeschel，D. Holz和S.本克飞行时间相机的多频相位 展 开 。 在 智 能 机 器 人 和 系 统 （ IROS ） ， 2010 年IEEE/RSJ国际会议上，第1463-1469页。IEEE，2010。5[10] W. Freeman，F.Durand，Y.Weiss和A.莱文理解和评估盲解卷积算法。2009. 4[11] M. Grant，S. Boyd和Y.烨可编程凸规划。全局优化，第155Springer，2006年。4[12] R. Grootjans，W.van der Tempel，D.范纽文霍夫，C. de Tandt和M.库伊克利用伪随机二进制序列改进飞行时间测距相机的调制技术。IEEE/LEOS比荷卢分会第十一届年度研讨会，第217页，2006年。1[13] M. Gupta和N.纳哈特结构光编码的几何透视在欧洲计算机视觉会议（ECCV）的会议记录中，第87-102页，2018年。2[14] M.古普塔河K. Nayar，M. B. Hullin和J.马丁相位成像：基于相关的飞行时间成像的推广。ACM Transactions onGraphics（ToG），34（5）：156，2015。2[15] M. 古普塔A。Velten，S.K. Nayar和E.布赖特巴赫飞行时间成像的最佳编码函数是什么ACM Transactions onGraphics（TOG），37（2）：13，2018。一、二、三、四[16] M. Hansard，S.李湾，澳-地Choi和R. P. Horaud。飞行时间照相机：原理、方法和应用。Springer Science Business Media，2012. 2[17] F. J·哈里斯用离散傅立叶变换进行谐波分析的加窗方法。Proceedings of the IEEE，66（1）：51-83，1978. 6[18] E. Horn和N.Kiryati。朝向最佳结构光模式1。Image andVision Computing，17（2）：87-97，1999. 2[19] A. Kadambi、A.班达里河Whyte，A. Dorrington和R. 拉斯卡通过低成本传感和纳秒编码解复用照明2014年IEEE国际计算摄影会议（ICCP），第1IEEE，2014。2[20] A. 卡丹比河Whyte，A.班达里湖斯特里特角巴西，A. Dorrington和R.拉斯卡编码飞行时间相机：稀疏解卷积解决多径干扰和恢复时间剖面。ACM Transactions onGraphics（ToG），32（6）：167，2013。2[21] D. Kundur和D.哈齐纳科斯 盲图像解卷积。IEEE信号处理杂志，13（3）：43-64，1996年。二、四[22] R. Lange和P.塞茨固态飞行时间测距摄像机。IEEEJournal of quantum electronics， 37（ 3 ） ：390-397，2001. 一二三五六[23] P. Mirdehghan，W. Chen和K. N.库图拉科斯最佳结构光点菜。在IEEE计算机视觉和模式识别会议论文集，第6248-6257页2[24] A. D. Payne，A. A. Dorrington和M. J·克里飞行时间距离成像相机的 照明波形优化。在Videometrics ，RangeImaging，and Applica- tions XI，第8085卷，第80850 D页。国际光学与光子学会，2011年。一、二、三[25] A. D. Payne，A. A. Dorrington，M. Cree和D. A.卡内基改进的飞行时间距离成像相机的测量线性度和精度应用光学，49（23）：4392-4403，2010. 2[26] A. D. Payne，A.P. Jongenelen，A.A. Dorrington，M.J.Cree和D.A. 卡内基多频距离成像消除测量模糊.光学三维测量技术，2009年。二、五[27] M. Schober，A. Adam，O. Yair，S. Mazor和S.诺沃津动态飞行时间。在IEEE计算机视觉和模式识别会议论文集，第6109-6118页一、三、八[28] A. 费尔滕，T.威尔瓦赫尔湖，澳-地古普塔A。韦拉拉哈万G. Bawendi和R.拉斯卡使用超快飞行时间成像恢复拐角周围Nature communications，3：745，2012. 3[29] R. Z. Whyte，A.D. Payne，A.A. Dorrington和M.J. 克里多范围成像摄像机操作，最小的每一次影响。在图像处理中：机器视觉应用III，第7538卷，第75380 I页。国际光学与光子学学会，2010年。一、二、六
我的内容管理
展开
