7880用于处理多ToF相机干扰的李钟浩威斯康星大学麦迪逊分校jongho@cs.wisc.edu威斯康星大学麦迪逊分校mohitg@cs.wisc.edu摘要随着连续波飞行时间（C-ToF）相机在3D成像应用中的普及，它们需要应对多相机干扰（MCI）问题。在多相机环境中，ToF相机可能从其他相机的源接收光，从而导致大的深度误差。在本文中，我们提出了随机曝光编码（SEC），一种新的方法来减轻。SEC涉及将相机的积分时间划分为多个时隙，并且在每个时隙期间随机地关闭和打开相机。这种方法有两个好处。首先，通过适当地选择每个时隙的开启概率，相机可以有效地滤除干扰信号的AC和DC分量，从而减轻深度误差，同时还保持高信噪比。这实现了具有低功耗的高精度深度恢复。其次，该方法可以在不修改C-ToF相机我们证明了SEC的性能优势与理论分析，模拟和真实的实验，在广泛的成像方案。1. 介绍飞行时间（ToF）相机正在迅速成为各种3D成像应用的首选方法，例如3D映射[8，13]，人机交互[5]，增强现实[11]和机器人导航[17]。ToF相机具有紧凑的形状因子和低计算复杂性，导致出现了几种商品ToF相机[2，1]。 随着这些相机在移动设备和手机中变得无处不在，它们将面临一个重要问题：多相机干扰（MCI）。这对于连续波ToF（C-ToF）成像尤其关键，其中光源连续地发射光。当几个C-ToF相机同时捕获相同场景时，每个传感器可以从其他相机的源接收光。该干扰信号阻止正确的深度估计，导致潜在的大的结构化误差。解决MCI的一种方式是针对不同的C-ToF相机使用正交编码函数，例如，不同频率或相位的正弦[23，18，16]，或伪随机函数[6，7，10]。这些方法虽然理论上能够减轻干扰，但具有实际限制。由ToF相机的源发射的光的强度是正的，具有恒定（DC）和振荡（AC）分量两者;深度信息被编码在AC分量的时移中。虽然正交编码方法可以去除AC干扰，但是DC干扰仍然存在。DC干涉充当额外的环境光，导致更高的光子噪声。随着干扰相机的数量增加，信噪比（SNR）可能显著降低，使得恢复有意义的信息具有挑战性。我们提出了一种新的MCI减少技术，其目标是减轻DC 和 AC 干 扰 。 我 们 的 方 法 是 基 于 时 分 多 址（TDMA），一个广泛使用的方案，促进多用户接入共享的沟通渠道。在TDMA中，单个共享通信信道被划分为多个时隙，每个用户分配一个时隙[21]。为了防止干扰，不同用户之间的定时必须同步，这由中央机构（例如，基站直接应用TDMA来寻址MCI将需要不同相机的高速时间同步，不幸的是，这是具有挑战性的[7]。随机暴露编码：有没有可能在没有同步的情况下实现类似TDMA的方法？我们的主要思想是利用随机性，以避免明确的同步。所提出的方法，称为随机曝光编码（SEC），将每个相机的总曝光时间分为多个时隙。在每个时隙中，摄像机和源以特定概率p开启。通过设计，如果槽没有冲突，即，在该时隙期间，只有一个摄像机是活动的，避免了DC和AC干扰，因为摄像机仅从其自身的光源接收光。由于该方法是随机的，在没有显式同步的情况下，仍然可能存在冲突。我们设计了一个简单的，轻量级的冲突检查算法来识别和丢弃冲突槽，使他们不影响深度估计。11这种方法类似于通信中的随机接入协议，如ALOHA [3]和CSMA[14]，因为数据包是随机发送的然而，虽然通信协议需要在冲突发生时重新发送数据包，但在我们的情况下，我们可以简单地丢弃冲突的时隙。这是因为在通信中，每个分组具有唯一的信息，而在我们的情况下，所有时隙具有相同的深度信息。7881≥≤≤组合结果ToF相机1⋯ToF相机2⋯微时间尺度曝光编码层（拟定）ToF相机1⋯ToF相机2⋯TOF深度相机1编码层TOFcamera2纳米时间尺度对关闭关闭对对对图1. 分层C-ToF编码。所提出的方法在曝光编码层中操作，其中相机和源以微/毫秒时间尺度调制。相比之下，现有MCI减少方法在较低深度编码层中操作，其中以纳秒时间尺度执行调制。最佳p ON是多少？这是一个关键的问题，必须解决所提出的方法是成功的。高pON将增加冲突（多个同时活动的相机）的可能性，从而导致干涉和深度误差。另一方面，如果p_ON太低，尽管避免了冲突，但是相机在大部分积分时间期间是不活动的，并且因此没有接收到足够的我们进行了详细的理论分析，并确定最佳的pON，给定的系统约束和干扰相机的数量这使得每个源能够足够稀疏地发送光以在没有同步的情况下减轻干扰，同时维持光的均匀性。减少直流和交流干扰，从而可以在低功耗的同时实现高SNR。因为它们需要对现有C-ToF系统进行最小的修改，所以这些方法广泛适用于低复杂度、功率受限的移动设备中的3D成像2. 相关工作用于MCI降低的大多数现有方法依赖于正交函数，诸如针对不同相机的不同调制频率的正弦曲线[20]和伪噪声（PN）序列[6，7]。其他方法将总积分时间划分为多个时隙，并将预定相位中的一个随机分配给每个时隙[23，18，16]。虽然所有这些方法仅减少AC干扰，但我们的目标是设计减轻AC和DC干扰的方法用于处理MCI的另一种最近的方法是仅沿着在场景上扫描的平面片投射光。由于一次仅照亮场景的一部分，因此减少了其他相机干扰的机会虽然这种方法也可以减少直流干扰，但它需要机械扫描。相比之下，我们的方法可以在没有移动部件的情况下实现。3. 数学基础C-ToF成像模型：C-ToF相机由（通常位于同一位置的）相机和光源组成[15]。光源的强度在时间上被调制为具有周期T0的周期函数M（t），（M（t）0）。由光源发射的光行进到感兴趣的场景，并且被反射回相机。入射到传感器像素上的反射光的辐射亮度p是M（t）的时移和缩放版本：高SNR，用于固定时间和功率预算。C-ToF编码的分层视图：提议的SEC方法的一个关键好处是它不需要修改.R（p;t）=αPsMt−Σ2个d、（1）CC-ToF相机SEC可以通过快速关闭和打开摄像机来实现其中d是照相机和在p处成像的场景点之间的距离，c是光速。Ps是av-假设光源的功率为以一种让人联想到节奏的方式用于运动去模糊的ral曝光编码[19]。这将创建1的t0的 t0M（t）dt=1。 α是一个视场景而定的比例因子，C-ToF相机编码的分层视图，如图1所示。用于MCI减少的现有方法在深度编码层中操作，因为它们以纳秒时间尺度改变相机相比之下，SEC通过以微米/毫秒尺度调制相机和源而在较高曝光编码层处实际影响：SEC和现有的MCI减少方法可以以互补的方式使用，因为它们在不同的层中操作。我们表明，通过理论分析，模拟和硬件实验，这种组合的多层编码方法显着优于现有的方法。建议的方法是：包含场景反射率、反射率属性和光衰减。然后，相机电子地计算R（p; t）与周期解调函数D（t）（0D（t））之间的相关性。1）2具有与M（t）相同的频率。在像素p处测量的强度值C（p;d）被给出为R（p;t）与D（t）之间的相关性：∫C（p;d）=s （R（t;d）+Pa）D（t）dt，（2）不2几种C-ToF相机架构[15，6]使用双极性解调函数（−1≤D（t）≤1）。为了便于分析，我们考虑单极D（t）（0≤D（t）≤1）。本文的所有结果和分析都可以推广到双极性D（t）。7882Cn∀联系我们≥2.2ΣKK深度信息深度信息深度信息主测量干扰测量主要+干扰AC + DC干扰DC干扰无干扰(a) 无干扰（b）干扰（c）按常规（d）按建议图2. C-ToF成像中的多相机干扰和干扰减少。 （a）在C-ToF成像中，从测量的波形的相位恢复深度。(b)如果存在多个相机，则干扰源破坏所测量的波形，从而导致系统深度误差。(c)常规MCI减小方法通过去除AC干扰来减小系统误差，但DC干扰仍然存在，从而由于较高的光子噪声而导致较低的SNR和随机深度误差（d）我们的方法减轻了AC和DC干扰，从而减少了系统和随机深度误差。其中s是封装传感器增益和灵敏度的相机相关比例因子，T是总积分时间，并且Pa是入射在场景上的环境光的平均功率（例如，由于室外操作中的阳光）。为了估计场景深度，使用几个（≥3个）不同的C（p;d）如果多个相机同时对场景点成像，则相机接收来自干扰源以及其自身源的光。 假设所有的。sourΣces使用正弦曲线相同的频率，强度n，k ∈{1，. . . ，K}由照相机测量。enthsoΣurcealsoformasi-通过使用不同的调制对来测量值nusoid。 总测量k穆尔特，k ∈{1，. . . ，K}和解调功能[15]。3.1. C ToF成像中的多相机干涉考虑多个C-ToF相机同时照明场景点并对场景点成像的由相机之一（称为主相机）测量的总强度由下式给出：ΣN（等式。3）是这些单独正弦曲线的总和，因此，也形成正弦曲线。如图所示。第2段（b）分段。然而，由于各个正弦曲线（由于每个干扰源而产生一个正弦曲线）的相位Φη可能不同，因此总测量波形的相位可能不同于真实相位，从而导致系统的、潜在的大深度误差。3.2. 用于减轻干扰的正交编码一种方法来解决多个问题。合并干扰Cmult（d）=C（d）+Cn（d）、（3）是为了确保n，k∈ {1，. . .，K}`n=1X多相机干涉其中N是干扰相机的数量，C（d）是干扰相机的数量。由于干扰源形成恒定波形，即，Ck=Cn，k。 举例来说，在正弦曲线译码中，这可通过将不同调制频率指派到每一ca m来实现。era[2 0Σ]。3因此，总测量强度测量的主要∫ary相机由于其自身的波形Kmult，k∈ {1，. . .，K}具有相同的相位源（等式2），并且Cn（d）=sTRn（t）D（t）dt是平均值。由于第n个源而确定的强度。Rn（t）是由于第n个光源发射的光而由主相机接收的辐射。为了简洁起见，我们省略了参数p。Eq.中的求和项3破坏了真实的相关值C（d），因此导致错误的深度估计。正弦编码示例：在具有正弦编码的C-ToF相机中，调制M（t）和解调D（t）函数都是相同频率（同差）的正弦。相机进行K3强度测量（等式2）的情况。 每个测量值Ck（d），k1，. . .，K通过将解调函数D（t）移位不同的量ψk而获得，而M（t）保持固定。考试-由于主要来源的正弦曲线。这是因为干扰分量是恒定波形，因此不会改变相位，从而防止系统深度误差。如图2（c）所示。我们称之为交流正交（ACO）的方法，因为它减少了干扰，以恒定的波形，通过消除交流分量。然而，总波形的偏移（DC分量）仍然增加，如图2（c）所示。额外的偏移充当额外的环境光，并且因此由于增加的散粒噪声而降低估计深度的SNR[23]。4例如，基于4抽头正弦的ACO方法的深度标准偏差被给出为：c√es+ea+Neiple，如果K=4，则[ψ1，ψ2，ψ3，ψ4]=[0，π，π，3π]。 该组σACO=2√2πf√Te、（四）测量Ck（d），k ∈ {1，. . . ，K}被定义为CCC0秒7883测量波形对于正弦编码，测量-分段波形是作为偏移ψk的函数的正弦曲线，如图1B所第2段（a）分段。令φ为测量波形正弦曲线的相位场景深度d与φ成比例，并且可以通过简单的解析表达式恢复[12]。其中f。是调制频率，T是总电容。3不同频率的正弦波是正交函数，即，它们的相关性为零，或者如果正弦曲线具有非零DC偏移，则它们的相关性为常数4使用双极性解调功能时，虽然直流偏移被消除，但散粒噪声仍然增加。讨论见技术报告7884−诺克什诺克什每次测量的真实时间，并且c是光速。es=sαPs，ei=sαiPs和ea=sPa是信号光子的平均数（由于主摄像机ToF相机1帧时隙1插槽⋯源）、干扰光子（由于干扰源）、环境光子（由于环境源）。不失一般性，我们假设对于所有干扰相机，ei是相同的ToF相机2开，带1 −时关闭⋯有关公式推导，请参见技术报告。4.第一章虽然ACO方法防止了由于MCI引起的系统误差，但是由于光子噪声引起的随机误差随着干扰相机的数量增加而增加（等式10）。4）. 这是因为每个干扰源具有非零DC分量，对强度测量贡献额外的光子噪声。是否有可能设计一种直流正交（DCO）方法，消除干扰的AC和DC分量，如图2（d）所示？4. 随机暴露编码在本节中，我们描述了所提出的随机曝光编码（SEC）技术。SEC是DC正交方法，因为它可以减轻DC和AC干扰。SEC基于在通信网络中使用的时分多址（TDMA）的原理，以便于同时多用户接入共享信道。考虑多个ToF相机同时对相同场景进行成像的场景防止干扰的一种方法是将捕获时间划分为多个时隙，并确保在任何给定时隙期间恰好有一个相机（及其源）处于开启状态。然而，将相机确定性地分配给时隙需要时间同步，这可能是具有挑战性的，甚至可能是不可行的，尤其是在不受控制的消费者应用中。SEC背后的关键思想是通过执行随机地分配时隙，可以在没有同步的情况下防止干扰。SEC可以被认为是上述TDMA的随机版本，其中在每个时隙中，每个相机以概率p开启。对于每个插槽、每个摄像机，独立地做出开-关决定，而不同步。如果插槽图3.SEC的概念一个框架，最基本的单位来esti-配合深度，分为M个槽。每个时隙以概率p激活。深度值是根据非冲突的ON（激活的）时隙来估计的。问题是：最佳p是多少？为了解决这个问题，我们用p来表示SEC的深度标准差。SEC的深度标准差：考虑由N+1个C-ToF相机成像的场景。为了便于分析，我们假设相机是相同的。每个相机的捕获时间被划分为相同持续时间的时隙。对于每个相机，其在每个时隙中以概率p被开启。通常，槽的边界可以不跨相机对准。因此，相机的任何给定插槽将与另一相机的两个插槽重叠。因此，给定时隙不产生冲突的概率P是确定的只有一个摄像机在该时段处于活动状态，即：p= p（1 − p）2N。（五）假设我们可以识别所有非冲突时隙，每个相机的有效曝光时间平均为Tp_noclsh，其中T是总捕获时间。为了补偿减少的曝光时间，我们假设源的峰值功率可以被放大。设A为源峰值功率放大。理论上，A应该是1/p，因此在捕获时间期间使用的总能量保持恒定。然而，实际上，A受到设备约束的限制因此，A=min（1/p，A0），其中A0是由物理约束确定的A给定有效曝光时间Tp_noclsh和源功率放大A，SEC的深度标准偏差第四章：√由于照相机仅从其自身的光源接收光，如图3所示 由于该方法是随机的，因此CσSEC=2√2πf√TpAES+EA AE、（6）可能存在冲突，可以使用简单的冲突检查算法（第4.2节）识别并丢弃这些冲突。4.1. 最佳时隙接通概率SEC的性能由时隙ON概率p确定（为了简洁，我们将使用p而不是pON如果P高，则每个相机利用捕获时间的较大部分，但是可能导致更多的另一方面，对于低p，冲突可以被最小化，但是相机引起较长的因此，自然0noclsh% s其中A=min（1/p，A0）且p= p（1p）2N。5SECpSEC的最佳ON概率定义为：（七）推导见技术报告。随着干扰相机的数量N的增加，最佳ON概率严格地说，由于槽ON概率的随机性可以影响深度标准偏差。然而，在实践中，如果使用足够数量的槽，则随机性的影响相对较小。.pSEC= arg minσSEC = min1，的。1 Σp2N+ 1A07885联系我们减少，使得碰撞的数量保持较低。 如果p太小或太大，则不能实现最佳SNR因为有效积分时间减少了4.2. SEC中的冲突检测和深度估计由于SEC是一种随机的异步方法，因此= 1= 10每个帧中的一部分时隙可能仍然具有冲突。需要识别并丢弃这些碰撞槽，以便它们不会影响深度计算。我们的冲突检查算法基于以下简单的直觉：在冲突插槽中，相机从多个光源接收光线。因此，与无冲突时隙相比，该时隙中的总接收强度更高，具有高概率。因此，我们比较所有相关性的总和图4. SEC所需的源峰值功率放大所需的源峰值功率A随着功率的增加而增加。对于各种相对的环境光强度ra，干涉相机N，但是最终会聚。将每个时隙中的值0= kCk调整到阈值。如果O较大，则丢弃相应的时隙。 最后，我们计算a= 0.99= 0.90= 0.95深度值dm（m1，…，Mnoclsh用于每个非冲突时隙，并且估计每个帧的最终深度值d通过对dm求平均。详见技术报告。4.3. 实际考虑和限制作为DC正交方法，SEC实现了比ACO更高的SNR（详见第6节）。另一方面，SEC有更强的要求：（a）与ACO相比，它需要更高的源峰值功率（对于相同的总能量），以及（b）它需要捕获更多的数据（每帧多个时隙）。幸运的是，正如我们下面所示，这些要求的上限相对较小。所需的源峰值功率放大：由于SEC的有效积分时间比ACO短，因此如果源峰值功率放大A不够大，SEC的SNR可能小于ACO。SEC在SNR方面表现优于ACO所需的A图5. SEC所需的ON插槽数。如果干扰相机的数量N在各种可允许的峰值功率放大A0上增加，则需要更多数量的ON时隙M ON。然而，所需的M_ON最终收敛。(e.g.、蜂窝电话），为了使总能量消耗最小化，可能希望以低平均功率操作光源，而不管较高峰值功率的可用性。其次，最近的研究已经显示了驱动通常用于C-ToF相机中的低成本源（例如，激光二极管和LED）具有高瞬时峰值功率[22]。例如，在NIR（830nm）下发射1. 5W的光输出功率被成功地过驱动至高达约25W[22]。所需插槽数：为了在SEC中进行正确的深度估计，我们需要至少一个非冲突的ON时隙。令p_suc是在帧期间获得至少一个非冲突ON时隙的概率。然后，可以确定a的ON时隙的数量M_ON。1√pnoclshA+raA≤ √1 +ra+Nri，（8）相机将需要捕获每帧随着N而增加，但最终是有界的，如以下结果所述保留lt2. ON时隙MON的剩余相等数目rΣ其中ra=ea/es和ri=ei/es分别是相对环境光强度和相对干扰光源强度。图4示出了在不同环境光强度下在不同数量的干扰相机N上所需的峰值功率放大A尽管所需的A随着N而增加，但它最终会收敛，如以下结果所述（参见技术报告以获得证明）：结果1. I f.SEC源峰值功率eΣr放大率为√至e z2/2+1−z z2/4+1 不管有多少其中，z是z分数值，并且是psuc的函数。例如，当psuc=0时。9，所需的M_ON的上限为9.1。证明见补充报告。图5示出了在干扰相机的数量N上的MON，其中具有不同的期望成功概率p和不同的允许成功概率p。大于√e+e（e+2rari）/ri，深度标准源峰值功率放大A0. MON随无论干扰相机的数量如何，SEC的偏差总是低于ACO例如，所需的A≈6。当ra=ri=1时，为3。实现高峰值功率的实用性：关于增加源峰值功率的实用性，应考虑两个因素。首先，在功率受限的设备N，但随着N的增加而收敛。时隙的总数在帧中，M=MON/pSEC可能很大并且影响帧速率。然而，限制帧速率的更相关的因素是M_ON（接通时隙的数量），其相对较小，因此使得可以实现足够高的帧速率以用于捕获动态场景。详细讨论和分析见技术报告。= 0.10= 70= 90= 117886ACO SEC（拟定）CMB（拟议）−5. 用于减轻MCI的多层编码所提出的SEC创建了C-ToF相机编码的分层视图，如图1所示用于MCI减少的大多数现有方法在底部深度编码层中操作，因为它们以纳秒时间尺度改变相机相比之下，SEC通过以微/毫秒时间尺度调制相机和源来在更高的前编码层处操作。由于SEC和常规ACO技术在不同层中操作，因此它们彼此正交，并且可以以互补的方式使用例如，可以针对不同的相机使用具有不同调制频率的正弦编码，同时还使用���0(a) 反深度标准差0(b) 能耗秒在这种多层集成方法（CMB）中，不再需要丢弃冲突的槽，因为它们不会引入深度误差。这使得重复的冲突检查不必要，从而导致更简单的深度估计和有效的帧结构。CMB的深度标准差：CMB的深度标准偏差σCMB可以很容易地从方程中导出。第四章：图6. 理论比较。通过（a）在相同能量消耗下的逆深度标准偏差和（b）实现相同深度标准偏差所需的能量来比较不同的方法。我们的方法的相对性能随着干扰相机的数量N、可允许的峰值功率放大A0和相对环境光功率ra而提高。实现相同的能源消耗CσCMB=2√ 2πf√Tp√Aes+ea+NpAeiAE、（9）还比较深度标准偏差。我们定义E为：0秒E秒1A0+ra其中A=min.Σ1、A .ESEC=EACO =（1−pSEC）2NA0 （1+ra、+Nri）p0（13）最佳时隙开启概率：CMB p CMB的最佳时隙ON概率被定义为p最小化Eq. 第九章：1和E=ECMB =A0+ra+pCMBNA0ri，（14）pCMB= arg minσCMB =p.（十）a0级CMBEACOA0（1 +ra+Nri）注意，pCMB与N无关。 用于推导和深度估计算法，参见技术报告。6. 理论性能比较我们提出了ACO，SEC和CMB之间的理论比较1）在相同的能量消耗和2）所需的能量，以实现相同的深度标准偏差的深度标准偏差。所有比较都是相对于理想ACO的。我们定义归一化的深度标准差倒数σ−1（值越大越好）：.分别用于SEC和CMB对于ACO，E = 1。图6显示了三种方法的（a）σ−1和（b）E作为干扰摄像机的数量N、可允许的峰值功率放大A0和环境光强度ra的函数。 当这些参数中的一个变化时，其他参数被固定为N=5、A0=8、ra=1和ri=1。从图中可以看出，σ−1和E彼此密切相关。一般而言，SEC和CMB的σ−1和E在N增加时由于ACO无法实现的DC干扰减少而虽然SEC和CMB的相对性能随着A0而提高，但对于SEC，它饱和更低的能耗是我们的方法的主要优势之一，这对电力系统至关重要σ−1=σACO=（1pσSEC和SEC）NA0（1+ra+Nri），A0+ra（十一）受限的应用程序。对于相同总峰值功率的其他比较，请参见技术报告。7. 模拟验证σ−1= σACOσCMB =A0.pCMB（1+rna+Nri），（12）A0+ra+pCMBNA0ri7.1. 深度标准差我们证实了推导的深度标准偏差方程的ACO，SEC，���−17887和CMB的模拟。为每个分别用于SEC和CMB 对于ACO，σ−1= 1。方法，计算相关值，泊松噪声788890B{}= 1（ 1）频率（MHz）图7. 通过模拟和方程反演深度标准偏差。仿真结果与导出的方程在各种参数下匹配良好。所提出的方法在一系列成像场景上优于现有方法。并且根据噪声相关值来估计深度值。重复该过程1000次以计算深度标准偏差。我们还包括PN序列方法（PN）[6，7]用于模拟。我们修改了原始深度估计算法[6]，以适应单极解调函数和四个相关值，以便与其他方法进行公平比较。图7显示了当深度值为1 m时，PN、ACO、SEC和CMB随干扰相机数量N、总积分时间T和调制频率f0的倒数深度标准偏差σ−1。固体和虚线表示模拟和等式的结果，分别。所有模拟结果与推导的深度标准差方程吻合良好。由于非零AC干扰和相对低的调制频率，PN_id的性能差，以实现与其他方法相同的可测量深度范围。更多详情请参见技术报告。7.2. 使用3D模型进行给定3D模型，计算从给定相机位置到模型的所有顶点的深度值。对于每个顶点，相关值通过4个不同的-40.144.3761.314.9980.155.90ent方法（PN、ACO、SEC和CMB），添加光子噪声，并且从损坏的相关值估计深度值。一旦模型被重建，也计算均方根误差（RMSE）以用于客观质量比较。图8比较了不同方法在不同数量的干扰相机N上的仿真结果。RMSE值（mm）为下面是结果。虽然绝对业绩所有方法都随N减小，与PN或ACO相比，SEC和CMB的相对性能在客观和主观质量上都增加8. 硬件原型和实验我们开发了一个概念验证硬件原型来实现ACO、SEC和CMB。我们的设置由四个C-ToF相机（OPT8241-CDK-EVM，Texas Instruments [2]）和四个微控制器（Arduino UNO）组成，以生成随机二进制序列（图9）。在50%占空比的方波被用作调制和解调器。图8. 在不同数目的干扰相机上的3-D模型重建。 我们的方法在主观和客观质量上都取得了更好的性能在不同数量的干扰照相机N.示出了RMSE值（以mm为单位）。解调功能。由于帧是相机访问深度值的最基本结构，因此我们使用帧作为插槽。对于ACO和CMB，四种不同 的 调制 频 率=十 八、 二 十 、 二 十 二、 二 十 四（MHz）用于四个不同的相机。来自主相机的所有时隙的深度值被平均以获得ACO的深度值。对于SEC和CMB，摄像机在从机模式下运行，由Arduino根据给定的插槽开启概率（通过该概率确定插槽激活对来自非冲突ON时隙和所有ON时隙的深度值求平均以分别获得SEC和CMB的深度值。由于放大SEC和CMB的光源峰值功率具有挑战性，因此我们使用具有光密度膜的ND滤光片（NE 20 A-B，Thorlabs）降低ACO的峰值功率PN ACO ACO SEC（拟定）SEC（拟定）CMB（拟议）CMB（拟议）（模拟）（模拟）（方程式）（模拟）（方程（模拟）（方程−1（���SEC（拟定）CMB（拟议）PNACO7.9512.3616.254.997.088.497889--B{}B彩色地面实况干扰前视图顶视图图9. 硬件原型。 实施ACO、SEC和CMB的设置的前视图和俯视图该设置由四个C-ToF相机和四个微控制器组成，以生成随机二进制序列，从而通过给定的时隙开启概率来激活相机低能量0米4米0米4米中能高能颜色地面实况干扰0m 4m 0m 4m 0m 4m99%，0.097100%，0.043100%，0.031ACO0.3米3.5米0.3米3.5米证券交易委员会（拟议）CMB（拟议）0m 4m 0m 4m 0m 4m0.3米3.5米0.3米3.5米0.3米3.5米图10. 通过真实实验进行性能比较。在三种不同的方法中使用多频编码。内点（非黑色像素）的%和内点处的RMSE值（以m为单位）被表示用于方法之间的比较。ter，同时保持总能量消耗相同。多频编码方案的结果：我们的方法的主要优点之一是它能够与任何C-ToF编码方案一起使用。为了证明这种能力，我们使用了具有两个频率的多频率编码方案[9]。我们使用调制频率集=18、20、22、24（MHz）作为基本频率，和二十七三十三十三三十六（MHz）作为去混叠频率。0的情况。83ms用于时隙积分时间。图10示出了人脸的彩色图像和地面实况深度图。nequin以及干扰结果和通过三种方法估计的深度图。具有最低1%数量的光子的区域处的深度未被恢复，并且以黑色示出为异常值。对于每种方法，在结果上表示内点的%和内点的RMSE值（以m为单位）。 虽然系统的深度误差被删除的所有方法，我们的方法相比，ACO显着降低噪声。能耗比较：我们得到了不同能量消耗下的深度估计结果，并对不同方法进行了比较。通过改变时隙积分时间来实现不同的能耗：低能耗（0. 83ms）、中等能量（1. 83 ms），以及高0m 4m 0m 4m 0m 4m图11. 不同能量消耗下的深度估计比较。我们的方法表现出更好的性能，在较低的能耗比传统的方法。内点（非黑色像素）的%和内点处的RMSE值（以m为单位）被表示用于方法之间的比较。能源（2. 83ms）。多频模式被停用，并且调制频率的集合被用作基频。图11示出了通过不同方法在不同能量消耗上的深度估计结果以及彩色图像、地面实况深度图和干扰结果。我们的方法可以获得更好的结果比ACO只有30%的ACO消耗的能量。9. 讨论与展望我们提出了随机曝光编码，这是一种用于减轻C-ToF成像中多相机干扰的AC和DC分量的新方法。此能力实现具有低能量消耗的高精度深度估计我们证明了所提出的方法的性能优势与理论分析，仿真和实际实验。所提出的方法在C-ToF编码中的独立层中操作，使得它可以与广泛的C-ToF编码功能和各种硬件平台结合。谢谢。这项研究部分得到了ONR资助号N 00014 -16-1-2995和DARPA REVEAL计划的支持。CMB（拟议）ACOSEC（拟定）39%，0.34375%，0.21289%，0.18382%，0.53399%，0.15799%，0.15499%，0.096100%，0.041100%，0.0297890引用[1] 3D ToF 开 发 套 件 ， PMD 。 https ： //pmdtec.com/picofamily/.[2] OPT8241 3D飞行时间（ToF）传感器评估模块，TexasInstruments。http://www.ti.com/tool/OPT8241-CDK-EVM/.[3] 诺曼·艾布拉姆森Aloha系统：计算机通信的另一种选择。在1970年11月17-19日秋季联合计算机会议的会议录中，第281- 285页ACM，1970年。[4] SupreethAchar ， JosephRBartels ， WilliamLWhittaker ， Kiriakos N Kutulakos ， and Srinivasa GNarasimhan. Epipo- lar飞行时间成像。ACM Transactionson Graphics（ToG），36（4）：37，2017。[5] PiaBreue r，ChristianEc k es，andSte f anMüller. 用新型红外飞行时间测距照相机进行手势识别的在计算机视觉/计算机图形协作技术和应用上，第247-260页。Springer，2007.[6] BernhardBüttgen ，FelixLustenber ger，PeterSeitz，etal.用于最小干扰实时三维成像的伪噪声光学调制。IEEETransactions on Circuits and Systems I：Regular Papers，54（10）：2109 -2119，2007.[7] BernhardBüttgen和PeterSeitz. 基于智能像素结构的反辐射光学飞行时间IEEE电路与系统学报，55（6）：1512[8] Yan Cui ， Sebastian Schuon ， Derek Chan ， SebastianThrun，and Christian Theobalt.使用飞行时间相机进行3D 形 状 扫 描 。 在 Computer Vision and PatternRecognition（CVPR），2010 IEEE Conference on，第1173-1180页中。IEEE，2010。[9] David Droeschel Dirk Holz和Sven Behnke。用于飞行时间相机的多频率相位展开。 2010年IEEE/RSJ智能机器人和系统国际会议，第1463-1469页。IEEE，2010。[10] Thomas Fersch、Robert Weigel和Alexander Koelpin。汽车飞 行时间 激光雷 达系统 的cdma 调制 技术。 IEEESensors Journal，17（11）：3507-3516，2017。[11] Jan Fischer，Benjamin Huhle，and Andreas Schilling.使用飞行时间范围数据进行增强现实中的遮挡处理。IPT/EGVE，109116，2007年。[12] Sergi Foix Guillem Alenya和Carme Torras。锁定飞行时间（TOF）相机：一个调查。IEEE Sensors Journal，11（9）：1917[13] Peter Henry，Michael Krainin，Evan Herbst，XiaofengRen，and Dieter Fox. Rgb-d映射：使用深度相机进行室内环境的密集3d建模。第12届实验机器人国际研讨会（ISER）Citeseer，2010.[14] Leonard Kleinrock和Fouad Tobagi无线电信道中的分组交换：载波侦听多路访问模式及其吞吐量延迟特性。IEEE Transactions on Communications，23（12）：1400[15] 罗伯特·兰格和彼得·塞茨固态飞行时间测距照相机。IEEE Journal of quantum electronics，37（3）：390[16] 李莲花、森香、尤阳、李玉。飞行时间（tof）相机的多相机干扰消除。在图像处理（ICIP）中，2015 IEEE国际会议，第556-560页。IEEE，2015年。[17] Stefan May，Bjorn Werner，Hartmut Surmann，and KaiPer- volz.用于移动机器人的3d飞行时间相机。在智能机器人和系统，2006 IEEE/RSJ国际会议上，第790-795页。IEEE，2006年。[18] Dong-Ki Min ， Ilia Ovsiannikov ， Yohwan Noh ，Wanghyun Kim ， Sunhwa Jung ， Joonho Lee ， DeokhaShin ， Hyekyung Jung ， Lawrence Kim ， GrzegorzWaligorski，et al.用于多个3d飞行时间照相机操作的伪随 机 调 制 。 在 Three-Dimensional Image Processing（3DIP）and Applications 2013，第8650卷，第865008页中。国际光学与光子学会，2013年。[19] Ramesh Raskar，Amit Agrawal，and Jack Tumblin.编码曝光摄影：使用颤动的快门的运动去模糊。在ACM图形交易（TOG），第25卷，第795-804页中ACM，2006年。[20] Shikhar Shrestha，Felix Heide，Wolfgang Heidrich，andGordon Wetzstein.使用多相机飞行时间系统的计算成像 。 ACM Transactions on Graphics （ ToG ） ， 35（4）：33，2016.[21] 伯纳德·斯克拉数字通信，第2卷。Prentice Hall UpperSaddle River，2001年。[22] Antonios Stylogiannis等人连续波激光二极管能够实现快速光声成像。光声学，9：31-38，2018。[23] Refael Z Whyte、Andrew D Payne、Adrian A Dorrington和Michael J Cree。多范围成像摄像机操作，性能影响最小图像处理：机器视觉应用III，第7538卷，第75380I页。国际光学与光子学会，2010年。
我的内容管理
展开
