Kenichiro Tanaka1Yasuhiro Mukaigawa1Takuya Funatomi1Hiroyuki Kubo1Yasuyuki Matsushita2Yasushi Yagi 21 Nara Institute of Science and Technology (NAIST)2 Osaka Univerisity{ktanaka,mukaigawa,funatomi,hkubo}@is.naist.jp, {yasumat@ist,yagi@sanken}.osaka-u.ac.jp1 790使用频率和深度依赖的飞行时间失真进行材料分类0摘要0本文提出了一种使用现成的飞行时间（ToF）相机进行材料分类的方法。我们利用一个关键观察结果，即ToF相机对某些材料的深度测量存在失真，特别是对于透明材料。我们表明，这种失真是由于材料之间的时域脉冲响应变化以及现有ToF相机的测量机制引起的。具体而言，我们揭示了失真量根据ToF相机的调制频率、物体的材料和相机与物体之间的距离而变化。我们的方法利用ToF测量的深度失真作为特征，并实现了场景的材料分类。通过数值评估和实际实验，我们展示了所提方法的有效性，甚至可以对视觉上相似的物体进行分类。01. 引言0材料分类在计算机视觉应用中起着重要作用，例如语义分割和物体识别。材料分类的一个主要挑战是不同材料可能产生非常相似的外观。例如，人造塑料水果和真实水果在相机面前产生视觉上相似的RGB图像，很难区分。区分相似外观的一种可能策略是利用目标物体的光学响应，如入射光的空间、角度和时间传播。由于不同材料可能由于其自身的次表面散射和漫反射特性而具有不同的光学响应，因此预计在RGB观察结果之上使用这些光学线索可以实现更可靠的材料分类。最近，Heide等人[13]开发了一种从低成本观测中恢复瞬态图像的方法。0（a）蛋黄酱瓶0（b）失真深度0蛋黄酱纸贴标签塑料盖未定义0（c）材料分类0（d）校正后的深度0图1：ToF相机的深度失真。（a）用Kinect测量蛋黄酱瓶。（b）在3D视图中测得的深度。蛋黄酱和标签区域之间存在深度差距。我们利用这种深度失真进行材料分类。（c）材料分割结果。为每个像素分配材料标签。（d）将材料分类应用于深度校正。根据分割结果和失真数据库进行深度校正。材料之间的深度差被校正，恢复了真实的3D形状。0飞行时间（ToF）相机最初设计用于深度测量。还有其他相关研究使用ToF相机恢复场景的超快光传播，例如脉冲响应，但需要进行一些硬件修改和计算[20,32,33]。受到这些先前利用光的时间传播的方法的启发，我们旨在使用现成的ToF相机利用间接的时间线索来对材料进行分类，而无需显式恢复脉冲响应。800我们基于一个关键观察结果开发了一种基于材料分类的方法，即透明物体的测量深度会比实际深度更大，如图1(b)所示，其中蛋黄酱和纸贴标签之间的深度差距是明显的。我们表明，这种深度失真是由于次表面散射引起的时间延迟造成的，并且随着ToF相机的调制频率和目标与相机之间的距离而变化。利用深度失真作为材料的特征，我们提出了一种基于示例的材料分类方法。本文的主要贡献有两个方面。首先，我们证明了材料分类可以通过现成的ToF相机（例如XboxOneKinect）来实现。我们的方法利用深度失真测量作为材料分类的间接时间线索，而不需要显式地恢复脉冲响应，因此与[13,20]不同，它不需要对硬件进行任何修改。其次，我们展示了ToF测量在材料内部和深度方向上的失真情况。通过沿深度方向移动目标物体，可以获得关于目标的丰富信息，这是实现材料分类的重要线索。02. 相关工作0非侵入性和非接触式材料分类是计算机视觉中的一个重要研究课题，但仍然是一个具有挑战性的任务。有几种先前的材料估计方法。基于视觉外观的方法，例如颜色、形状和/或材料的纹理[3,44,28,37,38]，通常只需要一张RGB图像，因此设置容易实现。主要问题是这种方法受到不同材料相似外观的影响，例如无纹理的板材，导致由于信息缺乏而精度较低。基于光学特性的方法类别，例如BRDF[49,27]、阴影[29]和光谱[36]，能够以更高的准确性区分视觉上相似的物体，因为光学特性传递了更丰富的关于材料的信息。然而，构建这样的测量系统和建立样本数据库通常需要精心控制的设置。这类方法包括基于其他物理特性的方法，例如弹性[4]、水渗透和加热/冷却过程[35]。我们的方法属于这一类，因为我们使用入射光的时间响应，隐含地测量了目标物体的光学和物理特性。与这些方法不同，我们的方法使用现成的ToF相机，至少只需要单次观测，因此系统构建成本与基于外观的方法一样低。在使用ToF相机进行材料分类的背景下，苏等人的方法[41]与之密切相关。他们提出了一种通过在几个调制频率和相位上进行扫描来对原始ToF测量进行材料分类的方法。虽然这种方法被证明是有效的，但需要特殊定制的ToF相机来获取测量数据。相比之下，我们的方法只使用现成的ToF相机。我们展示了通过利用测量的深度依赖性可以实现材料分类的简单设置。此外，虽然苏等人的方法需要校准来建立相关矩阵，并在测量后对数据进行后处理，但我们的方法不需要这两者。0一种从原始ToF测量中通过扫描多个调制频率和相位来对材料进行分类的方法。虽然该方法被证明是有效的，但需要特殊定制的ToF相机来获取测量数据。相比之下，我们的方法只使用现成的ToF相机。我们展示了通过利用测量的深度依赖性可以实现材料分类的简单设置。此外，虽然苏等人的方法需要校准来建立相关矩阵，并在测量后对数据进行后处理，但我们的方法不需要这两者。0对于时间光传输的易懂概述，我们建议读者参考Jarabo等人最近的调查[17]。通过使用干涉仪[8]、全息术[1,22]和飞秒脉冲激光[46,24,45]，可以获得场景的时间域脉冲响应，也称为光飞行和瞬态成像。时间域脉冲响应也可以通过ToF相机获得，其中成本和时间分辨率大大降低。因为ToF相机是一种测量亚纳秒现象的设备，所以可以通过频率扫描[13,26,33]和光学编码[20,32]来可视化场景的光传播，但需要定制ToF相机。尽管这些测量方法需要谨慎和昂贵的设置，但可能适用于材料分类任务[47]。另一方面，我们的方法绕过了时间域脉冲响应的精确恢复，只使用了ToF相机测得的深度。0当ToF相机测量多路径场景时，由于互反射和次表面散射，测量到的深度会发生扭曲，这被称为多路径干涉。减轻多路径干涉并恢复正确的深度是一个广泛关注的问题，已经通过假设双反射和简化的反射模型[7,5,9,18]、参数模型[15,23]、K-稀疏性和优化[2,6,34]、立体ToF相机[25]、使用外部投影仪[30]和频率扫描[19]进行研究。我们不是恢复正确的深度，而是将扭曲的深度作为材料分类的线索。我们展示了一旦材料分类已经实现，分类结果可以用于校正深度。0还有其他使用ToF相机的场景分析方法，例如恢复透明和半透明物体的形状[39,43]，以及测量BRDF的切片[31]。此外，还提出了使用ToF相机的计算成像方法，如在角落周围成像[14,21]，分离直接和间接光传输[47, 32,11]，测量物体的速度[12,40]和在特定深度成像[42]。我们的方法也可以被视为场景分析方法之一，因为它旨在对场景进行材料分类。c(ω) =� ∞r(t) =�tt8103. Time-of-Flight观测0首先，我们简要回顾一下ToF相机获得的测量结果。基于相关性的ToF相机通过幅度调制的波 f ω ( t )照亮场景，并测量其衰减的幅度和相位延迟。通过相位延迟和光速，可以获得场景的深度。一般来说，场景可能具有“多路径”效应，由于互反射和次表面散射而降低了深度估计的准确性。关于多路径效应的图像形成模型已经得到了很好的理解，这要归功于以前的工作[13, 20,11]；因此，我们简要解释一下我们将在本文中使用的模型之一。根据相位表示[11]，返回波的幅度和相位可以由一个复数值 c ∈ C 表示，称为相位器，由调制频率 ω控制。ToF相机测得的幅度 ˜ a ω ∈ R 和深度 ˜ d ω ∈ R 可以表示为 � ˜ d ω = c0其中 arg 运算符返回复数相位的角度，c是光速。当照明波是正弦波时，即 f ω ( t ) = sin(2 πωt )，观测到的相位可以表示为00 r ( t - τ ) e - 2 πiωt dt, (2)0其中 τ ( > 0) 是到达物体表面的飞行时间，r ( t )是物体的脉冲响应或点扩散函数(PSF)，随时间 t 变化，i是虚数单位。脉冲响应是所有可能路径 ρ ∈ P的总和；因此，r ( t ) 可以写成0P r ρ δ ( | ρ | - t ) dρ, (3)0其中 r ρ 是路径 ρ 的贡献，| ρ | 是沿路径 ρ 行进的时间，δ( t ) 是狄拉克δ函数，t = 0表示脉冲光击中物体表面的时间。图2(b)说明了多路径ToF观测的相位表示。时间域PSF r ( t - τ )在虚数平面上展开，红色箭头表示的相位是对角展开的PSF在角度上的积分。由于 r ( t )的负域为零，方程(2)表示ToF相机测量的是光调制频率下脉冲响应的傅里叶系数。0频率相关的深度扭曲 ToF相机的原理假设脉冲响应形成0(a) 正弦波0实部0t 展开0虚部0(b) 相位表示0实部0虚部0(c) 不同深度处的相位0(d) 扭曲的波0实部0虚部0(e) 扭曲的单位球0实部0虚部0(f) 深度的大变形0图2：ToF观测的相位表示。 (a) 正弦波照明，(b)时间域PSF展开到虚数平面(橙色)。 (c)当物体放置在不同的深度时，观测结果会旋转，但相位扭曲与(b)相同。 (d)偏置周期性照明。这个玩具例子在正弦波中添加了20%的谐波来进行偏置。 (e)相位表示的单位球由于偏置照明而扭曲。 (f)物体与(c)深度相同。相位的扭曲与(e)和(c)不同。0脉冲响应为r(t) =αδ(t)，其中α是调制光的衰减幅度。在这种情况下，测量的深度˜dω变为0˜dω 04πωarg � ∞00 αδ(t - τ) e - 2πiωt dt � �� � =2πωτ0= c02 = d, (4)02是物体的真实深度。方程(4)表示，如果场景的脉冲响应恰好是Diracdelta函数，那么无论调制频率ω如何，都可以获得准确的深度。实际上，除了完美镜面表面之外，几乎所有材料由于漫反射和次表面散射而产生各种形状的脉冲响应[47]。当目标物体展示出时间上宽广的脉冲形状时，c(ω) =� ∞0r(t − τ)bω(2πωt)e−2πiωtdt.(7)vωi,dj = dj − ˜dωi,j,(8)820响应，频域中的带通特性对于物体是唯一的。因此，ToF观测c(ω)可以取任意值，因为c(ω)是脉冲响应r(t)在频率ω处的傅里叶系数。在这种情况下，argc(ω)不一定代表正确的相位2πωτ，结果测量的深度˜dω会发生失真，并且失真会随着调制频率ω的变化而变化。这种频率相关的深度失真是我们的关键观察之一，我们的方法利用这个特性来实现材料分类的目标。时域中的移位对应于傅里叶域中的相位移位：0F[r(t - τ)] = e - 2πiωτF[r(t)]0= e - 2πiωτ ˆr(ω)，0其中F[∙]是傅里叶变换，ˆr(ω)是函数r(t)的傅里叶变换。测量的深度˜dω可以表示为0˜dω 04πωarg � e -0= d + 04πωarg ˆr(ω). (5)04πωargˆr(ω)是频率ω处的深度失真。在图2(b)中，深度失真以蓝色箭头的形式进行了说明。虽然深度失真的单次观察在不同材料之间可能是相同的，但使用不同调制频率的多次观察可以用于丰富测量。这种多次观察可以在可忽略的延迟下获得，因为ToF测量比普通视频帧间隔快得多[33]。然而，在实践中，通过现成的ToF相机使用许多不同频率进行失真测量并不是一件简单的事情。例如，Kinect只有三个调制频率，并且频率不能轻易改变；因此，实际上只有三个失真测量可用，这可能对于开发可靠的材料分类系统来说太少了。为了以一种替代且简单的方式增加关于材料的信息，我们的方法采用了改变相机与物体之间距离的策略。现在，我们讨论深度失真的深度相关性。0深度相关的深度失真 当目标物体被放置在不同的深度 d + ∆d 时，r(t - τ)会被 ∆τ = 2∆d进行偏移0时域中的c。结果，测量的深度˜d′ω变为0˜d′ω 04πωarg � e - 2πiω(τ0= d + ∆d + 04πωarg ˆr(ω). (6)0测量深度仅仅是通过 ∆d 进行了偏移，深度失真c04πωargˆr(ω)仍然与原始位置的深度失真相同，如方程(5)所示。图2(c)以相量表示法说明了不同深度的深度失真。表示深度失真的蓝色箭头与图2(b)中的原始位置相同。到目前为止，我们假设照明是一个完美的正弦波。实际上，由于难以产生高频正弦波，现今的ToF相机发射包含高阶谐波的非正弦周期波[48,10]。当照明波具有如图2(d)所示的谐波分量时，ToF观测呈现出深度相关性，如图2(e)和2(f)所示。假设失真的正弦波被偏置为fω(t) =bω(2πωt)sin(2πωt)，其中bω(2πωt)是由于谐波而产生的照明波的周期偏置。观察到的相量可以写成0上述公式表明观测值 c ( ω ) 是 r ( t − τ ) b ω (2 πωt )的傅里叶系数，其中冲激响应 r ( t ) 受到偏差 b ω (2 πωt )的影响。显然，带偏差的冲激响应 r ( t − τ ) b ω (2 πωt )随着 τ变化，即观测值随着深度变化。通常，这种深度相关的变化是不希望的；因此，以前的研究试图消除它。例如，Su等人[ 41]使用相关矩阵消除深度相关的变化。相反，我们使用深度相关的失真作为材料分类的重要线索，因为它包含了关于目标响应的丰富信息。04. 材料分类0我们的方法使用ToF观测的频率和深度相关的深度失真来进行材料分类。为了描述如何使用深度失真进行材料分类，我们首先考虑实际深度已知的情况，然后再描述一种更一般的情况，即消除这种假设。当目标物体放置在已知深度位置时，相对于实际深度的深度失真可以直接测量得到。假设目标物体通过 n ( ≥ 1) 个调制频率和 m ( ≥1)个位置进行测量。绝对深度失真 v ω i ,d j可以通过以下公式获得0其中 ˜ d ω i ,j 是第 i 个调制频率 ω i ( i ∈ { 1 , ∙ ∙ ∙ , n } )和第 j 个位置 ( j ∈v = vω1,d1· · ·vωn,dmT .(9)v′ωi,dj = vωi,dj − vωn,dj = ˜dωn,j − ˜dωi,j,(10)v′′ω1,dj = vω1,dj − vω1,dm = ˜dω1,m − ˜dω1,j + ∆dj, (11)830{ 1 , ∙ ∙ ∙ , m } ) , d j 是第 j个位置的实际深度。通过对齐这些失真，可以形成一个 mn长度的向量 v ，作为目标物体的特征向量0由于目标物体的实际深度通常无法获取，因此我们开发了一种不需要实际深度知识的特征。虽然在这种情况下无法直接获得深度失真，但是可以使用多个频率和/或多个深度之间的相对深度失真。当有多个调制频率可用时，即 n ≥ 2的情况下，可以通过将其中一个调制频率的测量，例如第 n个调制频率，作为参考测量来计算相对深度失真 v ′ ω i ,d j，相对深度失真可以通过与参考测量的差异获得，如下所示0其中 i 的范围从 1 到 n − 1。然后，通过对齐相对深度失真，可以设置一个 m ( n −1) 长度的向量 v，并将其用作材料分类的特征向量。尽管参考测量 ˜ d ω n,j 可能会因材料而失真，但包含相对失真的特征向量 v传递了用于分类材料的区分线索。类似地，对于仅有单个调制频率和多个深度位置可用的情况，即 n = 1 且 m ≥ 2，可以通过将第 m个深度位置的测量作为参考测量来获得深度位置之间的相对深度失真 v ′′ ω 1 ,d j ，如下所示0其中 ∆ d j 是从基准位置测量的移动量，应该进行测量。04.1. 分类器0我们假设我们有一个由预定义的调制频率和深度位置测量得到的特征向量组成的材料数据库。对于分类，目标物体使用预定义的调制频率和深度位置的完整或部分集合进行测量。一旦我们获得目标物体的特征向量作为查询，我们使用材料数据库作为示例来查找最接近的材料。虽然也可以使用任意的分类器，但是希望分类器具有以下两个属性。首先，由于特征向量往往是高维的，而数据库中的材料数量可能很小，因此最好使用具有0一个小的参数数量，或者像我们选择的那样是非参数的。其次，处理特征向量中缺失元素的能力在实际中非常重要，因为测量有时会由于物体表面的镜面反射而丢失，或者由于近距离反射而饱和。出于这些原因，我们采用了一个简单的最近邻分类器，它评估欧氏距离（ℓ2范数）。为了处理缺失或无信息的饱和观测，我们在评估距离时会删除这些特征向量中的元素。目标物体的特征向量v与数据集中物体p的训练向量vp之间的距离ξp可以计算为0ξp = 10N0nm�0k = 00� 0 vk = N/A (vk − vpk)2otherwise, (12)0其中N是有效元素的数量，vk和vpk分别是向量v和vp的第k个元素。使用这个距离，我们可以通过搜索最近的类别ˆp来对物体进行分类。0ˆp = argmin p ξp.0在本文的评估中，我们使用这个简单的最近邻分类器来评估深度失真特征对于材料分类的有效性。05. 实验0我们使用如图3所示的ToF相机和线性平移台系统来评估所提出的方法。我们使用微软Kinectv2作为ToF相机，它具有三个调制频率（n =3），以及OptoSigma的平移台（SGSP46-800）。由于官方的KinectAPI不支持访问每个频率的深度测量数据，我们稍微修改了一个开源软件libfreenect2来获取这些数据。首先，我们对许多材料进行深度失真数据的测量，并检查它们在不同材料之间的差异。目标物体放置在线性平移台上，将深度从600mm变化到1250mm（m =2600），并通过改变物体的方向进行多次测量。地面真实深度是通过平移台的位置获得的，该位置仅用于此测试。图4显示了三种材料的深度失真情况：白色亚克力板、聚苯乙烯板和乳白色扩散玻璃。它们在外观上是相似的物体（白色、平面且没有纹理），因此基于外观的方法很难区分这些物体。另一方面，ToF观测的深度失真在不同材料之间显示出显著差异，并在测量会话中保持一致性。01 该源代码可以在我们的网站上公开获取。840ToF相机（Kinect）0平移台0目标物体0图3：实验设置。我们使用Kinect作为ToF相机，目标物体放置在线性平移台上。0利用这些深度失真数据，我们通过最近邻分类器评估材料分类的准确性。数据集包括26种材料，包括金属、木材、塑料、织物等，每种材料有13个不同的方向，以使分类器能够处理具有任意表面方向的目标物体。我们使用三种不同的特征来评估分类准确性：频率相关的失真、深度相关的失真以及两者的组合。仅使用具有频率相关失真的特征（n = 3和m=1），准确性为57.4%。这种低准确性是由于频率通道数量有限。仅使用深度相关失真（n = 1，m =2600，使用公式（11）），准确性提高到81.6%。最后，使用频率和深度相关失真的组合（n = 3和m =2600），准确性进一步提高到90.5%。混淆矩阵如图5所示。虽然许多材料被正确分类，但有些材料被错误分类。例如，石膏和纸，或者膨胀和刚性聚氯乙烯由于散射特性相似而具有类似的脉冲响应，因此它们有时会被错误分类。0特征变化与表面方向相关当目标物体的表面方向变化时，时域脉冲响应也会发生变化。为了确认表面方向的影响，我们通过改变木板的方向来测量，并评估特征向量相对于不同方向的变化。图6显示了特征空间中距离木材类别最近的距离随目标物体表面方向变化的情况。红线表示距离木材类别的上界距离，在该距离以下，查询特征向量将被正确分类为“木材”。换句话说，一旦从木材类别到查询特征的距离超过这个上界距离，它将被错误分类。特征在约70度左右是稳定的，这表明深度失真特征对于02详细信息和混淆矩阵请参见补充材料。0在实践中，该方法可以应用于大多数表面，但在陡峭倾斜的表面上可能会失效，例如在圆形物体的边缘附近。0特征变化与形状相关当目标物体的形状变化时，时域脉冲响应也会发生变化，特别是对于凹形物体，会发生显著的互反射。为了确认物体形状的影响，我们设置了一个可以改变开口角度的折叠纸板场景。我们通过改变开口角度从小角度（闭合）到180度（平坦）再到大角度（凸出）来测量纸板的折叠边缘区域，如图7(a)所示。图7(b)中的蓝线表示折叠和平坦纸板之间的特征向量距离，红线表示平坦纸板类别的上界，在该上界以下，目标被视为平坦纸板，显示了对形状变化的适度鲁棒性。0材料分割我们的方法可以以像素级的方式应用于实现基于材料的分割。图8显示了一些材料分割的示例。对于图8(a)中显示的场景，场景中的所有物体都是白色的，RGB图像中的材料类别不明显。使用我们的方法，每个像素的材料被分类如图8(b)所示。对于这个应用，我们只使用频率相关的变化，而不使用深度相关的变化，即m=1，因为当相机和场景之间的几何关系变化时，像素之间的对齐可能变得困难。因此，结果看起来有点噪声，但仍然显示出忠实的分类性能。在这个实验中，我们使用了一个仅包含四种材料的减少的数据库，因为特征向量的维度有限。图8(c)显示了另一个场景，其中放置了由真皮和仿皮制成的钱包，它们被正确分类如图8(d)所示。0深度校正一旦材料被分类，可以使用包含所有材料失真样本的材料数据库来校正失真的深度，以恢复准确的3D形状。图1显示了深度校正的示例。由于蛋黄酱具有显著的次表面散射，蛋黄酱区域的测量深度比标签的深度更强烈地失真，如图1(b)所示。图1(c)显示了我们的材料分割结果。再次强调，我们不改变目标的深度；因此，只使用频率相关的变化（m=1）和有限的数据库。尽管由于测量量有限和陡峭的表面方向，可能会观察到一些伪影，但蛋黄酱和标签区域仍然被很好地分离。利用分割结果和深度失真数据库，可以得到一个忠实的3D形状0%100%850（a）白色亚克力板0（b）白色聚苯乙烯板0(c) 白色扩散玻璃0图4：使用Kinect测得的三个物体的深度失真。通过线性平移台获得地面真实深度。顶行显示目标物体的照片。第二行和第三行的测量在表面方向上不同。每个频率的深度失真随着实际深度和材料的变化而变化。无论表面方向如何，相同材料的深度失真相似，但在不同材料中差异很大。这种频率和深度相关的深度失真是我们进行材料分类的关键观察。0铜 陶瓷 石膏 纸 齐纸 天然木材软木 中密度纤维板 竹纸板棉织物 假皮革 皮革合成纤维地毯 聚苯乙烯扩展聚氯乙烯 刚性聚氯乙烯硅胶 聚丙烯 镀膜亚克力板白色亚克力板 3mm厚度白色亚克力板 2mm厚度白色亚克力板 1mm厚度糊状扩散玻璃 聚氨酯0图5：混淆矩阵。红色表示较高的值，出现在对角线上。总体准确率为90.5%。0如图1(d)所示，与原始形状相比，蛋黄酱瓶的深度不连续性与标签区域显著减少。0实时分类系统我们开发了一种近实时的材料分类系统，可以通过手持ToF相机识别目标材料类别。使用0表面法线方向[度]0距离0图6：特征向量随表面方向的变化。我们改变目标物体的方向，并绘制特征的距离随方向的变化。特征在约70度左右保持稳定，在陡峭倾斜方向上显示较大偏差。红线表示正确分类的上限距离。0根据式（12）描述的部分匹配，即使只有少量深度位置m的观测数据可用，我们的方法也能以接近实时的速度输出结果。通过移动目标物体或相机（增加m）来增加深度的变化，分类准确性逐渐提高，因为可以向分类器提供更丰富的信息。303 附加材料中包含了一个视频。请参考视频了解此演示。860(a) 折叠纸板的场景0距离0(b) 平板和折叠纸板之间特征距离的变化0图7：特征向量的形状依赖性。我们测量了折叠角度从60度到240度的纸板。当纸板折叠角度小于180度时，场景会出现强烈的互反射。0陶瓷0塑料（PP） 塑料（PS）0织物 织物0塑料（PP）0陶瓷0塑料（PS）0(a) 白色餐具的场景 (b) 分类结果0假皮革0皮革 铜0齐纸0皮革 假皮革0铜0齐纸0(c) 钱包的场景 (d) 分类结果0图8：材料分割结果。 (a)所有餐具都是白色的，因此仅通过RGB图像很难进行分类。(b)我们的材料分类结果。虽然由于像素级处理和仅有一个深度变化而存在一些估计误差，但是场景比RGB图像更易于解释。 (c) 放置了由真皮和假皮革制成的钱包和铜币的场景。(d) 材料分割结果。0厚度分类深度失真对于光学薄材料的厚度估计也很有用。对于0例如，白色亚克力板是光学薄板，因此脉冲响应随着其物理厚度而变化。因此，白色亚克力板的厚度可以如图5底部附近所示进行分类。目前，我们的方法仅限于不同厚度的分类，但我们有兴趣将问题转化为估计厚度的回归问题。06. 讨论0我们使用现成的ToF相机开发了一种材料分类方法。我们展示了使用ToF相机测量的深度根据材料的时域脉冲响应而失真，并且失真随着调制频率和物体与相机之间的距离而变化。我们将ToF深度失真作为材料分类的线索，并开发了一种分类方法。0我们的方法基于材料之间时域脉冲响应的差异，因此我们假设相同材料具有相同的脉冲响应。然而，这并不总是正确的，因为形状、颜色和几何形状可能导致脉冲响应的变化。我们已经评估了设计特征在不同形状和表面方向变化下的变化，并展示了开发的特征在变化上的鲁棒性，但在变化上仍存在限制。与此问题相关的是，光学薄物体的脉冲响应也随着物体的厚度变化而变化。一方面，这使我们能够对目标物体的厚度进行分类，但另一方面，这表明需要一个包含各种厚度的数据库才能正确分类可能具有任意厚度的物体的材料。这是我们方法目前的一个限制之一。使用像Jarabo等人的渲染器[16]这样的模拟工具，可以获得包含所有材料和变化的非常大的数据库。目前看来，准备材料的物理特性并使用示波器测量照明偏差bω是一项新的潜在方向。0另一个限制是深度失真测量，特别是深度相关的失真，因为照明波的偏差在不同设备上可能不同。开发跨设备特征或转移数据库以适应不同相机是重要的未来工作。0ToF观测的幅度也随着不同频率和深度而变化，因此它也可以用于分析场景。我们在本文中没有使用这个线索，但我们有兴趣研究这方面以进一步提高分类准确性。[22] T. Kakue, K. Tosa, J. Yuasa, T. Tahara, Y. Awatsuji,K. Nishio, S. Ura, and T. Kubota. Digital Light-in-FlightRecording by Holography by Use of a Femtosecond PulsedLaser. IEEE Journal of Selected Topics in Quantum Elec-tronics, 18(1):479–485, 2012. 2870参考文献0[1] N. Abramson.全息记录的光飞行。光学快报，3（4）：121，1978年。20[2] A. Bhandari, M. Feigin, S. Izadi, C. Rhemann, M. Schmidt,and R. Raskar.解决Kinect中的多路径干扰：一种逆问题方法。在IEEE传感器会议论文集中，第614-617页，2014年。20[3] B. Caputo, E. Hayman, and P. Mallikarjuna.类别特定的材料分类。在国际计算机视觉会议（ICCV）论文集中，第1597-1604页，2005年。20[4] A. Davis, K. L. Bouman, J. G. Chen, M. Rubinstein, F. Du-rand, and W. T. Freeman.视觉振动学：从视频中的微小运动估计材料特性。在IEEE计算机视觉和模式识别（CVPR）会议论文集中，第5335-5343页，2015年。20[5] A. A. Dorrington, J. P. Godbaz, M. J. Cree, A. D. Payne,and L. V. Streeter.在商业范围相机中分离真实距离测量和多路径和散射干扰。在SPIE7864，三维成像、交互和测量中，2011年。20[6] D. Freedman, E. Krupka, Y. Smolin, I. Leichter, and M.Schmidt. Sra: Fast Removal of General Multipath for ToFSensors. In Proc. European Conference on Computer Vision(ECCV), pages 1–15, 2014. 20[7] S. Fuchs. Multipath Interference Compensation inTime-of-Flight Camera Images. In International Conferenceon Pattern Recognition, pages 3583–3586. IEEE, 2010. 20[8] I. Gkioulekas, A. Levin, F. Durand, and T. Zickler.Micron-Scale Light Transport Decomposition usingInterferometry. ACM Transactions on Graphics (ToG),34(4):37:1–37:14, 2015. 20[9] J. P. Godbaz, M. J. Cree, and A. A. Dorrington.Closed-Form Inverses for the Mixed Pixel/MultipathInterference Problem in AMCW Lider. In SPIE 8296,Computational Imaging X, 2012. 20[10] J. P. Godbaz, A. Dorrington, and M. J. Cree.Understanding and Ameliorating Mixed Pixels and MultipathInterference in AMCW Lidar. In TOF Range-Imaging Cameras.,pages 91–116, 2013. 40[11] M. Gupta, S. K. Nayar, M. B. Hullin, and J. Martin. PhasorImaging: a Generalization of Correlation-Based Time-of-FlightImaging. ACM Transactions on Graphics (ToG), 34(5), 2015. 2,30[12] F. Heide, W. Heidrich, M. Hullin, and G. Wetzstein.Doppler Time-of-Flight Imaging. ACM Transactions onGraphics (ToG), 34(4):36:1–36:11, 2015. 20[13] F. Heide, M. B. Hullin, J. Gregson, and W. Heidrich.Low-Budget Transient Imaging using Photonic Mixer Devices.ACM Transactions on Graphics (ToG), 32(4):1, 2013. 1, 2, 30[14] F. Heide, L. Xiao, W. Heidrich, and M. B. Hullin. DiffuseMirrors: 3D Reconstruction from Diffuse Indirect Illuminationusing Inexpensive Time-of-Flight Sensors. In Proc. IEEEConference on Computer Vision and Pattern Recognition(CVPR), 2014. 20[15] F. Heide, L. Xiao, A. Kolb, M. B. Hullin, and W. Heidrich.Imaging in Scattering Media using Correlation Image0[20] A. Kadambi, R. Whyte, A. Bhandari, L. Streeter, C. Barsi, A. Dorrington, and R. Raskar.Coded Time of Flight Cameras: Sparse Deconvolution to Address Multipath Interferenceand Recover Time Profiles. ACM Transactions on Graphics (ToG), 32(6):1–10, 2013. 1, 2, 30[16] A. Jarabo, J. Marco, A. Mu˜noz, R. Buisan, W. Jarosz, andD. Gutierrez. A Framework for Transient Rendering. ACMTransactions on Graphics (ToG), 33(6), 2014. 80[17] A. Jarabo, B. Masia, J. Marco, and D. Gutierrez. RecentAdvances in Transient Imaging: A Computer Graphics andVision Perspective. Visual Informatics, 1(1):1–16, 2017. 20[18] D. Jimenez, D. Pizarro, M. Mazo, and S. Palazuelos.Modelling and Correction of Multipath Interference in Timeof Flight Cameras. In Proc. IEEE Conference on ComputerVision and Pattern Recognition (CVPR), pages 893–900. IEEE,2012. 20[19] A. Kadambi, J. Schiel, and R. Raskar. MacroscopicInterferometry: Rethinking Depth Estimation withFrequency-Domain Time-Of-Flight. In Proc. IEEE Conferenceon Computer Vision and Pattern Recognition (CVPR), pages893–902, 2016. 20[22] T. Kakue, K. Tosa, J. Yuasa, T. Tahara, Y. Awatsuji, K.Nishio, S. Ura, and T. Kubota. Digital Light-in-Flight Recordingby Holography by Use of a Femtosecond Pulsed Laser. IEEEJournal of Selected Topics in Quantum Electronics,18(1):479–485, 2012. 20[21] A. Kadambi, H. Zhao, B. Shi, and R. Raskar. Occlu
我的内容管理
展开
