1幅度声学非视线成像David B. 斯坦福大学戈登·韦茨斯坦斯坦福大学VladlenKoltun IntelLabs摘要非视线（NLOS）成像在广泛的应用中实现了前所未有的能力，包括机器人和机器视觉、遥感、自动驾驶车辆导航和医学成像。解决这一挑战性问题的最新方法采用具有高灵敏度时间分辨光电探测器和超快脉冲激光器的光学飞行时间成像系统。然而，尽管最近在使用这些系统的NLOS成像中取得了成功，但是由于需要，该技术的广泛实施和采用仍然是一个挑战。专门的，昂贵的硬件。 我们引入了Az声学NLOS成像，它比大多数光学系统便宜几个数量级，并且以更短的采集时间在更长的范围内捕获隐藏的x3D几何形状与最先进的光学方法相比。 灵感来自雷达和算法方法中为了对地震成像领域中开发的基于波的成像模型进行建模和反演，我们定义了-制定一个新的方法来看待周围的角落。1. 介绍非视线成像技术是通过分析物体的多次散射光，即散射光，来获取隐藏在视线之外的物体的三维形状和反射率信息。从场景的可见部分反射回来的光，与隐藏的场景部分相互作用，然后反射回检测器的视线。随着在远程传感、机器人视觉、自主车辆导航和医学成像中的重要应用，NLOS成像具有在广泛的应用场景中解锁前所未有的成像模式的潜力一些最有前途的NLOS成像方法使用超快光源和单光子敏感探测器[9，10，15，17，21，23，27，33，34，36，38，39]。Un-幸运的是，这些装置所需的专用硬件非常昂贵。此外，由于在增加的距离处的快速信号衰减，隐藏漫射对象的采集时间非常长。或者，昂贵的连续波（CW）飞行时间系统在英特尔实验室实习期间完成的工作0 5 10 15时间（ms）图1.声NLOS成像概述。被调制的声波从扬声器发出，绕过拐角到达隐藏的物体，然后在反射回来时被麦克风记录下来。经处理的测量值（左下）包含指示声音的路径长度的峰值，所述路径长度直接从扬声器行进到麦克风（A，峰值被削波）、行进到墙壁并返回（B）以及行进到隐藏对象并返回（C）。针对扬声器和麦克风位置的范围捕获这样的测量，以重建隐藏对象的3D几何形状（右下）。已经被用于NLOS成像，但是需要强先验和显著的计算时间来重建隐藏场景[16，18]。仅强度信息已用于跟踪NLOS对象[22]或估计有限的场景信息[7];然而，由于测量中的信息量有限，高质量的3D NLOS场景重建仍然具有挑战性我们展示了声学非视线成像，它使用现成的，低成本的麦克风和扬声器来成像和解决隐藏在角落周围的3D形状我们工作的主要动机是6780扬声器麦克风壁封堵器隐藏对象6781壁的特性通常是镜面反射的，即对于声波来说，它们就像镜子一样，所以它们应该比依赖可见光或近红外的设置更容易揭示隐藏的场景细节。虚拟隐藏对象发送/接收信号2015105光 然而，没有声学聚焦光学器件，所以我们不能直接测量隐藏场景的“图像”。此外，我们需要在建模声音传播时考虑波的影响我们开发的算法框架受到地震成像[40]的启发，壁隐藏对象声学阵列0.000.010.020.030.040.050.060.070.08时间处理的信号2019 - 06 - 28 00：00：00冲击波是由表面上的炸药产生的0 0.51.0 1.5 2.0 2.5频率（KHz）距离（m）面对探测隐藏的地下结构，并分析返回波前以估计这些结构的形状虽然地震成像中的成像模型和反演方法与声学NLOS成像具有某些特性，但硬件设置和应用也有很大不同。我们的声学成像设置更类似于合成孔径雷达（SAR）[5];我们从发射器阵列发出声音啁啾，并使用麦克风阵列测量返回的波前。然而，与现有的SAR技术相比，我们使用现成的音频硬件，并通过分析多反弹声音效果来解决拐角处的成像问题2. 相关工作光学NLOS文献中讨论的大多数非视线成像技术都是在光学域中操作的。这些方法可以被广泛地分类为被动[7，22]，即。不需要结构化照明或有源的。主动系统通常依赖于超快速照明和检测[9，10，15，17，21，23，27，33，34，36，38，39]或光的相干特性[6，19，20]。迄今为止，被动NLOS系统仅展示了具有有限质量的场景重建，使用相干光的系统通常限于微观场景，并且时间分辨系统需要昂贵的设备，例如条纹相机或单光子雪崩二极管和超快激光器。我们的方法将飞行时间技术扩展到声学领域，利用声学散射特性以相对较低的采集时间、较长的范围和比光学技术更便宜的设备更有效地对漫射对象进行雷达NLOS通过墙壁成像或跟踪物体的能力也已经使用电磁频谱的其他部分进行了证明，例如WiFi和雷达[1，2，3，42]。这些方法对于穿壁成像是成功的，因为它们工作的波长因此，该逆问题明显比光学方法容易，光学方法更接近于漫射光学层析成像。用wifi或雷达看到拐角处比透过墙壁看到要困难得多，因为能量必须从墙上散射而不是穿过它。进一步的挑战图2.场景几何图形和测量捕获的插图声学阵列发射出一个声学信号，该信号从墙壁反射到隐藏的物体，然后反射回来。由于壁在声波波长处的镜面状散射，测量结果似乎是从位于壁后面的镜像体积捕获的，就好像壁是透明的。发射信号是频率随时间的线性斜坡。对于单个反射器，返回信号是发射信号的延迟版本（右上）。接收信号和发射信号混合在一起并进行傅里叶变换，在与反射器距离成比例的频率处产生尖峰（右下角）。这些方法中的一些包括政府对穿墙成像系统的严格规定[35]，这使得难以发布数据和完全公开算法方法。我们的方法侧重于使用现成的低成本声学系统查看周围的角落。声学成像在过去已经提出了用声音对简单形状进行成像[12，13]。此外，视觉-声学成像技术已经成功地用于从视频生成声音[11，29，44]，用于从视频定位声源或语音信号[14，28，31，41]，或用于与麦克风阵列成像[25]。声学成像技术在地震应用中也是常见的[4，26，40]，用于利用超声[37]的穿透组织成像，以及用于视线成像，例如利用声纳[24]。据我们所知，这是第一种方法，非视线三维场景重建与声学。3. 声学NLOS成像3.1. 观测模型我们对声波场进行参数化，使得发射扬声器和接收麦克风位于平面{（x，y，z）∈R× R×R|z=0}。波场是由τ（xt，yt，xr，yr，t）给出的5D函数，其中xt，yt指示扬声器的空间位置，xr，yr指示麦克风位置，并且t指示时间（参见图1A 和1B）。1、2）。我们将测量建模为空间变化的反射率ρ（x，y，z）和声学双向反射分布函数（BRDF）f（ωt，ωr）[32]的函数，该函数取决于从点（x，y，z）指向发射扬声器的归一化向量ωt，发送接收频率（KHz）平方幅度6782横向分辨率（cm）R波长（长2-20厘米）不镜面回射弥漫性40.030.020.01510.01052.00图3.声散射BRDF的图示。在大于波长的尺度上平坦的表面表现出镜面散射（左中）。角的几何形状在波长的尺度上表现出逆向反射散射（中心右）.对于小于波长的表面，物体周围的衍射会导致漫散射事件（右）。指向接收位置的归一化方向ωr1.0 1.62.22.8 3.4距离（m）后向反射器（-1.92）光学（-4）平面反射器（-1.89）0 2 4距离（m）声学，5.0 KHz声学，9.5 KHz声学，18.0 KHz光学，60 ps FWHM其中ωt，ωr∈R3.然后，测量捕获体积对声学信号的响应，其中体积占据半空间<$={（x，y，z）∈ R × R× R |z>0}。声信号从（xt，yt，z=0）发射，并且在（xr，yr，z=0）处记录响应图4.信号衰减（左）和分辨率分析（右）。Mea-对于角反射器和平坦的镜面散射目标所捕获的测量与双对数标度上的线性回归一起被绘制 信号衰减约为d−1。92个角球反射器和D-1。89为平面目标，大致匹配期望d-2衰减。 光学NLOS成像的d-4τ（xt，yt，xr，yr，t）=∫∫∫Ω（rt1+r）2ρ（x，y，z）（1）还示出了具有漫反射器的装置。在距离上的横向分辨率示出了一系列的声学信号带宽COM-兼容到一个典型的光学设置。f（ωt，ωr）g（t −（r t+ r r）/c）dx dy dz.这里，g是声学信号（下面描述），c是声速（在空气中为340m/s），距离变量rt和rr由下式给出：.散射响应还取决于声学BRDF，f。对于具有不同表面几何形状的不同尺寸的物体，观察到的BRDF如图3所示变化。镜面散射占主导地位的表面上的波长的数量级的大小和平坦的相对rt/r=（x t/r− x）2+（y t/r− y）2 +z2。（二）到波长。 在我们的实现中，波长从大约2到20厘米变化（即，2−20kHz）。为此与其他NLOS图像形成模型一样，我们假设体积没有自遮挡，并且没有明确地对可见性项进行建模[27]。测量几何形状进一步示于图2A和2B中。1和2.在声波波长处，墙壁充当镜面反射器，将发射信号g镜面地散射到拐角周围，散射到隐藏的对象，并返回到声学阵列。由于墙壁的镜面散射，在测量中，隐藏对象看起来位于墙壁之外的位置处。由于这个原因，我们忽略墙壁，使得图像形成对来自位于透明墙壁后面的虚拟对象的测量的捕获进行建模。对于也表现出镜面散射的平滑隐藏对象，我们假设虚拟对象的表面法线这一假设也是由例如。通过雷达系统，通过墙壁成像并捕获镜面散射[1，3，42]。声散射反射声波的大小，或观测到的声散射，ρ，取决于材料密度的差异和空气与散射物体之间界面处的声速。随着物体材料的密度增加，更多的声音被反射而不是通过物体传播。在镜面散射的情况下，f可以被建模为δ函数。根据Snellfspecular（ωt，ωr）=δ（ωr−（2<$n，ωt<$n−ωt）），（3）其中n是表面法线。对于具有大于波长的锐角几何形状和拐角的物体也就是说，声音被引导回其起源的方向。我们可以再次将BRDF建模为具有非零值的delta函数，其中满足以下条件：f回射（ωt，ωr）= δ（ωt − ωr）。（四）对于小于波长的物体，或在边缘处，声波在物体周围衍射。这种衍射散射事件可以在几乎所有方向上发送能量，这可以被建模为漫反射。在这种情况下，BRDF是朗伯的。注意，这种漫散射事件产生的信号比强的特殊反射或来自角落的反射弱得多因此，我们主要依靠镜面反射和角反射来重建隐藏的物体。距离衰减测量的反射相对于发射信号的幅度也取决于到散射体的距离。发射的信号沿着信号信号（V2）6783C从发射器到散射器并返回的球形波前由于镜面反射和角反射重定向声音的波前而不是引起附加的漫散射事件，因此最终返回到声学阵列的能量与距离rt+rr上的球形波前的总面积成比例。因此，信号衰减与1/（rt+rr）2成比例，而与1/（r2r2）成比例并且传感器照亮墙壁上的相同位置并对其成像[27]。我们继续与此假设的共焦声学测量的紧密间隔的扬声器和麦克风，然后展示如何将非共焦测量到这个框架。当隐藏对象是镜面反射时，我们假设隐藏对象的表面法线将声音引导回t r对于光学NLOS声学阵列或n（x，y，z）<$ωt+ωr，其还显像我们在图中实验验证了这种衰减4.第一章意味着ωt<$ωr和f（ωt，ωr）=δ二、ΣΣωi−ωi，t r发射信号虽然我们希望捕捉响应，对于声脉冲，从传统扬声器以高音量产生这样的脉冲是不理想的。其中i索引向量的元素然后共焦测量值由下式给出：tical 相反，我们发射调制的声学信号，预处理所述接收信号以仿真所述接收信号的响应，1τ（x，y，t）=∫∫∫.ΣTCρ（x，y，z）δr−一个短脉冲的场景采用调频连续波（FMCW）雷达的调制和预处理，c t t（tc）2Ω。·δ Σ ωi−ωit2Σ，（8）dx dy dzt r这在硬件复杂度--即与其他CW或脉冲相比，调制方案[5]。 发射信号g（t）是线性的。从初始频率f到频率f的其中我们使用关系式rt=tc12 把注意力集中在0 1评价因子（2rt）2 从等式1、从积分。 注意在一段时间内（见图1）。2）：Σ。ΣΣf−f在共焦的情况下，我们只有ωt=ωr，xt=xrx，yt=yry，tcz。因此，帽-g（t）=sin2πft+10t2，0≤t ≤ T.（五）二02T因此，捕获的测量值τ（xt，yt，xr，yr，t）包含由场景中的每个反射器反向散射的g（t）的衰减和延迟副本为了模拟场景对短脉冲的响应，我们沿着时间维度将接收信号τ与原始发射信号g（t）混合，然后取傅立叶变换的平方幅度。对于固定的发射和接收位置，每个反射器在频率fb处产生峰值，由下式给出：rt+rr测量结果近似于重建体积，或τc（xt，xr ， 2t）<$ρ（x，y，z）。在其他情况下，如果隐藏对象包含将声音返回到声学阵列的表面法线当然，在共焦的情况下，只有当法线直接朝向发射和接收位置时，才捕获声学反射。能够从返回到其他（非共焦）接收位置的镜面反射捕获并有效地重建隐藏体积可以提供捕获信号和重建质量的大幅增加。fb=B，（6）TC对于漫射或回射隐藏对象，捕获的测量值可以近似为其中B=f1−f0是g（t）的带宽[5]。我们在那里-前近似FMCW预处理的测量τ作为对脉冲δ的场景响应，使得∫∫∫1τc（xt，xr，t）=（tc）2∫∫∫Ωρ（x，y，z）δ.ΣTCrt−2dx dydz，τ（xt，yt，xr，yr，t）=1ρ（x，y，z） （7）（rt+rr）2Ω（九）其忽略朗伯项并假设各向同性散射。 在这种图像形成模型下，光f（ωt，ωr）δ（（rt+rr）-tc）dx dy dz，其中t是在将FMCW预处理的频率轴缩放T/B之后的时间维度。3.2. 从共焦测量重建在发射和接收位置处于相同的空间位置（xt=xr和yt=yr）的情况下，我们可以开发用于重建过程的封闭形式的解决方案这被称为光学非视线成像中的锥变换（LCT）可以作为ρ（x，y，z）的一个封闭形式的解。该变换包括沿t维的测量值的重新内插和具有预校准核的反卷积[27]。3.3. 非共焦重建共焦测量能够使用前一节中概述的方法有效地重建隐藏体积的3D几何形状;然而，我们也希望得到更一般的有效重建例程。6784nnn.ΣC动校正NMODMO改正DMONMO图5.动校正（NMO）和倾角动校正（DMO）图解。给定发射位置与接收位置之间相对于中点位置的已知偏移，正常时差校正时间维为了清楚起见，我们在以下章节中详细描述了二维（用于我们的线性声学阵列）的NMO和DMO校正，并在补充信息中包括三维方程。正常时差校正正常时差校正采用发射和接收位置具有中点位置xm和偏移hx的测量值，并应用与偏移相关的时间偏移，以便所得测量值近似于在中点xm处进行的共焦或零偏移测量值。考虑到图1的测量几何形状，5，在偏移h x和零偏移情况下进行的测量之间的时间差为.4小时2xm以及与表面法线垂直定向的散射tn=t2−x。（十一） C2动校正对偏移量进行调整，确保仿真在x m处进行的共焦测量。如果散射体的方向不垂直于测量平面，则额外的DMO校正将测量在时间和空间上移动到共焦位置x*。由声学阵列捕获的非共焦测量的情况，其可以包含返回共焦接收器位置之外的附加镜面反射。我们实现了有效的处理的非共焦测量计算调整他们，使他们模仿测量捕获的共焦采样网格。该计算调整包括三个步骤。首先，我们通过中点和偏移位置（xm，ym）重新参数化测量值，该公式假设测量值是从位置为x=xm的散射体捕获的，或者正常点在垂直于声学阵列的方向上（五）。倾角时差校正对于其表面法线不垂直于声学阵列的散射体，附加的倾角时差（DMO）校正调整到达时间和中点位置，以与共焦测量的时间和中点位置对准设φx为散射体的角取向，nx=sinφx和nz=−cosφx为相关法向量（如图所5），则校正时间[40]为.4h2 sin2φx（hx，hy）而不是发送和接收位置（xt，yt）和（x，y）。给出了中点和炮检距参数tdmo=t2+xC2.（十二）R r通过x m=（x t+x r）/2和h x=|x r−x t|/2。其次，我们沿着时间维度重新采样，以去除额外的具有非零偏移的测量（hx，hy>0）相对于具有零偏移的共焦测量（hx，hy=0）的往返传播时间。第三，我们应用一个额外的校正因子，该因子调整捕获测量的中点和时间第二和第三处理步骤是地震成像的常见步骤 ， 称 为 正 常 时 差 （ NMO ） 校 正 和 倾 角 时 差（DMO）校正[40]。补充资料中包含了该调整过程的伪代码说明。然后，通过沿着NMO和DMO校正测量的偏移维度积分来获得仿真的共焦测量，∫∫然而，一般来说，角度φx是未知的。此外，校正不仅应调整测量时间，还应调整测量的中点位置。为了在不知道φx的情况下应用这些校正，我们使用来自地震学的傅立叶域方法，称为测井拉伸DMO校正。该方法通过重新内插或沿时域拉伸所述经NMO校正的测量，使得t′=lntn，并在傅立叶域中应用相移。令Tnmo为沿xm和t′维的经NMO校正的测量值的傅里叶变换，令kx和W为它们的傅里叶变换。 然后DMO校正测量的傅立叶变换Tdmo由Zhou et al.[43]并给出Tdmo（kx，W;hx）=ejΦTnmo（kx，W;hx），（13）∗τc（xm，ym，tn）=∗τ（x m，y m，h x，h y，tn）dh xdh y.0，kx hx = 0Ωkxhx，.W=0hxh y（十）Φ=Φ。W.Σ22k h1 +2kxhxW+ 1这里Ω hxhy 是偏移量的支持区域，τrep-1+2X xW-1−lnW0，W2表示仿真的共焦测量，并且tn是（14）6785场景图像：字母“LT”共焦测量。共焦+非共焦测量迭代重建图6.为具有两个剪切形状的场景显示的重建管线（左上）。通过处理非共焦测量集以模拟共焦几何形状（左下）来增强共焦测量子集迭代重建过程应用具有测量的空间PSF和稀疏性和稀疏梯度先验的空间反卷积以产生最终重建（右下）。针对每个偏移h x执行校正，对结果进行傅立叶逆变换，然后沿时间维度解拉伸，以产生校正的输出τω。关于DMO校正的更多细节可参见补充材料。重建重建过程包括应用NMO和DMO校正捕获的测量，并使用LCT，如果隐藏的对象表现出漫散射或回射散射。我们选择性地使用LCT，因为将其应用于镜面测量会降低重建质量（参见补充材料）。为了进一步减轻空间模糊并改善重建结果，我们应用了基于乘法器交替方向法的迭代重建[8]。通过将高斯拟合到距离声学阵列约1 m处的小（5cm）角反射器的初始重建来测量空间模糊随着反褶积，我们应用稀疏性和总变差先验的重建体积。重建的中期成果图7.原型系统的照片该原型包括一个线性阵列的16个扬声器和麦克风垂直安装在一个1米的翻译阶段。功率放大器和一套音频接口驱动扬声器和记录从麦克风。载物台提供1米的移动距离。声学泡沫屏障被放置在隐藏对象和阵列之间，从而为声音留下从可见墙壁散射到隐藏对象并返回到阵列的间接路径。硬件硬件包括一组现成的全向测量麦克风（DaytonAudio EMM-6）、1英寸汽车扬声器（DS 18 TWC）和两 个 8 通 道 声 学 接 口 （ Behringer ADA 8200 、 UMC1820），它们通过光纤电缆同步，以48 kHz的采样率提供16个输入和输出通道。我们使用两套8声道放大器（Emo- tiva A-800）来驱动扬声器与我们的发射信号。平移台（Zaber X-BLQ-E）被扫描以在沿着1 m间隔的32个位置处进行测量。发射信号是持续时间为0.0625s的从2到20kHz的线性频率啁啾。这里，啁啾带宽受到硬件的频率响应和采样约束的限制。我们测量的啁啾量约为80分贝SPL在1米。考虑到在给定时间只有一个线性调频脉冲在飞行中的约束，系统的最大范围小于0。0625秒×340米=10。6米。在每个时间点的总啁啾时间（使用Chimera体积渲染器可视化[30]）为2s示于图图6示出了结合非共焦测量如何通过在中点网格上重建来改善信号质量并关于迭代重建的进一步细节可以在补充材料中找到。4. 执行我们的实验装置如图所示。7.第一次会议。一个由16对扬声器和麦克风组成的线性阵列垂直安装在一个水平扫描的平移装置上。因此，扫描位置为16 × 0。0625s = 1 s，包括机械扫描在内的扫描时间大约为4.5分钟软件所有程序都是用Python实现的。在Intel 2.50 GHzCore i7-4870-HQ 上 ， 使 用 LCT 在 门 控 2 m 范 围（32×30×250分辨率）内进行包括NMO和DMO校正的初始重建需要4 s迭代重建在没有LCT算子的情况下每次迭代需要0.1 s，在使用LCT算子的情况下每次迭代需要9 s，并且通常在几百次迭代中收敛所有数据集和软件都可以在线获得1。阶段 扬声器和麦克风均匀分布在垂直方向上沿1米，以及翻译1https://github.com/computational-imaging/AcousticNLOS发言者麦克风音频接口电源平移台67862B字母图8.硬件原型捕获的结果。每个场景的照片在顶行中示出，并且最大投影可视化在底行中示出。校准我们校准声学接口上的麦克风增益，使其在各通道之间近似相等，方法是将声学阵列朝向平坦目标，并调整模拟控制以均衡接收信号。麦克风频率响应也被校准为从2到20kHz近似平坦，使用从工厂校准程序为每个麦克风提供的频率相关缩放因子。使用声学泡沫镶板隔离实验室，并且我们还减去在没有隐藏对象的情况下进行的测量，以进一步减轻来自不相关房间几何形状的任何信号。在重建之前，我们通过（tc）2缩放测量值以补偿平方距离衰减。包围隐藏对象的重建体积通过数字选通来自扬声器和麦克风之间的直接路径的测量以及来自墙壁表面的漫反射而可视化。角反射器：四个角反射器放置在场景中不同的距离和高度，以演示重建如何解决每个反射器的相对位置。反射器具有25 cm的边长，并且沿着间接路径以距声学阵列大约2.8 m的距离为中心。我们将声学泡沫放在固定反射器的支架前，以减少它们对测量的影响。由于这些物体是回射散射的，我们在初始和迭代重建中使用LCT，并在图1的重建结果中显示它们的相对3D位置。8.字母“LT”：从海报上剪下的两个字母沿着间接路径放置在距离声学阵列约2.6 m处。“L”切口放置在“T”切口后面大约40cm处，并且字母的宽度大约为25cm。重建恢复了两个字母的形状，如图所示。六、信号衰减我们测量声音的信号衰减-通过在拐角周围距离声学阵列越来越远的地方放置角反射器和平墙（由海报板制成）来控制NLOS。单个扬声器发射FMCW波形，并且我们测量FMCW处理后的反向散射信号的峰值平方电压。平方电压（与接收功率成比例）大致随着距离的平方而下降，如对于镜面反射波前所预期的。我们使用对数-对数尺度上的信号和距离值的线性回归拟合来测量衰减，如图所示。4.第一章线的斜率表示衰减;我们发现后向反射器的斜率为-1.91，墙为-1.89，期望值为-2。分辨率我们还推导出我们的系统的横向分辨率上的分辨率界限，该系统采用了FMCW调制方案（参见扩展推导的补充材料）。对于γ的时间分辨率，横向分辨率λx给出为5. 结果∆x=（xt— x）/rtγc+（xr— x）/rr，（15）实验结果我们用原型硬件系统捕获实验结果，如图1和图2所示6其提供给定散射体、源和接收器位置的位置的分辨率。对于FMCW mod-和8. 结果如下：字母“H”，Cor-计算，γ=1其中B是g（t）的带宽（参见反射器和字母字母我们将字母放置在拐角处，距离声学阵列2.2m，沿着间接传播路径，并使其与从墙壁入射的声音方向成重建的结果捕捉到了字母的清晰形状，如图所示。8.重建中的暗间隙对应于海报面板连接在一起的接缝。在这些位置处，声波似乎在字母周围折射或衍射，而不是像在其他位置处那样强烈反射。当量（六）。最低的分辨率是用共焦在声学阵列的位置处的测量，其最大化距散射体的横向距离。图4示出了散射体的理论横向分辨率，0.5 m的横向距离。我们还绘制了各种带宽值和时间分辨率为60 ps的共焦光学NLOS设置的分辨率曲线[27]。由于相对于光速，声音通过空气的速度相对较慢，9.5kHz的相对较小的声学带宽实现了与光学设置大致相同的横向分辨率。场景图像重建6787光学NLOS声学NLOS图9.光学和声学非视距重建的比较。声学重建（右）恢复重建的体积以z为中心围绕场景进行可视化。虽然这些结果示出了理论横向分辨率，但是所实现的分辨率还取决于发射信号的衍射对于小于波长的散射体，较少的信号散射回来，有效地减小了接收信号的带宽。在声学系统中，通过使用较短的波长，例如，通过使用超声波换能器。我们在补充材料中显示了额外的分辨率实验。与光学NLOS的比较为了提供声学和光学NLOS重建质量的定性比较，我们还使用O'Toole等人的光学设置和LCT重建方法在暗室中捕获字母[27]并比较图中的结果9 .第九条。对于光学扫描，我们将场景的“T”放置在距离墙壁50cm处该曝光时间大约比每个扬声器0.0625 s的声学啁啾持续时间大两个数量级。虽然我们在距离墙壁大约1.6 m的距离处捕获声学结果，但是光学设置的信号衰减需要更近的距离以便重建最接近的字母“T”。更远的字母“L”的位置第9段）。由于声学NLOS的信号衰减率较低，两个字母的恢复形状都清晰可见。6. 讨论总之，我们证明了一种替代的方式为NLOS成像使用的声音。受地震学和合成孔径雷达反演方法的启发，声学NLOS成像的计算方法，并使用廉价的现成组件构建的硬件原型来演示该方法。我们还评估了这种模式的分辨率限制和信号衰减，并提供了与光学技术的比较。限制和未来的工作我们目前的硬件设置通过扫描线性阵列来模拟2D阵列;但是其它硬件配置也是可能的。例如，单个扫描扬声器和麦克风可用于从紧凑型设备捕获测量值，1D阵列可用于捕获2D测量值而无需扫描，可能用于NLOS对象检测，或者全2D阵列可捕获3D体积而无需扫描，从而实现更快的采集速度。在这项工作中，我们发现，扫描的1D阵列允许系统的复杂性，测量质量和采集速度之间的一个方便的权衡。对于具有弱的或不存在的漫射分量的隐藏对象，其不是回射的，或者其具有将声音反射远离声射线的表面法线，重建可能在没有回射信号的情况下失败。此外，比发射波长小得多的特征可能难以分辨。在这样的情况下，光学系统可以产生更好的结果，但是在更短的距离处并且由于信号强度随距离的更快速的衰减而具有更长的曝光时间。虽然该缺点也适用于其他基于wifi或雷达的系统，但是在更短波长处的声学成像，例如，在更短波长处的声学成像，也是不可能的。利用超声波，通过使较小的表面特征用作漫反射器或回射器，可以潜在地增加信号返回的量我们目前分别评估光学和声学非视距;然而，这两种方法可以结合在一个系统中，以充分利用其独特的优点。相关的应用可以是用于自主车辆导航，其中光学系统难以对来自诸如道路、轮胎或建筑物的暗区域的反射进行成像，但是声学信号将被强烈反射。许多车辆已经在其保险杠上部署了小型超声换能器阵列，因此在这种情况下，利用现有硬件可以实现声学NLOS成像。鸣谢本项目得到了特曼学院奖学金、斯隆奖学金、国家 科 学 基 金 会 （ CAREER Award IIS 1553333 ） 、DARPA REVEAL计划、ARO（Grant W 911 NF- 19-1-0120）和KAUST Office of Sponsored Research（通过视觉计算中心CCF赠款）的支持。我们还要感谢IoannisGkioulekas的鼓舞人心的讨论。LLTT重建6788引用[1] F. 阿迪布角Y. 许氏H.毛氏D.Katabi和F.杜兰德穿过一堵墙来捕捉这个人形 ACM Trans. Graph. ，34（6），2015. 二、三[2] F. Adib，Z.卡贝拉克，D。Katabi和R.C. 米勒通过身体无线电反射进行3D在Proc.NSDI，2014中。2[3] F. Adib和D.卡塔比透过Wi-Fi看墙 在ACM SIGCOMM，2013. 二、三[4] F. Admasu和K.脚趾头三维地震资料跨断层层位自动划分方法 在proc CVPR，2004年。2[5] C. Baker和S.派珀连续波雷达在现代雷达原理：第3卷：雷达应用，第1785.工程技术研究所，2013年。二、四[6] M. Batarseh，S.Sukhov，Z.Shen，H.格马尔河Rezvani，以及A.多加留使用空间相干性的拐角处的被动感测。NatureCommunications，9（1）：3629，2018。2[7] K. L. Bouman，V.Ye、叶绿条叶蝉A.B. Yedidia，F.杜兰德G.W. Wor-nell，A. Torralba和W. T.弗里曼。将拐角转换为摄像机：原则和方法。InProc. ICCV，2017. 一、二[8] S. 博伊德，N.Parikh，E.楚湾，澳-地Peleato和J.Eckstein通 过 乘 子 交 替 方 向 法 的 分 布 优 化 和 统 计 学 习Foundations and Trends in Machine Learning，3（1）：1-122，2011。6[9] M.布塔瓦J. Zeman，A. Tosi，K. Eliceiri和A.维尔滕使用时 间 选 通 单 光 子 雪 崩 二 极 管 的 非 视 线 成 像 。 Opt.Express，23（16）：20997-21011，2015。一、二[10] S. 昌河，巴西-地E. 沃伯顿湾加里福尼亚，J.Leach和D.Fac- cio.远距离非视线跟踪人。选购配件Express，25（9）：10109-10117，2017. 一、二[11] A. 戴 维 斯 ， M 。 Rubinstein ， N. 瓦 德 瓦 湾 Mysore ，F.Durand和W. T.弗里曼。视觉麦克风：从视频中被动恢复声音。ACM事务处理图表，33（4），2014. 2[12] I. Dokmani c'，Y. M. Lu和M. 我也是一个人可以听到房间的形状：二维多边形的情况。在Proc.ICASSP，2011年。2[13] I. 多克马尼河 Parhizka r，A. Walthe r，Y. M. Lu和M. 我也 是 。 回 声 显 示 了 房 间 的 形 状 。 Proceedings of theNational Academy of Sciences，110（30）：121862[14] A. 埃弗拉特岛莫塞里岛朗，T.Dekel，K.Wilson，A.哈-西迪姆，W。T. Freeman和M.鲁宾斯坦Looking to List-ten at the Cocktail Party：A Speaker-Independent Audio-Visual Model for Speech Separation.ACM事务处理图表，37（4），2018. 2[15] G. Gariepy，F.托诺利尼河Henderson，J.Leach和D.Fac-cio. 检 测和 跟 踪隐 藏 在 视野 中 的运 动 物体 。 NaturePhotonics，10（1）：23-26，2016. 一、二[16] M.古普塔河K. Nayar，M. B. Hullin和J.马丁相位成像：基于相关性的飞行时间成像的推广。ACM事务处理图表，34（5），2015. 1[17] O. 古 普 塔 ， T.Willwacher ， A.Velten 、 A.Veeraraghavan，以及R. 拉斯卡使用漫反射重建隐藏的3D形状Opt. Express，20（17）：19096-19108，2012。一、二6789[18] F.海德湖肖，W. Heidrich和M. B.胡林漫反射镜：使用廉价的飞行时间传感器从漫反射间接照明进行3D重建在Proc. CVPR，2014。1[19] O. Katz，P. Heidmann，M. Fink和S.吉根通过散斑相关性通过散射层和拐角周围进行非侵入性单次拍摄成像。Nature Photonics，8（10）：784-790，2014. 2[20] O.卡茨，E.小，Y。希尔伯伯格用散射的非相干光实时 观 察 周 围 的 角 落 和 透 过 薄 的 混 浊 层 NaturePhotonics，6（8）：549-553，2012. 2[21] A. Kirmani，T. Hutchison，J. Davis和R.拉斯卡用瞬态成像观察拐角处。InProc. ICCV，2009. 一、二[22] J. 克莱因角彼得斯，J。马丁，M。Laurenzis和M.B.胡林使用2D强度图像跟踪视线外的物体。科学报告，6：32491，2016。一、二[23] X. Liu，S.Bauer和A.维尔滕非视线测量中特征可见性的分析在Proc. CVPR，2019中。一、二[24] X. 勒顿水声学导论：原理与应用。Springer ScienceBusiness Media，2002. 2[25] A.奥多诺万河Duraiswami和J.诺伊曼麦克风阵列作为综合音视频处理的通用摄像机。在Proc.CVPR，2007年。2[26] S. M.奥马利和我。A.卡卡迪亚里斯3-D地震数据中稳健的基于结构的增强和层位拾取载于Proc.CVPR，2004年。2[27] M. O'Toole，D. Lindell和G.韦茨斯坦基于光锥变换的共焦非视线成像。自然，555（7696）：338-341，2018。一二三四七八[28] A. Owens和A.埃夫罗斯具有自我监督多感官特征的视听场景分析。 在proc ECCV，2018年。2[29] A. Owens，P. Isola，J. McDermott，A. Torralba，E. H.Adel-son和W.T. 弗里曼。视觉指示的声音。 在procCVPR，2016年。2[30] E. F. Pettersen，T.D. 戈达德角C. Huang，G.S. 沙发D. M. Greenblatt ， E. C. Meng 和 T. E. 费 林 UCSFChimera-一个探索性研究和分析的可视化系统。J.计算机Chem. ，25（13）：1605-1612，2004. 6[31] A. Senocak，T.H. 哦，杰。金，M.-H. 杨和我S. 奎恩学习在视觉场景中定位声源。在procCVPR，2018年。2[32] S. Siltanen，T. Lokki，S. Kiminki和L.萨维奥哈房间声学渲染方程。美国声学学会杂志，122（3）：1624-1635，2007年。2[33] C.- Y. Tsai，K. Kutulakos，S. G. Narasimhan和A. C.桑卡拉纳拉亚南用于非视线成像的第一返回光子的几何形状。在Proc. CVPR，2017中。一、二[34] C.- Y. 蔡氏A.Sankaranarayanan和我。Gkioulekas。一个用于非视线成像的表面优化框架。在Proc. CVPR，2019中。一、二[35] 美国联邦政府.联邦法规电子代码标题22，第121部分，2018年。访问时间：2018-09-12. 26790[36] A. 费尔滕，T.威尔瓦赫尔湖，澳-地古普塔A。韦拉拉哈万G. Bawendi和R.拉斯卡使用超快飞行时间成像恢复拐角周围Nature Communications，3：745，2012。一、二[37] A. Webb和G. C.卡加迪斯生物医学成像导论。约翰威利父子公司2003. 2[38] D. Wu，G.韦茨斯坦角Barsi，T. Willwacher，M.N. Naik，Q. Dai，K. Kutulakos和R.拉斯卡瞬态光传输的 频 率 分 析 及 其 在 裸 传 感 器 成 像 中 的 应 用 。 在Proc.ECCV，2012中。一、二[39] S. Xin，S. Nousias，K. Kutulakos、A. 桑卡拉纳拉亚南S. Narasimhan和我。Gkioulekas。非视线形状重建的费马路径理论。在Proc. CVPR，2019中。一、二[40] 哦。你好地震数据分析：地震数据的处理、反演.勘探地球物理学家
我的内容管理
展开
