瞬态成像的最新进展：计算机图形学和视觉透视

*视觉信息学1（2017）65瞬态成像的最新进展：计算机图形学和视觉透视Adrian Jarabo*，Belen Masia，Julio Marco，Diego Gutierrez*Universidad de Zaragoza-I3 A，萨拉戈萨50018，西班牙ar t i cl e i nf o文章历史记录：2017年1月19日在线提供关键词：瞬态成像超快成像飞行时间a b st ra ct瞬态成像技术近年来在计算机图形学和计算机视觉领域产生了巨大的影响通过以极端的时间分辨率捕获、重建或模拟光传输，研究人员提出了新的技术来显示运动中的光的电影，看到拐角处，检测高度散射介质中的物体其关键思想是利用时间域中的大量信息以皮秒或纳秒的分辨率，这些信息通常在捕获时间时间积分期间丢失。本文从图形学和视觉的角度介绍了瞬态成像领域的最新进展，包括捕获技术、分析、应用和仿真。2017浙江大学出版社由爱思唯尔公司出版这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍1964年，麻省理工学院教授哈罗德·埃杰顿拍摄了这张标志性的照片，《子弹穿过苹果》. 1，左）。他的作品代表了一种前所未有的努力，即拍摄速度太快而无法用传统技术捕捉的事件。他发明了一种新的频闪闪光灯（他称之为频闪仪），它可以闪烁大约10微秒：足够亮，足够短，可以有效地冻结世界并捕捉超快事件，例如子弹穿过苹果，一滴牛奶飞溅，或者蜂鸟拍打翅膀。近50年后，受这些图像的启发，被称为飞秒摄影的技术（Velten等人， 2013年）推出。它把埃杰顿的视觉带到了一个全新的水平，允许捕捉运动中的光的电影，因为它穿过一个宏观的场景（图1，右）。这50年的时间跨度为超快成像的进展提供了一个清晰的例子。在过去的几年里，出现了许多技术，有些是受飞秒摄影的启发，有些则是采用完全不同的方法。他们有一个共同的目标，那就是试图让不可见的东西变得可见：无论是由于捕获事件的速度，散射介质的存在，光子的缺乏，还是由于遮挡物体，超快成像的目标都是利用在拍摄过程中通常丢失的丰富信息。通讯作者。电子邮件地址：ajarabo@unizar.es（A. Jarabo），diegog@unizar.es（D.Gutierrez）。同行评议由浙江大学和浙江大学出版社负责http://dx.doi.org/10.1016/j.visinf.2017.01.008捕获时间时间积分。这彻底改变了成像和场景理解领域，开辟了新的可能性，但也发现了新的挑战。在本文中，我们提供了一个深入的概述在这一领域的最重要的作品。我们主要关注计算机图形和计算机视觉领域的工作对于利用不同波长的其他技术（例如微波或在太赫兹域中操作的技术） ，我们建议读 者参考其他优秀的来源 ，例如Satat 等人（2016）最近的调查同样，最近的另一项调查（Bhandari和Raskar，2016）从信号处理的角度概述了该领域。从我们的图形和视觉的角度来看，我们采用常用的术语瞬态成像，指的是成像技术足够快，捕捉光传输的瞬态信息，而不是传统的技术，捕捉稳态信息（如定期图像）。我们的工作结构如下：首先，我们在第2节中介绍了捕获技术，将直接获得瞬态信息的技术（例如前面提到的飞秒摄影或最近基于干涉的工作）与从稀疏测量集重建该信息的技术（例如最近基于飞行时间（ToF）相机的方法）分开。在第3节中，我们继续讨论的工作，其主要目标是分析瞬态光传输，无论是在主域和频域。我们还讨论了涉及时空编码和调制的技术在第4节中，我们从应用程序2468- 502 X/©2017浙江大学和浙江大学出版社。由爱思唯尔公司出版这是CC BY-NC-ND许可下的开放获取文章（http：//creativecommons.org/licenses/by-nc-nd/4.0/）上提供。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinf66A. Jarabo et al. / Visual Informatics 1（2017）65×−∞−∞=-图1.一、左 图 ：1964年，Harold Edgerton拍摄了标志性的子弹穿过苹果图像（© MIT Museum）。子弹以大约850米/秒的速度飞行，这意味着大约4-10百万分之一秒的右：大约50年后，引入了飞秒摄影技术（Velten等人，2013），能够捕捉运动中的光，有效曝光时间为万亿分之一秒。大分割图像是插图中所示的三个完整帧的合成来源：这个场景和其他场景的完整视频可以从http://giga.cps.unizar.es/~ajarabo/pubs/femtoSIG2013/下载。的观点。再次以图形和视觉为重点，我们将这一部分细分为几何重建，运动估计和材料估计;在大多数讨论的应用程序中，一个常见的问题是多径干扰（MPI）问题，这是从许多不同的角度解决的。随着瞬态成像的建立，时间分辨光传输的模拟正成为越来越重要的工具，我们将在第5节中介绍。最后，第6节给出了一些最终结论和讨论。2. 捕获光和物质之间的相互作用通过光传输方程描述为线性算子（Ng等人， 2003年）的报告：i=Tp，（1）其中i是捕获的2D图像（作为大小为I的列向量）通过相机，p是表示场景照明的大小为P的向量，并且T是编码为a的场景传输算子。IP矩阵。等式（1）假设光传输已经达到稳态。在其瞬时形式中（O'Toole等人，2014），将时域结合到光传输方程得到：i（t）=<$∞T（τ）p（t−τ）dτ=（Tp）（t），（2）其中，i（t）存储在时间t到达的光，p（t）是在时刻t的时间分辨照明函数，并且T（t）是描述具有恰好为t的飞行时间的光传输的传输矩阵。请注意，从这里开始，所有项都是依赖于时间的。第二个等式表示时间域中T和p之间的卷积。实际上，由于传感器的物理限制，不能在时刻t直接捕获瞬态图像。相反，该信号还被以t为中心的传感器s（t）的时间响应卷积为：i（t）=<$∞s（t−τ）（T<$p）（τ）dτ=（s（t）<$T<$p）（t）。（三）对于瞬态成像，我们感兴趣的是计算对应于传输矩阵T的脉冲响应的瞬态图像i（t）（即，（2））。这实际上意味着照明p（t） δ0（t）和传感器响应s（t）δt（t）分别是以0和t为中心的狄拉克增量为了捕捉根据所使用的照明类型和传感器响应，已经提出了几种方法如果我们只关注照明，那么主要的工作路线要么使用脉冲照明，要么使用编码照明。在前者的情况下，技术已经使用超快成像系统直接记录光传输（第2.1节），或相位干涉法恢复光的传播（第2.2节）。在后者的情况下，编码照明通常与编码传感器响应相关，允许通过捕获后计算恢复时间分辨响应（第2.3节）。表1总结了选定捕获系统的比较，包括其时空分辨率。2.1. 直接时间记录理论上，捕获脉冲传输矩阵T的最直接的方式是使用具有脉冲照明和极短曝光时间的成像系统。然而，这在实践中非常具有挑战性首先，信噪比（SNR）极低，因为在曝光时间期间到达的光子非常少除此之外，还需要超短照明脉冲，以避免卷积对传输矩阵的影响此外，不存在用于高分辨率二维成像的超快成像系统（在纳秒到皮秒分辨率的量级超短（脉冲）照明通常通过使用基于激光的照明来实现，例如飞秒激光（Velten等人， 2013年）。已经提出了几种不同的方法来捕获瞬态光传输，并减轻极低SNR带来的挑战。在下文中，我们根据它们所基于的成像系统请注意，我们关注的是专注于时间分辨光传输的超快成像技术，记录单个反弹（例如，用于LIDAR应用）或多重散射。 其它基于脉冲的超快成像技术，基于脉冲拉伸（Nakagawa等人，2014; Lau等人，（2016）未讨论这项工作激光选通观察（Busck和Heiselberg，2004年）是为距离成像而设想的，它通过顺序地对一组帧成像来利用静态场景超短激光脉冲与配备有高灵敏度CCD的超快相机同步，该相机对在非常小的时间窗口（几百皮秒的量级）期间到达的光子进行通过滑动成像窗口，独立计算每个帧该系统后来被扩展为在非视线成像的背景下使用区域脉冲照明（Laurenzis和Velten，2014）。为了提高信噪比，A. Jarabo et al. / Visual Informatics 1（2017）6567512×256×696×240×160×582×Gariffin等人 （2015）1360×102 4SPAD3267ps240s160×160× 120150× 150672× 600Kadambi等人04 The Famous（2013）−−−− −−表1选定的代表性捕获设置。每种不同的技术都提供了各种空间和时间分辨率，以及一系列的捕获时间。注意Laurenzis等人（2007）的工作还请注意，Li et al.的方法（2012）能够从单个捕获的像素重建240× 2像素。Velten等人 （2013）条纹相机56 × 120.3-5.7 ps 2 hTadano等人03 The Famous（2015）Gao等人04 The Famous Women（2014）Laurenzis和Velten（2014）激光门控66.7 ps？32×Peters等人 （2015）AMCW120转100 ps0.05 s（实时）BusckandHeiselberg（2004）激光门控752 100 ps 32K镜头Heide等人 （2013）AMCW1201 ns90 s（+ hourspostprocess）Liet al. 2012年激光选通240（*）20 ns76K拍摄Laurenzis等人03 The Famous Women（2007）Dorrington等人03 TheFamous Famous（2007）Hebert和Krotkov（1992）AMCW256（扫描）0.98 cm（深度）0.5 s图二. 左图：飞秒摄影设置示意图。通过分束器和同步检测器与条纹相机同步的激光在击中漫射器后照亮场景;散射到相机的光子由条纹传感器成像，该传感器以皮秒分辨率捕获1D视频。为了捕获完整的2D时间分辨视频，使用一组旋转镜来沿着y轴扫描场景。右：摄影的设置，数码单反相机是用来捕捉现场的常规图像。图片来源：Velten et al. 2013需要对每个帧进行测量。由于需要独立计算每一帧，因此门控成像与帧的数量成线性比例。为了改善距离成像的收敛性（即，聚焦于单次散射），开发了诸如距离门编码的方法，其中门响应在长时间窗口上连续调制，然后使用强度分析重建（Laurenzis等人， 2007;Zhang和Yan，2011; Laurenzis和Bacher，2011），通过随机时间门控的时间域上的压缩感测（CS）（Li等人， 2012; Tsagkatakis等人 ， 2012 ， 2013 ， 2015 ） ， 或 结 合 两 种 技 术 的 混 合 方 法（Zhangetal.，2012; Dai等人，2013年）。对于13位范围图像，这可以将测量次数减少到仅两次。Laurenzis和Woiselle（2014）对这些方法进行了深入比较。同样依赖于CS，Lietal. （2012）使用具有单像素探测器的门控方法获得全2D瞬态图像。基于阵列雪崩光电探测器（APD）（Charbon，2007），特别是 单 光 子 雪 崩 二 极 管 （ SPAD ） （ Kirmani 等 人 ， 2014 年 ;Gariban等人， 2015），由于光电探测器的单光子灵敏度，允许显著减少捕获时间和所需的光源功率。这些系统相对简单且成本低，并且使用对眼睛安全的照明。在不利的一面，它们产生较低的空间分辨率，并需要较高的曝光时间（在几十皮秒的数量级为了提高时间分辨率，Veltenetal. （2012 b，2013，2016）使用了条纹相机 （滨松，2012年） 作为成像设备。条纹管牺牲了传感器的一个空间维度（y轴），并用它来编码光子到达的时间这是通过使用光电阴极将光子转换成电子来完成的。然后，电子在不同的当它们通过微通道板时，通过快速改变电极之间的电压来改变角度。CCD最终记录每个脉冲的水平位置，并将其到达时间映射到垂直轴。这有效地记录了瞬态光传输的1D为了记录2D视频，旋转镜沿着垂直轴逐渐扫描场景图2显示了他们称之为飞秒摄影的设置图。与选通成像相反，采集时间不再与时间分辨率成线性关系，而是与垂直分辨率成线性比例，尽管需要重复捕获以获得良好的SNR。为了同时捕获三个x y t维度，Hesh-mat等人（2014）通过使用倾斜的小透镜阵列将x y空间域编码为条纹传感器上的单个维度。另一方面，Gao等人（2014年）添加了一个具有伪随机二进制模式的数字存储设备，该模式对条纹传感器中丢失的然后使用稀疏重建技术恢复瞬态图像。2.2. 干涉成像基于干涉测量的成像技术依赖于在电磁场之间产生干涉。在图形和视觉领域，利用这种方法的作品并不多。尽管其路径长度分辨率非常高（比飞秒摄影高至少一个数量级），但其存在关于视场、景深和捕获时间的限制此外，它甚至对微米级的振动也非常敏感。Abramson介绍了第一个使用全息术的光飞行可视化，通过用短脉冲光照射平坦表面和全息板（Abramson，工作技术空间资源颞叶水库成本Gkioulekas等人Heshmatetal.（2015）（2014年）条纹照相机655× 64833个外勤人员0.3几小时6秒68A. Jarabo et al. / Visual Informatics 1（2017）65≉=∼=图三. 迈克尔逊干涉仪分束器将输入光束发送到距离为dr和ds的两个反射镜Mr和Ms。分离的光束反射回来，并在分束器处重新组合，然后由相机成像 插图i和ii显示了有干扰（d′rd s）和无干扰（d r d s）的两个结果。插图iii示出了用于倾斜照明的替代设置。图片来源：Gkioulekasetal.， 2015年。1978年，1983年）。最近，Gkioulekas等人（2015）提出了一种能够实现10微米分辨率的光学组件（三十三35飞秒），通过使用干涉测量方法，在光学相干断层扫描（见图3）。在这个尺度上，作者可以看到色散或双折射等效应。Kadambi等人 （2016a）引入了宏观干涉测量，依赖于ToF数据的频率采样。这种新方法的一个关键优势是它隐式解决了MPI问题（第4.1.2节）;而不必像在传统的ToF中（这是一个困难的非线性逆问题，参见第2.3节和第4.1.2节），作者将问题重新描述为变化频率的总和。此外，该技术在低SNR水平下更鲁棒缺点是，系统的分辨率仅限于米级范围。2.3. 相位渡越时间基于相位的飞行时间（P-ToF）成像，也称为基于相关的飞行时间（C-ToF）成像或简称ToF成像，将发射的调制光与频率gωT以及调制和输入的像素的脉冲响应αp互相关在频率为f ω R的传感器处积分 （见图4）。在其最典型的连续形式（也称为调幅连续波（AMCW）系统1），相机计算交叉相关性为：c（t）=s（t）p（t），（4）其中s（t）是在传感器处接收的辐射率，并且p（t）是发射的信号。这些一般被建模为：s（t）=αpcos（fωRt+φ）+β，（5）p（t）=cos（gωTt），（6）其中φ是传感器处的相移，β是环境照明。捕获一组不同的相移Φ允许检索发射信号和接收信号之间的相位差。这些每像素相位差对应于光行进时间，因此编码距离（深度）和其他可能的延迟源。早期的工作证明了该原理在机器人环境中的距离成像的适用性和 性 能 限 制 （ Hebert 和 Krotkov ， 1992;Adams 和 Probert ，1996）。1 请注意，我们在提到这些特定传感器时使用术语AMCW，而我们使用ToF来表示一般的基于相位的飞行时间传感器。见图4。飞行时间发射器-传感器装置的基本工作原理。光在光源处被调幅，不断地向场景发射，并且每个像素调制所观察到的场景点的脉冲响应。通过执行调制的发射信号和接收信号两者的互相关（积分），可以估计相位差以重构光传播时间。图片来源：Heideetal. 2014年b。由于硬件特性，这些方法仅限于每次拍摄的单个范围检测，需要对场景进行系统且耗时的扫描以获得完整的深度图。第一个原型，允许与调制阵列传感器同时捕获场景介绍了由Schwarte等人。（1997），以光子混合器器件（PMD）命名。Lange等人Lange和Seitz（2000）以及Lange和Seitz（2001）分别介绍了一种基于解调“锁定”像素的新型ToF器件，该器件在CCD技术上工作，调制频率为几十MHz，并允许实时距离测量。这些技术为研究硬件特性带来的应用和挑战ToF设置的一个重要操作方面在于发射器和传感器频率如何配对。零差配置在发射器和传感器处使用相同的频率（fωRgωT），而外差配置使用略微不同的频率对。虽然在计算上更复杂，但是已经证明外差设置提供更好的测距精度（Conroy等人， 2009），允许高达亚毫米分辨率（Dorrington等人，2007年）。此外，ToF相机的适当校准被证明在减轻距离估计的系统误差时发挥重要作用（Fuchs和Hirzinger，2008年; Lindner等人， 2010年）。除了传统的距离成像，Heide等人（2013）证明，通过将一组传感器测量与不同的调制频率和相移相关联，可以通过优化重建一组离散的每像素光传播时间和强度，从而得到然而，该重建所需的频率和相位的数量显著高于ToF设备提供的故障集合（几个默认频率和相位对数百个默认频率和相位）。他们通过用外部元件取代内置光源、信号发生器和相位触发来解决这个问题。这种基于ToF的设置比飞秒摄影便宜得多（Velten等人，2013年）;然而，它仅达到纳秒分辨率（与飞秒摄影中的皮秒相比），信号被重建而不是直接捕获，并且调整现成的设备需要大量的熟练工作。2后续工作旨在克服影响后续重建方法可行性的不同ToF设备限制Kadambi等人 （2013）重新配置了具有自定义编码照明的发射器调制，这改善了对2 http://www.pulsr.info/网站。A. Jarabo et al. / Visual Informatics 1（2017）6569×=通过支持稀疏约束的优化这使他们能够使用单个频率而不是数百个频率来恢复每个像素的瞬态响应。Peters等人（2015年）的最新工作介绍了一种生成鲁棒正弦光信号的方法，该方法允许他们使用闭合形式重建方法每秒获得高达18.6个瞬态响应ToF传感器噪声以及由于安全和能量问题而导致的有限发射光强度使得传感器曝光时间和镜头光圈成为实现可接受的SNR的两个主要因素。为了支持实时应用，曝光时间必须保持较短，因此光圈通常较大，以捕获尽可能多这引入了一个浅景深，模糊了具有显著深度变化的场景。此外，这些传感器的低分辨率（例如，PMD的200 - 200）影响捕获数据的空间精度。Godbaz等人（2010）通过使用ToF相机中可用的编码孔径和显式范围数据来提供浅景深的解决方案，以便执行散焦，有效地扩展景深。Xiao等人（2015）利用ToF设备提供的幅度和范围信息来恢复散焦模糊内核，并在这些幅度和范围空间中进行正则化优化，从而允许散焦和提高分辨率。无 论 宽 光 圈 如 何 ， 曝 光 时 间 都 需 要 比 单 个 调 制 周 期 TωR1/fωR长得多，以便减轻传感器噪声。这会导致一个被称为相位缠绕的病理问题。由于光的传播时间被编码在相位中，调制周期TωR决定了可以消除歧义的最大光路长度c TωR，其中c是光速。任何光路开始在发射器处，到达传感器中的像素所需的距离比该距离长，将相位卷绕TωR，落入与后续调制周期内的较短路径相同的相移这些相位缠绕的光路在测量数据中产生干涉，导致重构中的误差解决这个问题的一个简单方法是降低调制频率，从而增加最大无模糊路径长度。然而，这降低了针对重构路径长度获得的精度，导致不太精确的深度测量。Jongenelen等人（2010年）通过探索同时高和低调制频率的不同双组合，证明了如何在减少精度下降的同时扩展明确的最大范围最近，Gupta等人（2015 b）的工作推广了多个高频顺序用于此目的，他们将其命名为micro-ToF成像。相位缠绕与MPI的广泛研究的问题密切相关，其中来自多个光路的光被集成在传感器中，导致信号干扰并因此导致重构误差。然而，这与一些物理现象（例如相互反射、散射）如何影响某些应用有关更详细的讨论请参见第4.1.2最近的作品探索新的硬件修改：Tadano等人 （2015）通过使用空间上间隔3 mm的LED发射器阵列，将时间分辨率提高到超过当前ToF设备的极限（约100皮秒）。Shrestha等人（2016年）探索了同步多达三个多视图ToF相机的成像应用。为了实现这一目标，他们解决了相机光源之间的干扰问题，展示了如何通过为每个传感器/光源对使用不同的正弦频率来缓解作者演示了一些应用，例如通过使用两台相机并行测量相位图像来改进动态场景的距离成像，将单相机帧速率提高一倍，以及减轻运动伪影。2.4. 讨论一般而言，瞬态成像系统在成本、易用性、采集时间和质量（空间和时间分辨率）之间进行权衡，如表1所示。第2.1节中描述的基于脉冲的技术，虽然在术语上等同，主要成像原理的不同之处在于所提到的折衷。雪崩光电探测器允许对单散射光子进行廉价且快速的成像，适用于激光雷达应用;实现的时间分辨率为数十皮秒。另一方面，门控系统在测量方面成本更高，因为它们独立地对每帧进行成像，尽管当专注于范围感测时可以减轻这种成本此外，这些系统的时间分辨率范围从数百皮秒到毫秒，允许各种各样的应用领域。基于条纹相机的系统提供了最高的时间分辨率，在数百飞秒的数量级，以较长的曝光时间为代价，以实现可行的SNR。最后，基于干涉测量的系统（第2.2节）产生最高的时间分辨率，但存在许多缺点，包括运动敏感性，极浅的景深和固有的复杂性，这使得它们难以在一般情况下使用。另一方面，基于相位的飞行时间系统（第2.3节）提供了一种更实惠的硬件替代方案，具有更短的采集时间。然而，这些设备（例如，PMD、ToF Kinect）不能现成使用，需要在硬件组件、电子器件、信号生成甚至多设备配置方面进行许多修改，以实现可接受的结果。尽管有相当多的黑客攻击，它们产生的时间分辨率要低得多-通常在纳秒范围内-与到分别用基于脉冲和基于干涉的方法获得的皮秒或飞秒。此外，这些系统不直接获取时间信息;相反，它们需要捕获后计算来重建信号，这可能会导致错误。3. 瞬态光传输瞬态成像设备捕获的数据受到MPI问题的影响：来自不同路径的光到达传感器中的同一像素（见第4.1.2节）。这使得分析困难，并限制了瞬态成像的应用范围为了克服这一点，已经提出了不同的方法，可以分为两个主要方向：第一个寻求利用稀疏性（或压缩性）的光trans-port数据在时域;第二个分析瞬态光传输在傅立叶域。此外，其他的工作exploit分离的光传输的时空编码在捕获期间。3.1. 稀疏性和可压缩性用于瞬态光传输分析的常见方法根据特定场景和目标应用，在时间域或其导数中，或者通过将其建模为在某种替代基础上的压缩信号，来调节光传输的稀疏性根据这些形式的稀疏性，已经开发了许多现象学模型，从明确建模基于物理的先验（例如，K-稀疏模型在主域），其他模型的基础上观察捕获的K稀疏响应模型最常见的方法之一是将时间剖面视为时间上K个Diracδ函数的混合，70A. Jarabo et al. / Visual Informatics 1（2017）65∑=∑=≥=图五. 瞬态光传输的不同分量分解。左图：高斯轮廓非常接近传感器的时间PSF和直接照明脉冲响应的卷积。中：对于次表面散射占主导地位的点，时间剖面随时间呈指数衰减。右：显示直接和次表面光传输的时间曲线，其导致高斯脉冲（直接照明）和指数衰减（SSS）的总和。图片来源：Wu et al. （2014年）。域，其中与表面的每个光交互被表示为脉冲响应：Kt（t）=αiδti（t），（7）i=1其中t（t）是单个像素处的时间分辨传输响应，αi是到达传感器的强度，δti是时刻ti的脉冲响应。该模型构成了门控激光测距法（第2.1节）和相关测距法（第2.3节）的基础，这些测距法假设第一次散射事件的单个δ响应（K1），最近的表面。然而，这种单次反弹假设远非鲁棒的，因为它假设在没有间接照明的不透明表面上散射，因此遭受MPI问题。为了部分地减轻这一点，其他方法包括用于其他互反射的附加稀疏响应，包括任意大数量的响应（K> 1）（Kadambi等人，2013; Kirmani等人，2013; Bhandari等人，2014 a; Qiao等人，2015; Kadambi等人， 2015; Peters等人，2015年）。对于K2的特定情况，该方法允许非常快速的重建（Dorrington等人， 2011;Godbaz等人，2012; Adam等人，2016; Naik等人， 2015年）。Wu等人 （2012a，2014）指出，在条纹图像中，该K稀疏模型实际上是由传感器时间点扩散函数（PSF）（图5，左）卷积的，其呈现高斯形状（Velten等人， 2013年）。根据这一观察，作者将方程（7）建模为高斯和：Ki（t）=αiGti（t，σ）（8）i=1其中G ti 是以t i为中心的高斯分布，σ取决于成像系统。请注意，方程式（8）不对传输算子t（t）进行建模，但是对瞬态图像i（t）处的成像像素进行建模。用高斯函数代替δ函数Wu等人（2012 a，2014）经验性地观察到，单个指数衰减准确地将次表面散射建模为：v（t）=exp（log（Li）+γt），（9）其中Li是入射照度，γ是物体的散射系数（图5，中间和右边）。对于更一般参与介质中的光传输（即，重新放宽光学厚介质的假设），Heideetal. （2014 b）使用了类似的指数衰减假设;然而，由于大多数传感器具有高斯PSF，他们通过使用指数修改的高斯来近似这种衰减。这使他们能够将参与介质中的瞬态光传输建模为这些类型高斯的混合模型，这为此类介质中的瞬态光传输提供了压缩基础。有趣的是，一组类似的时间分辨指数修改高斯，集成在时域中，位于量化扩散模型（D'Eon和Irving，2011）的核心，基于指数的漫反射照明。Freedman等人（2014）观察到朗伯间接时间响应l（t）也呈现平滑的指数形状，尽管与Wu的不同他们将其建模为：l（t）=Atαeβt，（10）其中，A、α和β取决于底层场景的几何形状和反射率，并且t0。对于t<0，我们有l（t）0。通过这种方法，作者将瞬态光传输建模为直接路径和镜面路径的脉冲状传输（K稀疏模型）加上朗伯间接照明的总和：打破了（原始）稀疏性假设;然而，正如K KL所指出的那样，作者认为，对于直接传输以及镜面反射和传输，信号在梯度域中仍然稀疏。t（t）=∑αiδti（t，σ）+∑lj（t-tj），（11）这使他们能够将直接和全球运输组合分开，i=1j=I入射（相互反射加上次表面散射）。进一步的工作使用该模型来基 于 基 于 相 关 传 感 器 重 建 完 整 的 瞬 态 图 像 （ Heide 等 人 ，2013），而Huetal. （2014）通过使用基于卷积稀疏编码的更鲁棒的方法改进了Wu的技术。到目前为止讨论的模型假设脉冲光传输，其中所有散射事件发生在完全不透明或透射的表面之间，并且光自由地穿过空的空间。由于间接照明是连续信号，因此使用K脉冲模型（或其基于高斯的版本）对其进行建模将是不切实际的。下面讨论的另外两个模型解决了次表面（体积）散射以及漫反射。指数体积模型。在存在半透明物体或参与介质的情况下，间接照明起着重要作用。的情况下其中tj是漫射器的最短光路。不幸的是，在这个公式中，瞬态光传输不再稀疏，在原始域和梯度域中。然而，脉冲函数和指数衰减再次形成压缩基底。3.2. 频域基于傅立叶的分析和技术已被开发，以获得有关在时域中编码的信息的基本见解，并作为瞬态数据的有效捕获和处理的工具Wu等人 （2012 b）扩展了对入射稳态光场的频率分析（Durand等人，2005）通过分析全5D时间分辨光场。他们的分析揭示了域之间的跨维度信息传递。他们进一步证明了这一点的潜在应用A. Jarabo et al. / Visual Informatics 1（2017）6571(a) 直接辐射。(b) 全球辐射。(c) 高频照明的全局辐射率。图六、 使用AMCW系统的光传输的频率分析，使用正弦信号的相量表示建模。在原始域中，通过将发射的辐射与场景的响应进行卷积来获得响应，这是直接传输的delta响应（a），并且在存在多次相互反射的情况下可能变得任意复杂（b，c）。该响应通常是平滑的，因此在频域中是带限的这意味着对于高频调制的发射辐射，全局响应仅包含DC分量。来源：图片改编自Guptaetal.（2015 b）。分析通过原型的瞬态为基础的裸传感器成像系统。 Lin等人（2014，2016）观察到，使用具有零差设置的AMCW传感器捕获瞬态光传输等同于在频域中对瞬态光传输进行采样。基于这一观测结果，他们通过对捕获的数据进行傅里叶逆变换Kadambi等人（2015年）表明，AMCW（基于正弦波的相关性，编码为相量）和频域光学相干断层扫描（OCT）（Huang等人，（1991）相似。这使他们能够使用OCT中研究得很好的方法来捕获瞬态光传输。这些技术的优点之一是它们不需要同步采样;正如作者所证明的那样，这允许使用任何传感器（包括传统的基于CMOS的相机），并且最终可能导致使用标准的低成本飞行时间传感器进行亚皮秒最后，Gupta et al. （2015 b）在基于相量的光传输模型上使用频率分析。作者证明，对于基于高频相关性的感测，漫互反射由于这种互反射的带限性质而消失。这使得他们能够通过捕获具有高频稀疏脉冲的直接光传输来避免多径干扰问题，而较低的调制频率用于捕获间接传输（图11）。6）。3.3. 空间编码捕获第三种方法涉及空间光编码，与捕获期间的时间调制相耦合。这些策略允许分析（分解）场景中的光传输，而无需明确知道其时间轮廓。 Naik等人 2015年，开发了当使用高频空间照明图案时，直接照明和间接照明之间的关系他们利用了Nayar等人的工作。 （2006）来解耦这两个分量，显著地改善了距离成像。然而，这项工作需要一个外部投影仪来执行分离。为了克服这个问题，Whyte等人（2015）推导出一个理论框架，使用相位和振幅执行空间调制分离他们还获得了一组最佳的投影空间模式。同样基于空间调制，O'Toole等人（2014）使用光传输的光学探测（O'Toole等人， 2012），其不仅允许直接-间接分离，而且还分解间接传输的高频和低频。3.4. 讨论分析瞬态光传输是产生实际应用的关键一步。利用原始域中的稀疏性是一种常见的灵活方法。然而，尽管K-稀疏模型具有物理意义，但对于漫互反射，包括体积散射和次表面散射，它们变得不实用为了克服这一点，基于经验观察的唯象模型已经开发出来，并显示出压缩分解提供了一个很好的基础另一方面，从原始域到傅立叶域有助于扩展潜在分析的范围，允许更有原则的分解，或使用来自成熟领域的工具（例如，逆傅立叶变换或基于频率OCT）。这有助于减少对启发式基础来表示光传输的需要。有趣的是，一些其他工作遵循不同的方法，利用空间光调制与时间调制，导致非常鲁棒的光传输分解，代价是捕获期间的额外努力和机械72A. Jarabo et al. / Visual Informatics 1（2017）65===图7.第一次会议。（a）使用ToF传感器的距离成像，其中发射的调制辐射的相位延迟编码光飞行时间。该公式适用于直接反射，但当来自多个路径的光被集成在传感器中时会出现问题，如在存在镜面反射（b）或透射（c）的情况下发生的那样由于介质中的散射（d）或朗伯漫互反射（e），在存在漫传输的情况下，这个问题变得更加复杂图片来源：Bhandari et al. （2014年b）。4. 应用瞬态数据提供的时间分辨率在应用方面开辟了丰富的可能性。长期存在的视觉和图形问题，如存在相互反射或光分量分离的深度恢复，根据这一新数据重新受到关注（Raskar和Davis，2008）。在这里，我们深入研究了在图形和视觉领域中从瞬态成像中受益最多的领域，但应用扩展到医学成像，监控或大气科学等领域。4.1. 几何重建瞬变成像最普遍的应用是从场景中重新描述深度信息。最近，超快瞬态数据已经打开了不仅恢复深度而且恢复全部几何信息的大门，即，包括非视线区域（由于遮挡或存在稠密介质）。这需要能够放弃光在到达相机之前只反弹一次的假设;有效地，这意味着能够分离不同光线所遵循的路径，即解决多径干扰问题。虽然存在关于经由ToF的传统距离成像的大量工作（Hansard等人，2012年; Remondino和Stoppa，2013年），我们把重点放在最近的方法利用超快数据。读者还可以参考关于ToF成像的专门教程（Kolb等人，2010; Gupta等人，2015年a）。4.1.1. 范围成像距离成像，即从场景获得深度信息，传统上已经通过两种不同的方法实现：基于场景3的多个视点并获得它们之间的对应关系的方法，以及基于飞行时间的方法ToF传感器背后的原理已经在上面解释过（请参考第2.3节的详细描述），并且从该时间数据计算深度信息（即到相机的距离d）在概念上与应用d v t一样简单，其中t是光在介质中的速度vc n（其中c是真空中的光速）下行进距离d所花费的时间。 更具体地，在常用的AMCW相机中，测量的是调制包络中的 相移θ （ 以 及幅 度） ， 从该相移θ可 以获 得距 离为（Dorrington等人，2011; Kadambi等人，2015年）：dvθ，（12）4πfωR其中f ωR 是调制信号的频率。例如，现代Kinect传感器采用这种技术，获得深度信息（Bamji等人，2015年）。ToF相机允许获得场景的相对低分辨率的深度图像不过，3依赖于一个相机和一个投影仪的结构光方法可以被认为是这些方法的子集（Gupta等人， 2012年）。与先前的基于扫描的（LIDAR）技术（其测量激光束到一点的飞行时间）相比，它们提供了很大的优势，捕获速度在每秒数百帧的数量级。传统ToF技术用于距离成像的主要障碍是光在到达相机之前只反弹一次虽然这在某些场景中可能是真的，但在许多其他情况下，特别是在存在凹面（例如房间的角落）、纯镜面物体和散射介质（雾、组织等）的情况这不再成立，传统的深度恢复方法失败了（见图11）。 7）。我们在4.1.2节中介绍了为解决这个问题而开发的技术。获得瞬态数据的其他手段，例如直接成像器，也已被应用于深度信息的恢复同样，如果对每个点的假设是到达相机的光只反弹一次，那么重建深度是微不足道的因此，在直接成像器领域中的现有工作的焦点一直是重建被遮挡的几何形状。我们将在第4.1.3节中介绍这些工程。4.1.2. 多径干扰（MPI）问题MPI问题对于大多数瞬态成像设备是常见的，特别是在具有长曝光时间的那些设备中：例如，在基于门控的LIDAR系统的背景下（第2.1节），其中调制的传感器响应（Laurenzis等人， 2007;Laurenzis和Woiselle，2014）用于稳健地获取深度。然而，在ToF相机中，问题更加明显。解决ToF相机中的MPI问题的一些早期方法以相机内光散射为目标（Kavli等人，2008; Schäfer等人，2014年）; 其他目标也间接照明，但需要在场景中放置标签（Falie，2009年），或对场景特征进行严格假设（Jamtsho和Lichti，2010年）。要从信号处理的角度深入讨论MPI问题，我们建议读者参考Bhandari和Raskar（2016）最近的一篇文章。本节讨论的技术的比较总结见表2。Fuchs（2010）的工作提供了一个MPI模型，用于所有分散注意力的表面都是朗伯表面的情况，基于在估计的深度图上显式计算间接照明并迭代校正它。 后续工作旨在针对问题根源的更一般的解决方案：当存在多个返回时分离各个