可变环形光成像：瞬态次表面散射的捕获

可变环形光成像：瞬态次表面散射的捕获普通相机西野光1、 3、Art Subpa-asa2、浅野裕太2、岛野美穗子3、佐藤今治31京都大学2东京工业3国家信息学kon@i.kyoto-u.ac.jp，{art.s.aa，asano.y.ac}@m.titech.ac.jp，@nii.ac.jp抽象。次表面散射在确定真实世界表面的外观中起着重要作用。穿透到地下的光线反复地被沿在从外部界面重新出现之前，它的路径，这决定了它的光谱辐射。我们介绍了一种新的成像方法，该方法能够将正面平行的真实世界表面的外观分解为具有有限路径长度的光的图像，即，瞬态次表面光传输我们的关键思想是在可变的环形光下观察每个表面点：以其为中心的半径逐渐增大的圆形照明图案。我们表明，在这些观测中捕获的光的路径长度自然是下界的环光半径。通过采取不同的环形光图像的半径逐渐增大，我们计算瞬态图像编码的光有界的路径长度。在合成和复杂的真实世界表面上的实验结果表明，恢复的瞬态图像揭示了一般半透明非均匀表面的子表面结构。我们进一步表明，它们的差异揭示了在不同的表面深度的表面颜色。所提出的方法是第一个能够使用普通相机和照明从稳态外部外观揭开密集和连续的地下结构。1介绍表面下散射，即表面内部靠近其外部界面的光传输，对真实世界表面的外观具有显著影响。一旦入射光穿透到子表面中，它就从粒子（例如，颜料）在培养基中多次。除了表面介质本身的吸收之外，这些反弹中的每一个都会引起吸收和散射，从而导致从界面重新出现的光的独特颜色和方向2K. Nishino等人泛光照明（参考）中心点可变环光图像过渡图像图1：我们提出了一种成像方法，该方法能够将次表面散射的外观分解为具有有限路径长度的光的图像集合，并且按比例地具有表面内的粒子的有限数量的反弹，即，表面的瞬态光传输。这些瞬态图像共同揭示了表面的内部结构和颜色。光传播的时间越长，它经历的反弹就越多。如果我们可以将次表面散射表面的外观分解成一组图像，其中每个图像捕获已经行进有限距离范围的光（即，路径长度）或概率成比例地有限数量的表面中的粒子的反弹，结果将告诉我们大量关于外部界面下方的成像路径长度或反弹分解光已被研究，主要用于作为场景范围的全局光传输分析的一部分的相互反射次表面散射与相互反射不同，因为它涉及表面内部的光传输，并且由统计分布的颗粒而不是大得多的3D场景几何形状控制。正如我们在SEC中所看到的。2、过去的方法从根本上依赖于频率和几何特征，这些特征是互反射所特有的，并且不能应用于分解地下散射。本文介绍了第一种方法的次表面散射分解，恢复的路径长度（和比例反弹）依赖的光，弥补了现实世界的半透明表面的外观。我们的关键con-pronunciations在于使用一个自然的下界上的最短路径长度定义的外部接口的表面。当被照亮并从顶部正射观察时，表面限定半空间，并且在离入射点的距离r处观察到的入射在单个表面点处的光的最短路径长度（称为脉冲照明）自然将是r。我们利用这个下限的光路长度观察相同的表面点，同时改变脉冲照明的距离。相反为了在任意点处使用脉冲照明，我们在每个表面点周围使用半径为r的环形光，即，在表面距离r处的所有表面点用脉冲照明来照明。我们获得可变的环光图像，其中每个编码的外观与不同半径的我们表明，采取的差异，两个环光图像可变环形光成像3略微不同的半径限定了在每个表面点处观察到的光路长度。换句话说，从作为可变环光图像捕获的稳态外观，我们计算具有不同程度的次表面散射的表面外观也就是说，次表面光传输的瞬态图像。我们还显示了经验证据的基础上模拟和解析近似的路径长度有界的瞬态图像也可以被解释为近似和成比例的有界n-反弹图像的表面。我们通过捕获N个脉冲照明图像来实现可变环形光成像，其中N是表面点的数量（即，观察图像区域中的投影仪像素）。如图1的方法，然后综合计算可变环形光图像和瞬态图像的差值。我们展示了广泛的实验结果，应用可变环光成像合成和现实世界的复杂表面。结果表明，该方法成功地分解了次表面散射，并表明恢复的瞬态图像揭示了一般非均匀表面的内表面结构，包括其颜色变化以及横向和沿深度的配置。我们进一步表明，瞬态图像的差异揭示了在不同深度的表面的颜色。我们的方法很简单，只需要一个普通的投影仪和相机。最重要的是，它是无模型的，对表面下的光传输没有限制性的假设。据我们所知，所提出的方法是第一个能够使用普通成像部件从外部观察稳态外观来密集恢复内表面结构的连续变化。可变环光成像补充过去的瞬态成像方法，特别是那些反弹分解的场景范围内的全球光传输，通过提供一个前所未有的手段破译次表面散射，从而在视觉上探测内在的表面结构。我们相信，该方法开辟了新的途径，更丰富的辐射理解现实世界的场景和材料。2相关工作最近，已经提出了许多方法来捕获真实世界场景的瞬态光传输。这些瞬态成像方法中的许多方法利用飞行时间或皮秒至飞秒范围内的超快相机直接对时间光传输进行采样[3，5，11，21，20]，这使得能够分离包括反射和相互反射的大规模光传输事件然而，不清楚这样的时间采样可以如何应用于解开次表面散射，其中光相互作用以小得多的尺度发生并且不能从外部视图公开访问。其它方法利用普通或适度高速相机和可编程照明（例如，投影仪）来控制光传输本身以捕获其不同的分量。Seitz等人[17]恢复具有对所观察的图像的“在一个或多个操作上执行反射扫描”的重复执行的图像的图像的n次反射图像。在此，反弹被定义为光与光之间的相互作用。4K. Nishino等人场景几何，而不是我们感兴趣的表面上的微小粒子。该方法特别需要漫互反射，使得光传输矩阵是满秩的，并且可以被反转以构建抵消算子。对于次表面散射，从外部观察和照明的光传输对于完全均匀的表面将是秩不足的或更糟的秩一为此，逆光传输理论[17，1]不适用于次表面散射。Nayar等人[9]介绍了使用空间高频照明模式来解耦场景中的光的1次反弹和2次及更高反弹，这分别被称为直接光传输和全局光传输。该方法依赖于以下事实：第一光反弹基本上是角空间中的脉冲函数，导致全频率光传输，并且其余的场景范围的光反弹具有相对较低的频率。这对于直接反射和其他光传输分量（包括漫内反射和表面下散射）通常是正确的。然而，该方法只能将第一次反弹（直接）与其余反弹分离，并且不能进一步将子表面散射或间反射分解成它们的分量。虽然各种后续技术扩展了原始的高频照明方法[18，6，2]，例如，将全局光传输分解为空间近距离和远距离分量[15]，但它们都受到可分离分量的这种基频要求的限制，并且不能应用于分解表面下散射。O‘TOOL E ET AL。 [14，13]在照明和图像捕获的基础上，使用调制器的ID来实现光传输矩阵的选择性探测在同轴成像设置中，其后来被扩展以利用非同轴系统中的对极几何学用于实时直接-间接成像[12]，并且进一步与滚动快门组合以提高效率[10]。我们的目标是将间接光分解成基于路径长度（和比例数）的成分反射），并且原始-对偶成像不能用于此，因为每个反射的强度太低而不能用像素掩模探测。最重要的是，次表面散射不服从几何两视图约束巧妙地利用这些方法。类似地，高频时间光传输采样只能将次表面散射作为一个整体分离而不能将其进一步分解[21]。当根据[12]的分类进行观察时，我们的新型成像方法可以被视为应用于次表面散射的连续同轴“远程间接成像”。关键思想在于改变它的“范围”，并通过调整它的差异来找到它。最近的一些工作涉及次表面散射的光输运分析。Mukaigawa等人[7]通过直接观察在其顶部界面上用高频照明照射的表面的侧切片来实现次表面散射的n-反弹成像从观测值递归地估计解析散射模型的参数以计算n次反弹散射。该方法需要对表面进行物理切片以获得实际光传播深度的视图，并且仅限于特定的分析散射模型。因此，该方法不能应用于一般表面，包括可变环形光成像5甚至是由未知材料制成的同质材料。我们的方法也不假设成像设置不需要对感兴趣的表面进行任何修改，并且它是无模型的，从而使应用程序能够应用于任意表面。Tanaka等人[19]提出了一种方法，用于将从上面看到的表面的外观分解为不同深度的几个层。用不同间距的高频照明捕获表面，然后用对应于每个深度的已知内核对其直接分量图像[9]进行去模糊然而，用外部光源捕获的次表面光传输不能用他们使用的辐射传输模型来表示[8]，该模型不考虑入射光的散射。此外，深度相关的表面下散射的出现既不会导致独特的纹理图案，也不是其分量频率不同，足以解开与高频照明。最近，Redo-Sanchez et al.[16]证明了使用太赫兹时域光谱的亚皮秒成像的类似离散层提取。相比之下，我们的方法是无模型的，并且不假设表面下光传输的任何频率特性，并且具体地旨在利用普通相机-投影仪成像设置分解跨表面范围和沿着其深度的连续外观变化漫射光学层析成像暂时通过散射体积对透射光进行采样，而我们的方法通过平面上的空间微分来限制光路长度，这使得它们在应用和方法上都是互补的。我们的方法，第一次尽我们所知，提供了访问瞬态光传输的次表面散射。所得到的有界路径长度图像或成比例地近似的n次反弹图像将可能在广泛的应用中找到用途。正如我们所展示的，它们揭示了复杂的内部亚表面结构，包括它们的颜色，并为现实世界的表面外观理解提供了新的手段。3可变环形光成像在本节中，我们描述了我们的新成像方法的直觉和理论基础。3.1预赛微观尺度的表面，即，比图像像素小但比波长大入射光线在穿透外部界面之后在介质中直线行进，并且每次它撞击悬浮颗粒时，它被散射，直到最终从界面重新出现。这些反弹中的每一个导致光线改变其方向，同时其能量的一部分被吸收。介质和粒子的吸收程度在波长上不同，导致光线根据其行进路径积累独特的颜色。的外观6K. Nishino等人表面点由在表面下经历了不同次数的反射的光线组成。由于这种次表面散射，光在表面内以Z字形路径行进。结果，光线的表面距离，即，在表面上在其入口和出口点之间的欧几里得距离与其光路长度不同，光路长度是光线在表面内行进的实际几何距离。注意，光路长度是光路长度和介质的折射入射光可以在界面正下方直接行进，或者它可以在从界面重新出现之前穿过表面行进很深。我们考虑由正交照相机和彼此共线并且都垂直于感兴趣的表面的定向光以下理论讨论对于非平行视线和照明是有效的，并且在实践中，相机和光源可以相对于表面倾斜，因为它们将仅缩放对应于每个瞬态图像的路径长度范围然而，为了理论和实践的简单性，我们将假设共线和垂直成像设置。假设感兴趣的表面是平坦的，以安全地忽略其外部界面处的相互反射。非平坦表面的表面距离将是测地线距离，其减少到平坦表面的几何距离。值得注意的是，在本文中，我们的重点是现实世界的表面表现出次表面散射。路径长度下限不一定适用于没有定义半空间的表面的一般散射，例如烟雾和一般场景相互反射。3.2脉冲次表面散射让我们考虑照射对应于图像中的单个像素的表面点的定向光源。我们称之为脉冲照明[17]。在实践中，通过校准投影仪像素和图像像素之间的对应关系来实现脉冲照明，并且我们使用的最佳分辨率通常是投影仪像素（在我们稍后的实际实验中，其大致等于4个图像像素）。图2a描绘了表面内的次表面散射辐射率分布的等照度线。在距离r处的表面点的辐射率（我们用E（r）表示）与脉冲照明点的距离是在表面距离r处从界面重新出现之前穿过表面的每个光线的辐射率的总和（用L（·）表示）。我们将不考虑每一条单独的光线，而是通过其路径长度来区分每一条光 线 |ℓ|：ΣE（r）=|∈ L（r）|∈L (r)L（|塞吉|），（1）其中L（r）是我们在表面距离r处观察到的光线的路径长度的集合，L（r）={|塞吉|：|中文（简体）|=r}。（二）可变环形光成像7|Π（i）|=r塞吉(a)(b)（c）第（1）款图2：（a）次表面散射的等像线。(b)表面下散射的表面外观由已经行进各种路径长度的光线组成，所述路径长度自然地由入射点和观察点之间的表面距离界定。(c)用可变环形光照射表面，以不同半径的表面感兴趣点为中心的圆形脉冲照射，并取它们的差异，使我们能够限制在每个表面点处观察到的光的路径长度这里，Π（）是返回光线的入射表面点和出射表面点的算子，|Π（）|是光线传播的表面距离，尽管没有明确表示，该组仅包括其路径包含在由表面限定的半空间换句话说，如图。如图2b所示，光线集L（r）由进入表面并从距入口距离r的表面点离开的那些光线组成。我们假设脉冲光源是单位辐射率，并且相机被校准用于线性辐射率捕获。我们现在准备陈述次表面散射的关键观测结果：min L（r）≥r。（三）这一观察的证明是微不足道的;表面上两点之间的最短路径是它们之间的测地线，对于我们的平坦表面，我们已经将其定义为表面距离r，并且所观察到的光不可能行进更短的距离以从表面重新出现。我们重写Eq。2使此属性显式：L（r）={|塞吉|：|塞吉|≥r，|中文（简体）|=r}。（四）3.3环形光亚表面散射给定光路长度的下限，利用脉冲照明对表面点的观察将可能让我们提取有界路径长度的光（即，瞬态光）。在我们讨论如何准确地实现第二节中的瞬态图像计算之前。3.4，让我们首先解决使用脉冲照明的基本问题。由于两个原因，使用单脉冲照明是低效的。首先，次表面散射的辐射率随光路长度呈指数衰减，并且从脉冲次表面散射计算的瞬态光将具有低保真度。其次，这些瞬态光的光路，特别是对于非均匀表面，将是不同的8K. Nishino等人这取决于距离r处的哪个表面点用于脉冲照明。保留这种次表面散射的方向性对于一些表面可能是感兴趣的，但是以高保真度实现这一点是具有挑战性的，并且超出了我们当前工作的范围。我们解决了这些低效率与一个特殊的光源观察配置，我们称之为可变环光。如图所示在图2c中，考虑脉冲照射距感兴趣的表面点距离r处的所有表面点。然后，观察到的表面点的归一化辐射率可以被写为由于每个脉冲照明体引起的所有辐射率值的线性组合（等式2）。第一章1ΣKE（r）=KK1ΣKE（rk）=KKΣ|∈ L（r k）|∈L (rk)L（|塞吉|），（5）其中K是脉冲光源点的数量（即，投影仪像素对应于位于如图1所示的距离r处的图像像素。2c右）。我们正在滥用概念E以通过表示归一化的环形光辐射率和未归一化的脉冲照明辐射率两者来避免混乱，但是由于对于所有k，rk=r，所以这种符号重写应该是直观的。环形光照明将SNR提高了K，其中K随着r的增大而增大。环形光次表面散射还有效地平均观察点的空间附近的所有可能的这导致对观察点周围的内部结构的更鲁棒的观察，因为它不依赖于入射脉冲照明的单个任意选择的点注意，除了环形灯的中心之外的任何点（即，观察点）将具有不同距离的叠加脉冲次表面散射我们只考虑中心点的辐射在实践中，我们虚拟地构建围绕每个表面点的不同半径的环形灯，如我们在第2节中所讨论的。4.第一章3.4来自环形光图像的让我们考虑用另一个半径稍大的环形光照射表面r+∆rL（r+∆r）={|塞吉|：|塞吉|≥r+∆r，|中文（简体）|=r+∆r}。（六）这两个集合中的光线的实际实例化Eq.图4和图6是不相交的，因为即使它们在相同的表面点处被观察到，入口点也略有不同。相反，让我们假设两个集合Eq.图4和图6对于路径长度大于r+∆r的L（r）∩ L（r + ∆r）≈ L（r + ∆r）。（七）这一关键假设意味着，在表面距离r处的脉冲照明下，在同一表面点处观察到的路径长度大于r+r的光线的辐射度与脉冲照明下的辐射度相同可变环形光成像9表面距离r + ∆r。换句话说，唯一的区别是由于两个集合上的下限，路径长度短于r+∆r的光线。该性质对于均匀表面完全成立，因为对于相同的路径长度，光线将累积相同的光谱辐射率，而不管它们的入射点从观察到的表面点。严格地说，对于给定的路径长度，光线经历的反弹次数将变化，但是统计地说（即，平均具有紧密方差），我们可以安全地假设这是真的。当Eq. 7成立，在相同表面点处但用半径稍微不同的环形光照射的归一化观测辐射率的差变为哪里E（r）−E（r+∆r）≈Σ|∈ L（r）\ L（r+ r）|∈L (r)\L(r+∆r)L（|Li|），（8）L（r）\L（r+∆r）={|塞吉|：r+∆r>|塞吉|≥r，|中文（简体）|=r}。（九）注意，\表示集合差。这意味着，如图。图1描绘了通过用半径递增的可变环形光照射每个表面点，然后将其组装成环形光图像，每个环形光图像的成像表面点编码给定环形光半径的辐射率，然后通过在半径增量上取它们的差，我们恢复具有有界路径长度的光的图像，即，次表面光传输的瞬态图像当表面在体积上不均匀时，即，由分布在空间和深度上的不同材料区域组成，等式图7中所示的方法不一定成立，因为两者之间的路径长度差可以包括附加材料区域中的次表面散射的积分然而，两次观测之间光程长度大于r+∆r的光的光谱辐射率的差异可以通过保持∆r足够小来最小化，即在深度或空间方向上充分小于不同物质区域的最小尺寸在这种情况下，有界路径长度的分辨率将小于不同的材料区域。换句话说，从环形光图像差异恢复的瞬态光传输的离散分辨率比表面体积的材料组成更结果，瞬态图像仍将捕获足够精细以揭示固有表面结构的重要次表面散射事件还重要的是要注意，较长路径长度的光的辐射率呈指数衰减，并且因此光的辐射率在较长路径长度的光的辐射率中是指数衰减的。在任何情况下，亮度差异通常都很小。图3示出了从可变环形光图像和两个合成非均匀表面的路径长度受限渲染计算的瞬态图像。每个瞬态图像在其亮度上被独立地归一化以显示其复杂的结构，否则它们对于较长的路径长度会指数地变暗我们使用Mitsuba渲染器渲染这些合成表面[4]。对于可变环形光成像，我们首先使用与指向每个像素中心的表面正交的理想化单射线光源来呈现脉冲照明图像通过重组这些脉冲照明图像，我们计算出环形光图像10K. Nishino等人表面侧视图可变环光瞬态图像路径长度受限渲染可变环光瞬态图像路径长度受限渲染图3：顶部：根据Mitsuba渲染的两个示例场景的合成环形光图像计算的瞬态图像[4]。底部：Mitsuba渲染的有界路径长度图像。环形光瞬态图像在视觉上匹配渲染的有界路径长度图像，除了从其理论预期的差异之外并且还源于渲染噪声和混叠（在红色珠子情况下围绕白色辉光的暗边缘）。并取相邻半径的环形光图像的差来计算瞬态图像。Mitsuba仅包括有限的反弹渲染，其中每个反弹发生在采样渲染节点处，而不是曲面中统计分布的粒子。为了实现路径长度受限的渲染与Mitsuba，我们修改了其双向路径跟踪积分器，以限制渲染中的光的最长路径长度。通过取上限路径长度光的这些图像的差，我们获得可以被认为是地面实况的有界路径长度图像。不幸的是，呈现次表面散射，特别是对于复杂的不均匀表面并且还具有对路径长度的限制，是具有挑战性的，因为它们需要几乎不现实的大量样本来适当地模拟它们的光传输。我们使用了262，144个样本进行路径限制渲染，这需要一天的时间来渲染，并且仍然受到过多噪音的影响为此，可变环形光成像结果也变得有噪声。结果表明，该方法是可行的。然而，图3仍然示出恢复的瞬态图像对于两个表面都很好地匹配路径长度受限的渲染。对于分层颜色表面，每个瞬态图像中的集成光颜色一致，并且对于具有浸没的红色珠的表面，来自珠的光传播（由于在其表面处的镜面反射而从红色珠扩展出的白光，随后是在珠内反弹之后从珠发出的红光4）在可变环形光和地面实况之间匹配。对于红珠表面存在小但明显的差异，其中来自路径受限渲染的前几个图像不示出完整的内部红珠，而可变环形光结果包括来自第一瞬态图像的整个红珠的光对于环形光图像，前几个环形光图像具有来自珠的红光，其对于较大半径（r+Δ r）贡献较小，因为珠是球形的，导致它们的差异中相比之下，红光将仅在前几个路径长度受限的渲染中逐渐除了该预期的差异和噪声之外，这些合成结果示出了可变环形光成像捕获瞬态次表面光传输。4路径长度有限渲染图中的白色辉光由于与暗噪波的对比而难以看到，但它们确实存在。表面侧视图可变环形光成像11如果表面是均匀的，其中散射体均匀地分布在表面体积中，则沿着路径的颗粒数量与光路长度成正比即使表面在其组成上是不均匀因此，我们可以有把握地假设，光线经历的平均反弹次数与路径长度成正比。结果，不同半径的两个环形光图像的辐射差异限制了光的平均反弹次数。然而，该界限是在平均值上，并且如果对于给定路径长度的光的反弹次数的方差大，则可变环形光图像将不能筛选出表面下散射的进展。然而，对于一般的真实世界表面，这种变化通常很小。在补充材料中，我们提供了基于环光观测的n-反弹光的辐射率的比率的Monte Carlo模拟的经验证据以及使用其解析近似的理论分析，其表明该方差确实是紧密的，并且我们可以安全地假设恢复的瞬态图像近似对应于有界n-反弹光。4实验结果除了图中的合成表面之外。3.通过观察真实物体表面的瞬态图像，我们实验验证了我们的可变环形光理论。4.1瞬态图像中的空间光传输我们使用USB摄像头（Point Grey Grasshopper3）和DLP投影仪（TIDLP Light Commander）实现可变环形光成像。的线通过将投影仪和摄像机放置在一起，使其足够远离目标表面，视线和投影的距离大致对准并垂直于目标表面。我们使用长焦镜头的摄像机和投影机，以实现正交投影和定向光。我们校准投影仪和摄像机以将每个投影仪像素与图像像素相关联。在我们的实验中，大约一个投影仪像素对应于一个2×2的图像像素区域。我们为每个投影仪像素捕获脉冲照明图像，并从这些图像计算可变的每个瞬态图像中的光的路径长度由可变环形光半径的厚度和间隔确定。环光越厚，观察到的辐射越亮，因此恢复的瞬态图像的保真度越好。然而，厚环形光直接复合路径长度上的界限（即，r将在Eq.第9段）。为此，我们将厚度设置为单个投影仪像素（例如，图2c）以确保路径长度上的清晰边界。不同的环形光半径Δ r之间的间距控制我们在一个瞬态图像中捕获的光路长度的我们还将其设置为一个投影仪像素，以恢复最高可能的路径长度分辨率。请注意，12K. Nishino等人泛光瞬态图像(a) 光在地下(b) 地下深度图4：瞬态图像，在其编码有界积分的像素中在表面下的光的相互作用，揭示了表面的体积组成和它们的颜色是不清楚的，从它的外部界面外观。瞬态图像的差异，即，可变环光图像的差异的差异，揭示了不同深度的表面颜色。对于非均匀表面，Δ r的条件与方程可以通过确保该单个投影仪像素充分小于最精细的材料区域来控制我们讨论的投影仪像素7这可以通过改变投影仪与表面的距离来实现。如图如图4a所示，对于空间不均匀的表面下结构，随着对应的环形光半径增加，恢复的瞬态图像捕获光的感兴趣的空间传播。对于这些结果和所有其他结果，每个瞬态图像的亮度被独立地归一化，以独立于较长路径长度的光的减小的辐射率来可视化细节。结果显示，对于插入白色塑料粘土中的红色半透明珠，白光的同心传播镜面反射离开红色珠，然后红光从珠发光出来，并且对于嵌入粉红色聚合物中的星形塑料，星形光发出并相互反射，随着路径长度增加产生花瓣状这些地下结构从外表面看不清楚，如在普通室内光线下拍摄的最左侧图像所示。4.2瞬态图像当表面具有跨其深度变化的地下结构时，所恢复的瞬态图像将提供其连续深度变化的外观样本此外，由于有界路径长度，光直接编码光。可变环形光成像13泛光瞬态图像图5：可变环形光成像在其恢复的瞬态图像中揭示了复杂的固有表面结构，其中已经行进得更深和更长的光被更大半径的环形光捕获。对于皮肤，皱纹淡出，皮肤的更深的红色出现，并且动脉变得突出，并且对于大理石吊坠，随着半径的增加，出现不同颜色区域的空间范围通过计算沿其路径的累积颜色，每个瞬态图像将揭示沿深度的综合颜色变化瞬态光的这种光谱积分换句话说，通过获取可变环形光图像的差异的差异，我们能够重建不同深度处的地下的颜色。图图4b示出了瞬态图像和从由深度上的各种颜色层制成的表面的差异恢复的色度值瞬态图像的色度轨迹揭示了次表面散射的光谱积分。我们手动选择了三个等间距的瞬态图像，使它们中的每一个都可能对应于每个层深度的光路长度，并计算每个图像的平均色度，然后计算它们的差异，以恢复每个深度的颜色最右列中所示的恢复的颜色请注意，这些颜色变化无法从简单的外部观察获得，更糟糕的是，相同的外表面颜色可能由地下的无限颜色组合组成。4.3复杂实曲面图图1和图5示出了具有复杂地下结构和包括自然物体的颜色组成的真实表面的恢复的瞬态图像。每个示例的瞬态图像揭示了两个示例中的地下组成。14K. Nishino等人泛光灯照明图6：具有并行脉冲照明捕获的整个对象的可变环形光成像每个瞬态图像的宽度约为800个像素。其体积结构以及其颜色变化，否则从外表面是不可见的。注意无色的表面反射和早期散射以及复杂的体积传播和更丰富的颜色的较长路径长度的光在较大半径的瞬态图像补充材料包含更多的结果和瞬态图像的电影。我们目前的可变环形光成像的实现在速度上是次优的，因为它需要脉冲照明捕获。注意，HDR捕获显著增加了图像捕获时间。这将我们限制在合理计算时间的64×64瞬态大约一个小时用于所有图像捕获和计算）。对于较大表面区域的高分辨率图像捕获，我们可以利用远距离处的表面点的平行脉冲照明捕获来加速成像，但是通过限制最大环形光半径来避免意外地从同时照明的点拾取光。图6示出了用于高分辨率的大对象区域的可变环形光成像的示例结果在未来的工作中，我们计划从根本上加快我们的实施相结合的空间和动态范围复用与环形光成像。5结论在本文中，我们介绍了可变的环形光成像解纠缠次表面散射光到不同的有界的路径长度，并按比例反弹的数量，从外部的观察。该方法不假设任何限制性的分析散射模型，可以应用于任意的现实世界的表面，表现出次表面散射。理论和实验验证证明了变环光成像揭示地下结构及其颜色的有效性我们相信，该方法具有显着的影响，表面的视觉探测和破译光传输更丰富的场景理解。我们计划在我们未来的工作中获得辐射和计算效率的实现。鸣 谢 本 研 究 部 分 得 到 了 JSPS KAKENHI 资 助 号 JP15K21742 、JP15H05918和JP17K20143的支持。过渡图像可变环形光成像15引用1. 白，J.，Chandraker，M.，Ng，T. T.，Ramamoorthi，R.：正反向光输运的对偶理论欧洲计算机视觉会议（2010）2. 顾，J.，Kobayashi，T.，Gupta，M.，Nayar，S.K.：在全局照明存在下用于场景恢复的多路复用照明IEEE International Conference on ComputerVision（2011）3. Heide，F.，Hullin，M.B.，Gregson，J.，Heidrich，W.：低预算瞬态成像，使用光子显微镜设备。ACMTransacti onsonGraphics32⑷，45：14. 雅各布，W.：Mitsuba：基于物理的渲染器0.5.0。http://www.mitsuba-renderer.org/（2014）5. Jarabo，A.，Masia，B.，Marco，J.，Gutierrez，D.：瞬变图像的最新进展：计算机图形和视频。VisualInformics1（1），65- 79（2017年3月6. Li，D.，Nair，A.S.，Nayar，S.K.，Zheng，C.：AirCode：用于数字制造的不显眼的物理标签在：ACM用户界面软件和技术研讨会（2017）7. Mukaigawa，Y.，Yagi，Y.，Raskar，R.：散射介质中的光输运分析。IEEEComputer Vision and Pattern Recognition（2010）8. Narasimhan，S.，Nayar，S.：阳光照在天气上。在：IEEE会议上，ComputerVisionandPatternRecognition。pp. 第6659. Nayar，S.K.，Krishnan，G.格罗斯伯格医学博士Raskar，R.：使用高频照明的场景的直接和全局分量的快速分离。ACM Trans.OnGraphics25（3），935- 944（2006年7月10. 你好，M Achar，S.， 我的天啊，S. G.， K utulakos，K. N. ：用于节能照明和成像的全息图编码。ACM Trans. on Graphics（SIG-GRAPH）34（4），35：1- 35：13（2015）11. 你 好 ， MHeide ， F. ， XiaoL. ， Hullin ， M. B 、 Heidrich ， W. ，Kutulakos，K. N. ：用于全球光传输的5D瞬态分析的时间频率探测。ACMTransacti onsonGraphics33⑷，87：112. 你好，M 妈妈，J.， K utulakos，K. N. ：3D图像和通过结构光传输的图像。IEEE计算机视觉与模式识别会议（2014）13. 你 好 ，M妈 妈，J.， K utulakos ，K. N. ：3D 图 像和由结构光传输（Structured Light Transport）接收的图像。IEEE Transactions on PatternAnalysis andMachineIntelligence38（7），12 98- 1312（2016）14. 你 好 ， MRaskar ， R. ，Kutulakos ， K.N.： Primal-DualCodingtoProbLightTransport. ACM Trans. on Graphics （ SIGGRAPH ）（2012）15. 雷迪，D. Ramamoorthi河Curless，B.：空间变化光照下光传输的频域分解与获取。欧洲计算机视觉会议（2012）16. Redo-Sanchez，A. Heshmat，B.，Aghasi，A.，Naqvi，S.，张，M.，Romberg，J.，Raskar，R.：太赫兹时间选通光谱成像用于通过分层结构的内容提取。自然通讯（2016）17. Seitz，S.M.，Matsushita，Y.，Kutulakos，K.N.：逆光传输理论Iin：IEEEInt18. Subpa-asa，A.，傅，Y.，郑宇，Amano，T.，Sato，I.：基于基表示的单图像直接全局分量分离In：Asian Con-fe-nceo nCom puterVisio n.pp. 9916K. Nishino等人19. 田中K. Mukaigawa，Y.，Kubo，H.，Matsushita，Y.，Yagi，Y.：利用多频照明恢复分层平移物体的内切片。IEEETransactionPatternAnalysisandMachineIntelligence39 （ 4 ） ， 746- 757（2017年4月）20. Velten ， A. ， 吴 ， D. ， Jarabo ， A. ， Masia ， B. ， Barsi ， C. 乔 希 角Lawson，E.，Bawendi，M.G.，Gutierrez，D. Raskar，R.：Femto摄影：捕获和可视化Light的过程。ACMTransacti o nso nGr a hi cs32（4），44：121. Wu，D. ，Velten，A.，你好，MMasiaB.Agr awal，A.， Dai，Q.，Raskar ， R. 使 用 飞 行 时 间 成 像 分 解 全 球 光 传 输 。 InternationalJournalofComputerVision107，123- 138（2014）