阴影估计高频照明：从相机视角恢复对象表面形状和入射光

2593作为相机的对象：从阴影估计高频照明Tristan Swedish、Connor Henley和Ramesh Raskar麻省理工Cambridge，MA，02139，USA{tswedish，co24401，raskar}@ mit.edu摘要我们恢复高频信息编码的阴影投下的对象，以估计一个半球形pho- tograph从对象的观点，有效地把- ING对象到相机。估计环境贴图对于高级图像编辑任务（如重新照明、对象插入或删除以及材质参数估计）非常有用。 因为该问题是不适定的，所以照明恢复中的最近工作已经解决了用于对象插入的低频照明的问题，依赖于镜面材料，或者利用在没有物理上合理的约束的情况下易受幻觉影响的数据驱动方法。 我们采用了一个优化方案来更新场景参数，可以使实际捕获的现实世界的场景。此外，我们开发了一种方法，用于评估不同类型和形状的对象的预期恢复1. 介绍考虑一个小物体坐在你客厅的桌子上。对象由来自所有方向的光源照亮，这包括直接光源（如太阳或顶灯），也包括间接光源（如通过窗户散射阳光的室外树叶）物体的外观和物体搁置在其上的表面由入射光照与物体和桌子的几何形状和材料性质之间的复杂相互作用产生。在本文中，我们问的问题-如果几何形状和材料属性的观察场景是已知的，我们如何以及可以重建的事件照明模式？如果我们假设照明源相对于观察到的物体的尺寸是远通过使用我们的图1. (Top)观察一个小的兔子形状的物体（左上角）周围的区域，我们能恢复只有从兔子的角度才能看到的被（底部）给定物体的表面几何形状（左下），我们估计入射照度，并且在一些情况下，估计物体周围表面的未知漫射反照率为了准确地估计入射到物体上的照明，我们有效地将物体变成照相机。在本文中，我们主要利用阴影投射到附近的表面上的对象。当从单个方向照亮对象时，投射阴影特别容易解释。例如，人们可以通过观察日晷立即确定太阳的位置。估计从所有方向同时入射的照明更具挑战性，并且是线性但不适定的逆问题。2594现有方法通常限于受控捕获方法。一些依赖于对象的阴影或镜面高光，因此需要双向反射分布函数（BRDF）或精确的表面法线信息。我们的方法依赖于投射阴影，只需要物体的形状和阴影表面的形状和反照率。以前使用投射阴影的作品我们的目标是在适用于大多数自然对象和场景的一般框架中支持复杂的3D对象。我们需要可见场景表面的部分重建我们的估计，队友进行联合优化场景参数，使用这一部分的意见，以近似的光线传输矩阵。一旦我们估计了射线传输矩阵，进一步的估计只需要场景的一张照片。1.1. 贡献• 从对象阴影中恢复高频环境贴图，不需要特殊设置、镜面反射对象或低频假设• 提出了一种实用的技术，用于从有限的部分视点• 演示一个策略，解决反问题“在野外”的一个场景与未知的表面材料，• 检查射线传输矩阵的结构，以确定重建的可行区域并评估对象相机性能2. 相关工作2.1. 入射光照估计环境地图估计技术通常需要特定的捕获设置[13]，或寻求对下游任务有用的近似[21，44]。Sato等人[34]是最早定义漫射表面上物体阴影近似照明问题的后来的工作强调使用来自一些明亮光源的尖锐阴影边界用于混合现实应用或重新照明，[17，26，14，46]而不是扩展光源。其他方法包括使用自定义探头来恢复对场景着色有用的照明[8，7]。最近，Jiddi等人[18]演示了使用镜面路径和阴影信息的照明镜面反射路径是用于估计可能“在野外”的入射光照[16，31]数据驱动技术已用于估计对象数据库的入射照明[43]。大型数据集已被用于训练深度神经网络，以预测自然场景中的入射照明[15，23]，用于增强现实应用或学习肖像重新照明的照明[24]。已使用RGBD图像[5]和照片[15]证明了空间变化的照明估计，但这些模型不具有物理合理性。我们的工作建立在现有的方法，从阴影中估计照明，特别关注任意的照明条件，如扩展源，和未知的反照率的场景。2.2. 逆渲染最近，已经提出了几种数据驱动的方法来直接学习参考照片和场景参数之间的映射[32] [2，9这些学习的映射通常包含一个可微渲染模块，作为训练过程中的条件反射[2，9，19，40]。体积场景表示已经被提出用于空间变化的照明估计[38]。类似地，隐式神经表示已经显示出逆渲染任务的令人印象深刻的结果[28，37]，但是估计了材料反射率和照明的非混合产物。最近，已经开发了用于渲染网格参数化几何体的可微路径跟踪的实际实现[25]，以及利用现代自微分技术的重新建模[30，27]。去渲染的演示通常用于重新照明或3D重建任务，并且不太关注“类似图像”的2.3. 闭塞辅助成像早期基于遮挡的非视线（NLoS）方法利用特定场景特征，例如附带摄像机或pinspeck [11，42]。最近，针对基于飞行时间的方法[33]、基于强度的NLoS中的盲去卷积[29，35，45，41]以及光场的再现[4]提出了一些不同的捕获方法。重要的是，这些作品已经显示了从校准的平面表面的重建。已经提出使用深度图像先验来近似光线传递矩阵[1]，但是假设平面隐藏场景并且没有研究现实的高动态范围隐藏场景。Bouman和Seidel [6，36]各自演示了平坦边缘处的光的遮挡如何能够重建隐藏在角落周围的场景的1D投影视图。其他方法已经利用有源源来照亮隐藏对象[20，39，10]。视觉反投影[3]2595Ⓢ×Ⓢ2×××是从1D投影估计2D场景的基于学习的方法，并且像其他基于学习的方法一样，限于特定的场景设置，并且尚未显示出对新颖和多样化的场景起作用。我们的方法支持使用任意形状的对象，并且不需要平面或一维掩模或平面的，校准的中继表面。3. 对象相机透视照相机分离穿过空间中特定点的光线的辐射针孔相机在我们提出的设置中，选定的对象形成相机给定这个物体的图像和它投射的阴影，我们希望3.1. 逆绘制问题逆渲染是一种合成分析方法，其中我们优化前向光传输模型的参数，直到渲染图像与测量图像非常相似。通常，逆渲染问题是极不适定的：存在不同场景参数的一些组合，其呈现看起来非常相似的图像。因此，需要先验或附加图像形式的附加信息来解决模糊性。为了说明这个问题，考虑一个场景，一个平面上有一个单一的物体，它具有任意的反射率和漫反射率。我们的目标是从对象的角度重建图像，由从对象的中心延伸到一个distant半球的射线集表示。如果我们只考虑直接照明，从场景点观察到的辐射率x可以写为：图2.给定一个已知的表面几何形状和阴影表面反照率，我们估计环境地图照明使用一个单一的观察到的图像，通过求解方程。3 .第三章。为了更容易查看，使用具有裁剪的伽马校正（γ=2. 2，图像归一化使得太阳被裁剪）。映射，y是对应图像的像素，我们可以将上述等式写成矩阵形式，其中y=diag（ρ）（VC）x=Ax，（2）其中ρ是漫反射率的M1 矢量，V是漫反射率的M1M N矩阵，C是余弦因子的M N并且x是未知照明辐射率的N1结合因子，我们得到由矩阵A表示的线性方程组，其中A=diag（ρ）（VC）。因此，我们可以通过最小化均方误差来求解环境映射x：||Ax-y||二、Lo（x，ωo）=ρ（x）ΩV（x，ωi）Li（ωi）（ωi·n）dωi，（1）3.2. 求解入射照明方法概述而不是像等式中那样为每个场景显式地分解矩阵。2、我们利用其中L。是由相机在表面处观察到的辐射率。表面法线为n的面位置x，ρ是空间变化的漫射反照率，V是从表面点x看到的由ωi参数化的周围半球的可见度，并且Li是来自周围半球的每个入射射线的辐射率我们注意到，L1从物体的视角形成入射照明的图像我们假设照明半球足够远，我们只需要知道ωi。该照明模型通常被称为环境图。如果ρ和V是已知的，则求解Li是线性逆问题。具体地，如果我们离散化这些空间变化函数，其中入射照明矢量x对应于在环境上采样的照明方向现代渲染框架来表示模型矩阵A的更复杂的结构。 由于我们使用环境图对入射照明进行建模，因此我们可以通过在离散化环境图中为每个照明源渲染图像来生成A的行我们的逆渲染问题由两个步骤组成1. 使用估计的场景参数2. 通过求解相应的线性方程组来我们在步骤1估计的场景参数是相机外部参数、场景表面网格和漫反射。∫25962 22ρ22地表反照率这些参数可以是先验已知的，或者使用诸如摄影测量的一些其他3D重建方法来获得。对于L个观察到的图像，y_l，以及相关联的环境图，x_l。因此，我们最小化以下目标：渲染光线传输矩阵Mitsuba 2 [30，27]路径跟踪器，用于渲染射线传输argminΣ||diag（A′xl）ρ − yl||2 + λ p||Gρ||2L矩阵A矩阵中的每一列都与一个输入相关联，我们的环境贴图中的单个像素，并且由仅当单个环境贴图像素被点亮时渲染的图像组成。渲染的图像是A的列：Ai=f θ（xi），其中xi[i]= 1，并且当i j时xi[j]=0。 fθ（x）表示给定场景参数θ的Mitsuba 2渲染管线。在我们的例子中，θ是表面几何网格数据和uv纹理贴图，具有相应的漫反射率或其他材质参数。我们将x映射到环境贴图发射器使用的纹理数据，其中图像像素对应于球坐标中的纬度和经度。照明和反照率的联合求解已知表面几何和材料参数，我们可以求解入射照明。我们将照明恢复问题写为线性系统的解，其中模型矩阵A的行由每个分量（例如，A）的渲染图像组成。（一）关于illu-模型因为ATA不一定是好的S.T.0ρ彡1，<其中G是线性逆算子：G=（A′TA′+λ rI）−1A′T。这类似于[36]中使用的正则化项，并且不鼓励可以容易地进行的反照率估计使用光线传输矩阵重建的图像，例如投射阴影。在实践中，我们分别求解反照率项ρ和每个环境图xl我们使用阻尼牛顿法求解方程3和方程4方程3的无约束最小解，x*，满足线性方程，其中R=λsDTD+λrI：（A′Tdiag（ρ）2A′+R）x*=（ diag（ρ））A′）Ty（5）对于ρ*和方程4也是类似的：（λpGTG+λdiag（A′xl）2）ρ=ylλA′xl（6）LL在前面的描述中，我们添加了空间平滑和L2正则化，因此，我们的目标是尽量减少以下目标：等式5和6可以使用线性求解器有效地求解。 对于x*和ρ*，我们交替更新ρt+1和xt+1，直到使用阻尼牛顿步骤收敛，其中arg min||+λs|| DX||+ λ r|| X||x||22阻尼因子γ，在每个步骤之后应用投影H：X2S.T.x>=0，（三）ρt+1=H0，1（ρt+γ（ρ*−ρt））其中D是空间差分算子，λs，λrxt+1=H 0，∞（xt+γ（x*−xt））（7）是分别控制空间平滑性和L2正则化的正则化参数。通常，阴影表面的估计的反射率不可用或不够精确以获得良好的结果。我们发现，联合估计反照率和照明是必不可少的，使我们的模型鲁棒性差的初始化网格反照率，由于偶尔的文物在表面纹理摄影测量。 给定一个射线转移矩阵，A′，使用Mitsuba渲染有或没有一个现有的反照率纹理图，我们增强我们的前向模型使用每像素缩放因子作为漫反射率的代理A=diag（ρ）A′。正如[36]中所指出的，我们还观察到添加一个模拟漫射反照率残差的逐像素缩放项似乎使照明估计更鲁棒。因此，给定使用Mitsuba，A’渲染的光线传输矩阵，我们可以求解每像素缩放项。由于反照率项在变化的光照条件下是固定在某些情况下，写以下目标是有利的其中H是简单的裁剪算子，其中min≤Hmin，max（·）≤max。组合多个图像虽然这项工作评估来自单个相机姿势的数据，但我们的框架可以应用于P个相机姿势，每个姿势具有如下所述的L个多照明对于具有L个不同照明条件的静态相机，我们分别为每个x*lenviron-ment map求解ve更新反照率比例因子ρ仅需要一个解，一旦计算每个环境图Xl。多视点如果有P个视点，我们通过求解一个更大的方程组来找到x∈ P，通过堆叠与每个相机姿态相关联的光传输矩阵Ap，观察到的图像yp。我们估计一个单一的环境地图，同时将来自所有观点的信息。为了找到每个摄像机的ρp，使用yp，Ap的集合来分别求解每个ρp*（四）2597∼×∼图3.给定假设所有表面反照率为1而计算的射线传输矩阵，以及具有未知表面反照率或照明的3个图像，我们使用等式7中描述的更新过程来估计两者。示出了三种不同的纹理图，观察到的图像用全局照明渲染。4. 执行图像捕获对于我们所有的实验，我们捕获单个为了对准对象，我们使用摄影测量管道，包括结构从运动，网格生成和表面反照率估计。在我们的一些实际实验中，我们使用已知的几何条件。对于地面实况环境地图，我们拍摄了一个铬球，具有高动态范围（HDR）的曝光包围。渲染系统对于所有实验，我们在单个Nvidia RTX2080上执行渲染计算。光线传输矩阵之间的200-300秒（场景依赖），以渲染2048总图像与环境，ronment地图纹理大小为32 - 64。结果见图。3在CPU上运行的大约5次迭代（25秒/iter）中收敛。4.1. 合成结果真实HDR环境我们针对由白色平面表面支持的黑色反照率兔子用已知几何形状和反照率渲染光线传输矩阵。射线传输矩阵的每一行使用32位浮点数以每像素768个样本（spp）呈现。观察到的图像渲染与25.6k的spp使用免费提供的高动态范围（HDR）探头图像的真实环境。1.一、我们展示了在补充中具有更少的spp和更大的方差的渲染效果，以及添加噪声的分析。为了求解方程5，每个光线传输矩阵需要1https://hdrihaven.com大约500 MB的内存。我们发现，在使用英特尔至强Silver 4210 CPU和256GB RAM的机器上，重建需要几秒钟的时间如我们在图2中看到的，我们实现了HDR环境图的重建，其中合理地恢复了亮源的相对未知的反照率和照明条件在实际场景中，物体的表面反照率可能是未知的。我们可以通过联合恢复反照率和光照来克服对地表反照率的不良估计。在图3中，我们在明亮的移动照明源下分离了兔子的三个不同纹理版本我们的初始光线传输矩阵是使用全白反照率的兔子和阴影表面生成的。在初始化所有的环境映射时，我们应用公式7中的更新方案，其中γ=0。9，20次迭代。我们注意到，第一次更新很快就解决了这个问题，但在环境贴图开始收敛之前，它通常需要额外的迭代。虽然等式5和等式6都可以在一个步骤中求解，但是我们发现降低学习速率是有用的，使得投影算子可以在不将环境映射解折叠为全零的情况下强制约束失败案例我们发现，具有极端动态范围的HDR环境贴图可能会给重新构建带来挑战。在图2中，明亮的太阳与天空相比具有10000：1的辐射率。我们的方法试图估计HDR场景，但主要解决最亮的光源，忽略了场景中较暗区域的细节。2598∼图4.将已知形状的对象（兔子）放置在受控照明环境中。照明模式显示在放置在物体上方的LCD显示器上，并且相机观察物体投射到平面上的阴影。从这个单一的图像中，我们产生由对象看到的照明图案的估计。铬球用于收集每个测试图案的对象位置中的地面实况数据当环境地图被裁剪，产生低动态范围（LDR）场景（仅在模拟中可能），我们的方法能够恢复更精细的细节。虽然我们在这项工作中没有进一步研究，但鼓励恢复较暗区域是具有挑战性的，因为添加到前向模型输出的任何HDR压缩都会使其成为非线性的。类似地，由于我们的方法依赖于观察到的场景中的微小变化，因此我们的方法容易受到HDR捕获过程中的误差的影响。恢复的反照率图包含重新组合观察到的图像中的阴影的微小伪影。我们未成功地应用了[36]中提出的正则化的广泛值。然而，多样化和扩展的源有助于减少这些伪影的出现，但这可能部分是由于这些对象投射的阴影更柔和。我们能够使用真实场景的环境图来估计令人信服的反照率，但是相关联的估计的环境图通常包含这些伪影只在投影梯度下降的前几次迭代之后出现，因此使用早期停止实现了合理的结果。我们在补充中显示了其他结果，突出显示了这些失效模式。梯度下降基线我们比较我们的方法通过使用Mitsuba2的自动微分能力最小化重建误差，将表1中的重建误差转换为随机梯度下降（SGD ）基线。我们使用Mitsuba 2的Adam优化器更新场景反照率和环境地图，学习率为0.01。对于多照明/未知的多目标场景，使用Mitsuba 2+Adam恢复的多目标在RMSE方面稍好，但仍然相当嘈杂，减少了SSIM。我们认为Mitsuba2事实上，我们的线性漫反射模型没有考虑全局照明。因此，应用我们提出的方法来快速求解线性近似，然后使用可微渲染器对非线性效果进行微调是未来工作的一个有希望的方向。我们的方法比梯度下降法有许多优点。在较简单的情况下，场景的损失函数是已知的，在方程。3可以在一个单一的步骤中使用线性求解器（4.5秒，在我们的CPU numpy实现）解决。此外，一旦估计了亮度，正则化的逆G就可以应用于新的测量，以快速估计新的照明，而无需重新计算A。此外，我们在第5节中的分析是通过首先渲染A来实现的。我们在表1中表明，我们的方法比Adam+Mitsuba 2收敛得更快。然而，由于我们的方法有效地计算了Hes-例如，ATA，该优点可能无法缩放到高分辨率环境地图。 更快的低分辨率估计与所提出的方法一样，配对对于初始化仍然是有用的。4.2. 真实数据结果3D打印的探针我们3D打印了5cm高的将每个对象放置在LCD面板（43”LG台式显示器）下方，在一张白色计算机纸上，距离显示器大约一米。最短和最长的显示器用于显示不同的图案，并且物体的图像以已知的相机取向捕获，距离3D打印物体约一米2599∼−×−=j=1jj（i）=eiHII场景/方法环境映射RMSEEnvmap SSIM反照率RMSEAlbedo SSIM计算时间（s）多照明0.4170.430.2860.78327+L20.0750.620.2190.81327+L2+平滑（我们的）0.0750.630.2190.81327+L2+平滑+[36]0.0750.630.2180.81338梯度下降基线（提前停止）0.5310.410.2020.69327梯度下降0.5010.680.1720.731434已知反照率0.4920.24--225+L20.0780.77--225+L2+平滑（我们的）0.0630.83--225梯度下降基线（提前停止）0.2940.31--225梯度下降0.1200.57--975表1.消融研究：多重照明：相对于未知反照率“点”的已知合成地面实况的RMSE/SSIM对于每个添加的正则化项集合计算5次迭代的场景已知反照率：针对单次迭代的HDRI“花园”场景计算的RMSE/SSIM计算时间包括所提出的方法的射线传输矩阵（220秒）的预渲染。提前停止梯度下降，以比较类似计算时间下的结果，对应于3461次迭代。亚当的学习率，γ = 0。01，因为选择梯度下降基线以在完全收敛之后最大化SSIM，这比所提出的方法（+L2+平滑）花费明显确定来自特定方向的照明强度 在底部行中，我们绘制逆算子矩阵G=（ATA+R）-1AT（在图1中被引用）的行。[6]作为“估计增益图像”）。这些行是相关的利用输入图像来估计源自特定方向的照明强度。图5.我们的算法隐式地放大了从特定方向投射的阴影的（顶行）阴影ren-确定有影响的图像像素给定目标图像测量，我们可以使用被称为库克距离的统计工具来量化单个像素对我们估计的环境图Cook距离测量去除测量对估计曲线拟合的影响，并且可以表示为如下：命令用于点照明的上方、右侧和后方和兔子形状的封堵器的左侧（底行）更正-M（y正则化逆运算符的响应行ips2Ps2（1 −hii）2图4中示出了针对每个测试模式的重建。图4示出了经裁剪和居中的环境地图，其中每一侧对应于79度视场。在重建过程中有一些明显的扭曲，例如图4（e）中的缺失角。 我们还制作了这里，y（j）表示当所有测量值都用于拟合时获得的重新投影的曲线拟合（即，使用我们的环境图估计x（）渲染的图像），并且y（j（i）表示在第i个数据点被保留之后获得的拟合从测量设置中移出 量s2= eT e使用更高的环境贴图分辨率进行重建是拟合的均方误差M N计算出分辨率（高达256512）和更高的输入图像分辨率，但发现它们并没有产生显着改善的重建，同时需要更长的计算时间。5. 分析提取阴影残差向量e=（yy）和模型矩阵的维数。 值h ii被称为 测 量 y i 的杠杆，并 被 定 义 为 帽 子 矩 阵 H=A（ATA+ λ rI）−1AT的第i个对角元素。在图6中，我们绘制了对应于特定目标图像测量的库克距离的图像。正如预期的那样，我们注意到具有最大Cook距离的像素D（八）2600图6.我们绘制了与左下角所示的目标图像中的每个像素相关联的库克距离（右下角）的图像。与该图像相关联的估计环境地图在顶行中示出。Cook距离图像已被压缩，伽玛值为0。五是突出特色。虽然库克距离对于确定特定测量集合中的哪些像素最有影响力是有用的，但是我们可能还想要评估独立于任何特定测量集合的单个像素一般有多大影响力为此目的，单独测量通道的杠杆作用可以是有用的度量。先前定义为帽子矩阵的第i个对角分量的像素i的杠杆作用也可以定义如下：图7. 我们通过为三种遮挡物形状生成每像素杠杆（顶行）和环境地图不确定性（底部）的图像来说明遮挡物形状如何影响对象相机性能：一个兔子，一个球体，和一个编码的孔径掩模[22]。遮挡物形状的影响我们对兔子相机的分析清楚地表明，遮挡物的形状可以对物体相机的性能产生显著影响。这具有重要的实际影响。例如，我们可以选择机会性地利用“在野外”发现的遮挡物或者，我们可以设计一个优化的遮挡器形状，可以3D打印并用作现实世界中的物体相机。我们在图中展示了封堵器形状的影响7. 我们展示了三种不同的遮挡形状的杠杆和不确定性地图-一个兔子，一个球体，和一个二维编码的孔径掩模。与兔子相机相比，球形相机实现了在半球上更均匀但平均更高的重建不确定性。相比之下，当掩模的阴影落在相机视场内时，编码孔眼掩模实现非常低的不确定性，但是当掩模被边缘照射时不确定性高，并且当光起源时不确定性非常高。h=a*（ATA+λI）−1a* T=yi（九）在地平线附近。III日伊6. 结论在这里，a_i对应于矩阵A的第i个r_w。图7包括计算的每像素杠杆值的图像。兔子摄影机迟到了我们注意到，与Cook的距离一样给定一个特定的对象相机配置，我们可能也有兴趣评估环境地图中的哪些条目我们可以期望准确地重建。我们取最小二乘拟合的协方差矩阵的对角项的平方根：Σ=（ATA+λ rI）−1-也就是说，等式中定义的损失函数的Hessian的逆。 3 .第三章。 我们忽略了场景平滑度为了分析对象相机的固有特性，在此之前这些相对不确定度值的图也如图7所示。根据该图像，我们预期兔子相机将最擅长重建从兔子的上方和稍微向左或向右到达的利用物体投射到其周围表面上的阴影进行重建，实际上可以使用计算机视觉和图形学研究中常用的工具来实现。阴影是高频入射照明估计的重要线索，并且对于解决否则条件不佳的问题是必不可少的。我们希望这项工作将激发进一步的扩展，结合许多令人兴奋的研究方向，在计算机视觉，从照明估计图像重新照明和增强现实，成像超出和周围的视线。鸣谢我们感谢我们的审阅者提供的有益意见。这项工作得到了DARPA REVEAL（N 00014 -18-1-2894）和媒 体 实 验 室 的 支 持 。 TS 得 到 了 NSF GRFP （ No.1122374）。2601引用[1] Miika Aittala、Prafull Sharma、Lukas Murmann、AdamYedidia 、 Gregory Wornell 、 Bill Freeman 和 Fredo Durand。计算镜像：基于深度矩阵分解的盲逆光传输。InH. Wallach，H. 拉罗谢尔A. B e ygelzime r、F. d'Alch e´-Buc、黑腹拟杆菌E. Fox和R. Garnett ， 编 辑 ， Advances in Neural InformationProcessing Systems 32 ， 第 14311-14321 页 CurranAssociates，Inc. 2019. 2[2] DejanAzino vic´ ， Tzu-MaoLi ， AntonKaplan yan ，andMatthias Nießner.反向路径跟踪的联合材料和照明估计。计算机视觉和模式识别（CVPR），IEEE，2019。2[3] 作者：Guha Balakrishnan，Adrian V.放大图片作者：John V. Guttag，Fredo Durand，and William T.弗里曼。目视去投影：塌陷尺寸的概率恢复。在IEEE计算机视觉国际会议（ICCV），2019年10月。2[4] M. 巴 拉 达 德 河 谷 Ye 、 叶 绿 条 叶 蝉 A.B. Yedidia ，F.Durand，W.T. 弗里曼G. W. Wornell和A.托拉尔巴从阴影推断光场。2018年IEEE/CVF计算机视觉和模式识别会议，第6267-6275页2[5] J. T. Barron和J.马利克从单个rgb-d图像的内在场景属性。2013年IEEE计算机视觉和模式识别会议，第17-24页，2013年6月。2[6] 凯瑟琳湖放大图片放大图片放大图片作者：FredoDurand Wornell，Antonio Torralba，and William T.弗里曼。将拐角转换为摄像机：原则和方法。InICCV，2017. 二、七[7] 丹·卡利安定制的光探头和反向照明方法用于重新照明。博士论文，伦敦大学学院2[8] 丹·ACalian，Kenny Mitchell，Derek Nowrouzezahrai，and Jan Kautz.着色探头：移动增强现实中的快速外观获取。SIGGRAPHAsia 2013 Technical Briefs，SA计算机协会2[9] C.切，F。Luan，S. Zhao，K.巴拉和我Gkioulekas。基于学习的逆次表面散射。在2020年IEEE计算摄影国际会议，第1-12页，2020年。2[10] W. Chen，S.丹诺角Brosseau和F.海德稳态非视线成像。2019 年 IEEE/CVF 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），第6783-6792页2[11] A. L.科恩防针孔成像。Journal of Modern Optics，29：63-67，1982. 2[12] R.丹尼斯·库克线性回归中有影响观测值的检测。Technometrics，19（1）：15-18，1977. 7[13] 保罗·德贝维克将合成对象渲染到真实场景中：通过全局照明和高动态范围摄影将传统图形和基于图像的图形连接起来。在Proceedings of the 25th Annual Conferenceon Computer Graphics and Interactive Techniques ，SIGGRAPH计算机协会2[14] Sylv a inDuche ne ，克 莱 门 特 · 里 安 特 ，GauravChaurasia，Jorge Lopez Moreno，Pierre-Yves Laffont，Stefan Popov，Adrien Bousseau，and George Drettakis.户外场景的多视点固有图像及其在重新照明中的应用。ACM事务处理图表，34（5），Nov. 2015年。2[15] Mathieu Garon ， Kalyan Sunkavalli ， Sunil Hadap ，Nathan Carr，and Jean-Francois Lalonde.快速空间变化的室内照明估计。在IEEE计算机视觉和模式识别会议（CVPR）上，2019年6月。2[16] Stamatios Georgoulis 、 Konstantinos Rematas 、 TobiasRitschel 、 Mario Fritz 、 Tinne Tuytelaars 和 Luc VanGool。相机周围是什么在IEEE计算机视觉国际上，2017年10月。2[17] S. Jiddi，P. Robert，and E.马尚利用纹理真实表面上的投射阴影估计动态光源的位置和强度。在2018年第25届IEEE图像处理国际会议（ICIP）上，第1063-1067页，2018年。2[18] Salma Jiddi，Philippe Robert和Eric Marchand。检测镜面反射和投射阴影以估计动态室内场景的反射率和照明。IEEETransactionsonVisualizationandComputerGraphics，2020。2[19] H.放大图片作者：Kato，Deniz Beker，M. Morariu，T.安多T. Matsuoka，Wadim Kehl，and Adrien Gaidon.可区分渲染：一个调查。ArXiv，abs/2006.12057，2020。2[20] Jonathan Klein，Christoph Peters，Jaime Mart´ın，MartinLau- renzis，and Matthias B.胡林使用2D强度图像跟踪视线外的物体。Sci.众议员，2016年。2[21] Jean-Fran coisLalonde，Al ex eiA. Efros和Srin iv asaG. 纳拉希姆汉从单个室外图像估计自然光照条件。国际计算机视觉杂志，2011年。2[22] Douglas Lanman，Ramesh Raskar，Amit Agrawal，andGabriel Taubin.屏蔽场：建模和捕获3D occluders。ACMTransactions on Graphics（Proc. SIGGRAPH Asia），27（5），2008。8[23] Chloe LeGendre、Wan-Chun Ma、Graham Fyffe、JohnFlynn、Laurent Charbonnel、Jay Busch和Paul Debevec。Deep- light ： Learning illumination for unconstrainedmobile mixed reality.在IEEE计算机视觉和模式识别会议（CVPR）上，2019年6月。2[24] Chloe LeGendre、Wan-Chun Ma、Rohit Pandey、SeanFanello 、 Christoph Rhemann 、 Jason Dourgarian 、 JayBusch和Paul Debevec。从不同的人格特质中学习启示。SIGGRAPHAsia 2020技术交流，SA计算机协会. 2[25] 李子茂、艾塔拉、杜兰德神父、李嘉诚.通过边缘采样的可微蒙特卡罗射线追踪。ACM事务处理图表（Proc.SIGGRAPH Asia），37（6）：222：1-222：11，2018.2[26] 李元珍，卢汉青，沈香扬，等.纹理场景中的多线索光照 估 计 。 在 Proceedings Ninth IEEE InternationalConference on Computer Vision ， 第 1366-1373 页 中 。IEEE，2003年。2[27] Guillaume Loubet ， Nicolas Holzschuch ， and WenzelJakob.重新参数化不连续的被积函数以进行可微渲染。2602ACM事务处理图表，38（6），Nov. 2019.二、四2603[28] 作者 ：Ben Mildenhall，放 大图 片作 者： Jonathan T.Barron，Ravi Ramamoorthi和Ren Ng. Nerf：将场景表示为用于视图合成的神经辐射场。在ECCV，2020年。2[29] John Murray-Bruce、Charles Saunders和Vivek K. 戈亚尔使用消费类相机的基于遮挡的计算潜望镜。在DimitriVan De Ville、Manos Papadakis和Yue M. Lu，编辑，Wavelets and Sparsity XVIII，第11138卷，第286国际光学与光子学学会2[30] Merlin Nimier-David 、 Delio Vicini 、 Tizian Zeltner 和Wen- zel Jakob。Mitsuba 2：可重定向的正向和反向渲染 器 。 Transactions on Graphics （ Proceedings of SIG-2005）GRAPH Asia），38（6），Dec. 2019. 二、四[31] Jeong Joon Park ， Aleksander Holynski ， and Steven MSeitz. 在 一 袋 薯 片 里 看 世 界 。In Proceedings ofIEEE/CVF计算机视觉和模式识别会议，第1417-1427页，2020年。2[32] 古 斯 塔 沃 · 帕 托 和 泽 维 尔· 普 约 逆 绘 制 问 题 综 述 。Computer Graphics Forum，22（4）：663- 687，2003. 2[33] JoshuaRapp，CharlesSaunders，Juli a'nTachella，etal. 利用边缘分辨瞬态成像观察拐角NatureCommunications，11（5929），Nov. 2020. 2[34] Imari Sato，Yoichi Sato，Katsushi Ikeuchi.阴影的照明。IEEE Transactions on Pattern Analysis and MachineIntelligence，25（3）：290-300，2003. 2[35] Charles Saunders ， John Murray-Bruce ， and Vivek KGoyal.普通数码相机的计算潜望镜Nature，565（7740）：472-475，Jan. 2019. 2[36] S. W. Seidel，Y. Ma，J. Murray-Bruce，C. Saunders，W.T.弗里曼角C. Yu和V.K.戈亚尔角封堵器计算潜望镜检查：从一张照片估计隐藏的场景。在2019年IEEE计算摄影国际会议（ICCP），第1-9页，2019年5月。二四六七[37] Pratul P. Srinivasan，Boyang Deng，Xiuming Zhang，Matthew Tancik，Ben Mildenhall，and Jonathan T.巴伦神经反射和可见性领域的重新照明和视图合成。在CVPR，2021年。2[38] 放大图片作者：John W. Barron，Richard Tucker，andNoah Snavely.灯塔：预测空间相干照明的照明体积。在CVPR，2020年。2[39] Matthew Tancik Guy Satat和Ramesh Raskar用于数据驱动的隐藏场景恢复的闪光摄影。arXiv预印本arXiv：1810.11710，2018。2[40] A.特瓦里岛Fried，J. Thies，V. Sitzmann，S. 隆巴迪K.松卡瓦利河Martin-Brualla，T. Simon，J. Saragih，M.尼斯纳河Pandey，S.法内洛湾Wetzstein，J. Y. Zhu，C.Theobalt，M. Agrawala、E. Shechtman，D. B高盛，以及M. Zoll hoüfer.神经渲染的最新技术例如，2020年。2[41] C. Thrampoulidis 、 G. Shulkind ， F. Xu ， W. T.Freeman，J. H. Shapiro，A.托拉尔巴F. N. C. Wong和G.W. 沃 内 尔 利 用 非 视 线 主 动 成 像 中 的 遮 挡 。 IEEETrans