1首页>外文书>生活>饮食> Seeing the World in a Bagof ChipsJeong Joon Park Aleksander Holynski Steven M.西雅图华盛顿大学{jjpark7，holynski，seitz}@ cs.washington.edu(a)输入图像（b）估计环境（上），地面实况（下）（c）放大图1：从一个物体（a）的手持RGBD序列，我们重建了一个与真实环境（b，底部）非常相似的周围环境（b，顶部）的图像注意细节（c）的重建，例如透过窗户看到的人物和带有秋天色彩的树木我们使用恢复的环境，新颖的视图渲染。†摘要我们解决的双重问题，新的视图合成和环境重建手持RGBD传感器。我们的贡献包括：1）建模高镜面反射，2）建模内反射和菲涅尔效应，3）使得能够利用单独重建形状所需的相同输入来进行表面光场重建在场景表面具有强大的镜面材质组件的情况下，我们生成高度详细的环境图像，揭示房间组成，对象，人，建筑物和树木，通过窗户可见。我们的方法产生的最先进的视图合成技术，低动态范围的图像上操作，是强大的几何和校准误差。1. 介绍物体上闪烁的光线揭示了它的形状和组成-无论是湿的还是干的，粗糙的还是抛光的，圆形的还是扁平的。然而，隐藏在高光模式中的也是环境的图像，通常如此扭曲，以至于我们值得注意的是，闪亮的薯片袋的图像（图。1）包含足够的线索，能够重建房间的详细图像，包括灯光，窗户，甚至是透过窗户可见的外部物体的布局†视频网址：https://youtu.be/9t_Rx6n1HGA在他们的视觉麦克风的工作，戴维斯等人。[13]显示了声音甚至对话可以从一袋薯片中可见的微小振动中重建出来。受他们工作的启发，我们展示了同一袋薯片可以用来重建环境。而不是高速视频，然而，我们对RGBD视频进行操作，如用商品深度传感器获得的。环境可视化与反映环境的场景建模问题密切相关。我们解决了这两个问题;除了使房间可视化之外，我们寻求预测对象和场景如何从任何新的视点显现，即，来虚拟地探索现场，就好像你就在那里一样。这个视图合成问题在计算机视觉和图形学中有大量的文献，但仍存在一些开放的问题。其中最主要的是1）镜面，2）相互反射，和3）简单捕获。在本文中，我们解决所有这三个问题，基于表面光场的框架[68]。我 们 的 环 境 重 建 ， 我 们 称 之 为 镜 面 反 射 图（SRM），代表了与物体的镜面BRDF卷积的远距离环境图在物体有强烈的镜面反射的情况下，这种SRM提供了清晰，详细的功能，如图1所示1.一、由于大多数场景由材料的混合物组成因此，我们重建了一组全局SRM，以及加权14171418场景表面的材质分割。在此基础上，结合附加的物理驱动元件，我们建立了一个能够忠实地逼近真实表面光场的神经绘制网络我们的方法的一个主要贡献是使用RGBD摄像机，使用单独计算形状所需的相同输入重建表面光场[52]。我们的方法的其他贡献包括操作定期（低动态范围）图像的能力，并适用于一般，非凸，纹理场景包含多个对象和漫反射和镜面反射材料。最后，我们发布了捕获反射物体的RGBD数据集，以促进光照估计和基于图像的渲染。我们指出，从对象的图像重建反射场景的能力开辟了真正的和有效的关注隐私。虽然我们的方法需要深度传感器，但未来的研究可能会导致在常规照片上操作的方法。除了教育人们什么2. 相关工作我们回顾了环境光照估计和镜面建模的新视图合成方法的相关工作。2.1. 环境估计单视图估计捕获环境地图（图像）的最直接的方式是经由光探针（例如，一个镜面球[15]）或用360毫米相机拍照[56]。人的眼球[54]甚至可以作为光探针，当他们存在。然而，对于许多应用来说，光探针是不可用的，我们必须依赖于场景本身的外显线索。其他方法则是研究如何从一张大致场景的照片。由于该问题严重约束不足，因此这些方法通常依赖于人工输入[34，77]或手动设计的深度学习技术的最新发展促进了用于单视图估计的数据驱动方法。[19，18，63，40]学习从透视图像到广角全景图像的映射其他方法训练专门为户外场景定制的模型[29，28]。由于单视图问题是严重不适定的，大多数结果是合理的，但往往是非真实的。与我们的工作密切相关的是，Georgouliset al.[20]重建更高质量的环境图像，但在非常有限的条件下;无纹理的绘画表面和材料和分割的手动多视图估计对于平面反射器的特殊情况，层分离技术[65，62，73，25，24，31，76]能够实现反射环境的高质量重建，例如，一个玻璃相框的视频推断一般弯曲表面的反射是非常困难的，即使对人类来说也是如此，因为反射的内容强烈且非线性地依赖于表面形状和空间变化的材料属性，许多研究人员试图从弯曲物体的多个图像中恢复低频 照 明 。 [81 ， 55 ， 46]推 断 球 面 谐 波 照 明 （ 遵 循[59]），以使用阴影恢复形状的原理来细化表面几何形状。[60]共同优化重建场景的低频照明和BRDF。虽然适合于近似光源方向，但这些模型Wu等[69]像我们一样，使用手持式RGBD传感器来恢复照明和反射特性。但该方法只能重建单个、浮动、凸形物体，并且需要黑色背景。Dong等人[16]从单个旋转对象的视频中产生高质量的环境图像。该方法假设实验室设置有机械旋转器，并且手动将准确的几何形状配准到其视频。类似地，Xiaet al. [70]使用具有校准图案的机械臂来旋转物体。作者指出，高镜面反射表面会导致麻烦，因此限制了他们的真实对象样本，主要是粗糙，光泽的材料。相比之下，我们的方法与手持式相机操作的范围广泛的多对象场景，并被设计为支持镜面反射。2.2. 一种新的视图合成方法在这里，我们专注于能够从新的视点建模镜面反射的方法基于图像的渲染光场方法[23，42，10，68，12]能够实现镜面的高度逼真视图，但代价是从密集采样的视点进行费力的场景捕获。Chen等人[8]使用神经网络回归表面光场以减少所需视图的数量，但需要使用机械系统捕获整个半球的样本Park等人[56]通过应用参数BRDF模型来避免密集的半球视图采样，但假设照明已知。最近的工作将卷积神经网络（CNN）应用于基于图像的渲染[17，49]。Hedman等人[27]用CNN学习的混合权重取代了IBR系统的传统视图混合算法尽管如此，新的意见是由现有的，捕获的像素，所以未观察到的镜面高光不能合成。最近，[2，66]通过将学习到的特征附加到2D纹理图[66]或3D点云[2]来增强传统的渲染管道，并实现高质量的视图合成结果。尽管如此，这些功能还是经过了专门优化1419ii=1i以适合输入视图，并且不能很好地外推到新视图。最近基于学习的方法从一小组图像中实现了令人印象深刻的局部（相对于半球）光场重建[50，64，11，33，78]。BRDF估计方法合成新视图的另一种方法是恢复固有的表面反射函数。被称为BRDFs [53]。一般来说，恢复表面BRDF是一项艰巨的任务，因为它涉及反转复杂的光传输过程。因此，现有的反射捕获方法对操作范围施加了限制：例如，在一个实施例中，孤立的单个对象[69，16]，已知或受控的照明[56，14，41，79，72]，单个视图表面（相对于全3D网格）[21，43]，闪光摄影[1，39，51]，或空间恒定材料[48，37]。很少有视图合成技术支持相互反射。对一般多对象场景建模需要求解全局照明（例如，阴影或相互反射），这是困难的并且对真实世界输入的缺陷敏感[4]。类似地，Lombardiet al.[45]对多反射照明建模，但带有明显的人为因素，并将其结果限制为大多数纹理均匀的对象。Zhang等人[74]需要手动标注灯光类型和位置。3. 技术途径我们的系统需要一个静态场景的视频和3D网格（通过Newcombe等人获得）。[52]）作为输入，并自动地重建环境的图像以及能够进行新颖的视图合成的场景外观模型。我们的方法在镜面场景中表现出色，并考虑了镜面互反射和菲涅尔效应。我们的方法的一个关键优势是使用简单，随意的数据捕获从手持相机;我们利用单独重建几何所需的相同输入来重建环境图和表面光场，例如，使用[52]。第3.1节制定了表面光场[68]并定义了镜面反射图（SRM）。第3.2节展示了给定几何和漫射纹理作为输入，我们如何通过端到端优化方法联合恢复SRM和材料分割最后，第3.3节描述了一个场景特定的神经渲染网络，该网络将恢复的SRM和其他渲染组件组合在一起，以合成逼真的新视图图像，并具有相互反射和菲涅尔效果。3.1. 表面光场公式我们使用表面光场[68]的概念对场景外观进行建模，该概念定义了每个视图方向上表面点的颜色辐射，给定近似几何学，表示为G[52]。形式上，表示为SL的表面光场分配来自表面点的光线的RGB辐射x与出射方向ω：SL（x，ω）∈RGB。如常见[57，67]，我们将SL分解为漫射（视图无关）和镜面反射（视图相关）分量：SL（x，ω）<$D（x）+S（x，ω）.（一）我们计算每个表面点的漫射纹理D作为跨不同输入视图的最小强度[65，56]。因为漫反射部分是与视角无关的，所以我们可以使用估计的几何形状从任意视点渲染它。然而，纹理化3D重建通常包含误差（例如，轮廓被放大，如图。2），所以我们使用神经网络（Sec.3.2）。对于镜面分量，我们定义镜面反射映射（SRM）（也称为亮度映射[68]）并表示为SR，作为将反射光线方向ωr（定义为ω关于表面法线nx[68]的矢量反射）映射到镜面反射的函数（即，辐射度）：SR（ωr）：θ →RGB，其中θ是围绕场景中心的单位半球 这个模型假设了遥远的环境照明，虽然我们增加了对镜面反射的支持。三点三注意这个模型与预过滤的环境贴图密切相关，用于镜面高光的实时渲染。给定镜面反射图SR，我们可以如下从虚拟相机渲染镜面图像SS（x，ω）=V（x，ωr;G）·SR（ωr），（2）其中V（x，ωr;G）是阴影（可见度）项，当来自x的反射光线ωr：=ω−2（ω·nx）nx与已知几何形状G相交时为0，否则为1SRM包含远程环境照明控制，与一种特殊的镜面反射双向反射分布函数交织在一起因此，单个SRM只能准确描述一种表面材料。为了推广到多个（和空间变化）材料，我们修改方程。（2）通过假设点x处的材料是M种基本材料的线性组合[21，3，80]：ΣMS（x，ω）=V（x，ωr;G）·Wi（x）·SRi（ωr），（3）i=1其中W（x）≥0，MW（x）= 1，M是用户指定的。对于每个表面点x，Wi（x）定义物质基础重量i.我们使用神经网络来近似图像空间中的这些权重，如下所述。3.2. 估计SRM和材料分割给定场景形状G和来自已知视点的照片作为输入，我们现在描述如何恢复SRM和材质权重的最佳集合。假设我们想要在给定已知SRM和材质权重的情况1420下，预测来自摄像机P的在像素u处看到表面点xu的场景视图。我们将漫射1421PPP1得双曲余切值.P2rPPr(a) Dif融合图像DP（b）细化Dif融合图像D′图2：漫射网络uφ在纠正RGBD重建的几何和纹理错误中图像（a）中的瓶子几何形状精化网络的使用纠正了这些问题（b）。最好用数码观看。分量DP（u），并且类似地，使用标准光栅化从每个SRM的Wi获得混合权重图WP，i通过计算每个像素的ωr值，获得反射方向图像RP（u）然后，我们通过查找每个SRM中的反射光线方向RP来计算镜面分量图像SP，然后使用WP，i组合辐射值：ΣM该网络学习漫射纹理和材料属性之间的相关性（即，shininess），并且通过联合优化网络权重和SRM来在每个场景上训练以再现输入图像。由于wθ预测图像空间中的材料权重，因此每个视图 ， 我 们 引 入 视 图 一 致 性 正 则 化 函 数 V （ WP1 ，WP2），惩罚一对当视图彼此交叉投影时（即，使用已知的几何形状和姿态将一个图像扩散细化网络。 几何形状和校准中的小误差，如在扫描模型中典型的，导致纹理再现DP中的未对准和重影伪影。因此，我们引入一个精化网络uφ纠正这些错误（图）。2）。我们用细化的纹理图像替换D P：D′=uφ（DP）.与材料权重类似，我们使用V（D ′ ′）来惩罚细化的漫射图像在视点之间的不一致性。两个网络wθ和uφ都遵循具有残差连接的编码器-解码器架构[32，26]，而wθ具有较低的参数的数量。有关详情，请参阅补充资料。SP（u）=V（u）·i=1WP，i（u）·SRi（RP（u）），⑷鲁棒损失由于像素损失本身对未对准不具有鲁棒性，因此我们定义了图像距离度量其中，V（u）是如在等式（1）中使用的像素u的可见度项。（三）、每个SRi被存储为球面坐标中分辨率为500 x 250的2D全景图像。现在，假设SRM和材料重量是未知的;最优的SRM和组合权重最小，L作为逐像素L1损失、从预训练网络的特征激活计算的感知损失Lp[9]和对抗性损失[22，30]的组合。对于一对图像I1，I2，我们的总损失是：L（I1，I2;d）=λ1 L1（I1，I2）+λp Lp（I1，I2）将能量E定义为+λL（六）（I，I;d），- 真实照片G以及漫射和镜面图像DP、SP在所有输入帧F上的渲染合成： ΣE=L1（GP，DP+SP），（5）P∈F其中L1是逐像素L1损失。而Eq。（5）可直接极小化WP，即和SRi，两个因素引入了实际困难。首先，镜面反射高光往往是稀疏的，覆盖镜面反射场景表面的一小部分.镜面反射表面上的点如果GG1 2其中d是λ，λ1= 0。01，λ p= 1。0，且λ G= 0。05是平衡系数。基于神经网络的感知和对抗损失是有效的，因为它们对于由估计的几何形状和姿态中的误差引起的图像空间未对准是鲁棒的最后，我们在镜面图像上添加稀疏项||1来正则化镜面反射组件，使其不包含漫反射纹理的颜色。||1to regularize thespecular component from contain- ing colors from thediffuse texture.结合所有元素，我们得到最终的损失函数：ΣSR_n，θ_n，φ_n= arg min maxL（G_P，D′+S_P;d）从扩散表面点，从而使问题，SR，θ，φDPP∈F将材料重量标记到严重欠约束的表面点。其次，捕获的几何形状很少是完美的，+λ S||S P||1+λ VV（W P，W P）+λ TV（D′，D′），（七）并且重建的漫射纹理中的未对准可能导致不正确的SRM。在本节的其余部分，我们将描述我们克服这些限制因素的方法。材料重量网络。为了解决材料模糊性问题，我们提出了材料分配问题as a statistical统计pattern模式recognition识别task任务.我们使用卷积神经网络w θ计算2D 权重图W P ， i（u），该卷积神经网络学习将漫射纹理图像补丁映射到第i种材料的混合权重：W P，i=wθ（D P）i.其中Pr是在每个随机梯度下降步骤期间与P在同一批次中随机选择的帧。 λS、λT和λV被设置为1 e-4。一个概览图如图所示。3.第三章。图5示出了优化发现了相干材料区域和详细的环境图像。3.3. 新视图神经绘制通过重构的SRM和材质权重，我们可以从任何期望的视点合成镜面外观1422P图3：SRM估计管道的组件（优化参数以粗体显示我们预测一个视图，精化差分D′ （图 2）和镜面图像SP。对于每个像素，通过查找基本SRM来计算SP（SRi预测视图和地面实况GP之间的损失被反向传播以联合优化SRM像素和网络权重。直接将图像作为视点的函数，在实际照片上进行训练。事实上，最近的几种神经渲染方法适应图像转换[30]，以学习从投影点云[49，58，2]或UV地图图像[66]到照片的映射。然而，这些方法很难从输入视图外推，因为它们的网络而不是把渲染问题当作一个黑盒子，我们用物理知识武装神经渲染器-特别是漫反射，镜面反射形式上，我们引入了一个基于对抗性神经网络的生成器和渲染逼真的照片。g将我们对当前视图的漫射DP和镜面SP分量的最佳预测作为输入（从等式（1）获得）。（7）），以及将在本节稍后定义的相互反射和菲涅耳项FBI、RP和FCI因此，生 成器g接收 CP= （DP，SP，FBI ，RP，FCI）作为输入，并输出视图的预测，而生成器g对其真实性进行评分。我们使用像素级L1、感知损失Lp[9]和对抗性损失[30]的组合，如第2节所述。3.2：g=argminmaxλGL<$G（g，d）+λpL<$p（g）+λ1L<$1（g），（8）GD其中L<$（g）=1L（g（C），G）是平均数p| F|P∈FpPP(a) W/O互反射（b）带互反射（c）地面实况（d）FBI（e）RP（f）Fresnel图4：建模相互反射。第一行显示了由直接（a）和相互反射+菲涅尔模型（b）训练的网络渲染的不可见视点的图像，与地面实况（c）进行了比较注意绿瓶底部的准确相互反射(d)（e）和（f）分别示出了第一反射图像（FBI）、反射方向图像（RP）和菲涅耳系数图像（FCI）。最好用数码观看。经由等式（二）、然而，虽然在SEC中详细介绍了该方法。3.2重建了高质量的SRM，由于两个因素，-10的渲染首先，几何形状和相机姿态中的误差有时会导致较弱的重建高光。第二，SRM不能模拟更复杂的光传输效应，如相互反射或菲涅耳反射。本节描述我们如何训练网络来解决这两个限制，从而产生更真实的结果。模拟只能走这么远，计算机渲染永远不会完美。原则上，你可以训练一个CNN来-并且LG（g，d）和L1（g）类似地被定义为跨帧的平均损失请注意，此渲染器g是场景特定的，经过训练的仅在特定场景的图像上外推相同场景的新视图，如神经渲染社区中通常所做的那样[49，66，2]。模拟相互反射和菲涅耳效应方程。 （2）仅对环境对每个表面点的直接照明进行虽然建模完整、全局、漫射+镜面光传输是容易的，但是我们可以通过如下的光线跟踪第一反射图像（FBI）来近似第一阶相互反射。对于要渲染的虚拟视点中的每个像素u，从相机中心投射一条光线通过u。如果我们现在假设每个场景表面都是一面完美的镜子，将可能反弹多次并与多个表面相交。设x2为该光线与场景的第二个交点。渲染像素在联邦调查局与扩散颜色的x2，或黑色，如果没有第二个交叉点（图。4（d））。有光泽的（不完美的镜面）相互反射可以通过将FBI与BRDF卷积来建模。然而，严格地说，互反射图像应该在角度域[59]中滤波，而不是在图像空间中滤波，即，入射光的卷积遵循镜面波瓣，其中心是反射光线方向ωr。给定ωr，角域卷积可以在图像1423(a) 输入视频（b）材料重量（c）覆盖SRM（d）地面实况(e) （f）地面实况（g）放大（我们的）（h）放大（GT）图5：回收SRM和材料重量的样品结果。给定输入视频帧（a），我们从等式（1）的优化恢复全局SRM（c）和它们的线性组合权重（b）。（七）、这里呈现的场景有两个物质基础，分别用红色和绿色通道可视化。对应于发光物体表面（绿色通道）的估计SRM（c）正确地捕获场景的光源，如参考全景图像（d）所示。对于这两个场景，对应于红色通道的SRM大部分是黑色的，因此未示出，因为表面大部分是漫射的。（c）的恢复的SRM由于输入图像中的过饱和而过度强调蓝色通道。第三行示出了在不同照明下来自同一袋薯片（第一行）的视频的估计结果。对恢复的环境（g）进行仔细检查可以发现许多场景细节，包括通过窗户可见的附近建筑物的楼层(a)输入（b）Legendreet al. [40]（c）Gardneret al. [19]（d）我们的结果（e）地面真相(f) 合成场景（g）Lombardiet al.[45]（一）第一节第二节图6：与现有的基于单视图和多视图的环境估计方法的比较。给出一个单一的图像（a），深光[40]（b），和加德纳等。[18]（c），相对于我们从RGBD视频（d）中获得的更好地匹配地面实况（e）的内容，不会产生准确的环境重建此外，从视频序列和合成场景的噪声几何形状（f），与Lombardi等人相比，我们的方法（h）更准确地恢复周围环境（i）。（g）。空间通过卷积由ωr加权的FBI图像。然而，因为我们不知道镜面反射核，我们让网络使用ωr作为指导来推断权重。我们将每个像素的ωr编码为三通道图像RP（图1）。4（e））。菲涅尔效应使高光在近掠视角下更强Fre-nel系数近似如下[61]：R（α）=R0+（1−R0）（1−cosα）5，其中α是曲面法线与相机光线之间的角度，R0是材料特定常数。 我们计算菲涅耳系数图像（FCI），其中每个像素包含（1-cosα）5，并将其作为额外的输入提供给网络，如图所示。4（f）。总体上，渲染分量CP现在由五个图像组成：漫射和镜面反射图像、FBI图像、R P和FCI。CP然后作为神经网络的输入，我们的网络权重被优化，如等式2所示。（八）、图4示出了用于对相互反射进行建模的附加三个渲染组件的有效性。14243.4. 实现细节我们遵循[32]的生成器网络架构，使用PatchGAN节点[30]，并采用LSGAN的损失[47]。我们使用ADAM[38]和学习率2 e-4来优化目标。通过对每个输入和输出对应用随机旋转、平移、翻转和缩放，数据增强对于视点泛化至关重要。更多详情请参见补充资料。3.5. 数据集我们用手持式Primesense深度摄像头拍摄了十个RGBD视频序列，具有广泛的材料，灯光，物体，环境和摄像机路径。每个序列的长度范围从1500到3000帧，分为训练帧和测试帧。一些序列被捕获，使得测试视图非常远离训练视图，使得它们非常适合于对新视图合成方法的外推能力进行基准测试。此外，许多序列都带有地面真实HDR环境地图，以促进未来对环境估计的研究。进一步的捕获和数据处理细节在补充中。4. 实验我们描述的实验，以测试我们的系统我们将我们的方法与几种最先进的方法进行比较：最近的单视图照明估计方法（DeepLight [40]，Gardner等人，[19]）、基于RGBD视频的照明和材料重建方法[45]、基于IR的BRDF估计方法[56]（如图所示）以及两种能够处理镜面高光的领先视图合成方法4.1. 环境估计我们 的计算 SRMs展示 了我们 的系 统例如 ，从 5（b），我们可以看到客厅的总体布局，甚至可以通过窗户数出建筑物的楼层数请注意，拍摄视频的人不会出现在环境贴图中，因为他一直在移动。然而，移动的人的阴影引起伪影，例如图1的第一行中的荧光照明。5、没有完全重建。与最先进的单视图估计方法[40，19]相比，我们的方法产生了更准确的环境图像，如图所示。六、请注意，我们的重建显示一个人站在窗户附近，透过窗户可以看到树上的秋色我们比较了基于多视图RGBD的方法[45]在包含红色物体的合成场景中，从作者那里获得。与[45]一样，我们从已知的几何形状中估计照明，增加了噪声和场景渲染的视频，但产生了更准确的结果（图10）。（六）。4.2. 一种新的视图合成方法我们恢复镜面反射图，并为每个视频序列训练一个然后，训练的模型用于从保持的视图生成新的视图。在补充中，我们展示了不同场景的新颖视图生成由于视图合成结果以视频形式显示效果更好，我们强烈建议读者观看补充视频。对于场景而言，外推远离输入范围的新视图尤其具有挑战性反射。 为了测试我们和其他最近的视图合成结果的操作范围，我们研究了视图预测的质量如何作为到最近输入图像的距离的函数（在视角的差异中）而下降（图1）。（八）。我们用感知损失[75]来衡量预测质量，已知感知损失对移位或未对准更鲁棒，而不是从相同姿势拍摄的地面真实测试图像。我们使用两个视频序列都包含- ING高反射的表面，并在训练和测试的观点有很大的差异。我们将注意力集中在场景中表现出显著的视图依赖效应的部分。也就是说，我们掩盖了漫反射背景，并仅在场景的中心对象上测量损失。我们将我们的方法与DeepBlending [27]和Thies等人进行比较。[66]。数量（图）8）和定性（图。7）结果表明，我们的方法能够从外推视点产生更4.3. 稳健性我们的方法对各种场景配置都是鲁棒的，例如包含多个对象的场景（图1）。7），空间上不同的材料（图。9），和凹面（图。第10段）。在附录中，我们研究了损失函数和表面粗糙度对结果的5. 局限性和未来的工作我们的方法依赖于从融合消费级深度相机的深度图像获得的重建网格，因此对于这些相机的操作范围之外的表面失败，例如，薄的、透明的或镜面。我们恢复的环境图像是由表面BRDF过滤;分离这两个因素是未来工作的一个有趣的主题，可能通过数据驱动的反卷积（例如，[71]）。最后，重建一个房间规模的真实感外观模型仍然是一个重大的挑战。1425感知误差(a)相机轨迹（b）参考照片（c）我们的（d）DeepBlending [27]（e）Thies等人。[第六十六话]图7：极端视点的视图外推。我们在测试视图（红色截头体）上评估新视图合成，这些测试视图离输入视图（黑色截头体）最远（a）。DeepBlending [27]和Thies等人的视图预测。[66]（d，e）与参考照片（b）明显不同，例如，猫背上缺少高光，罐头底部有不正确的高光Thies等人[66]显示了严重的伪影，可能是因为它们学习的UV纹理特征过度拟合输入视图，因此无法推广到非常不同的视点。我们的方法（c）产生的图像具有出现在正确位置的高光。罐0.250.200.40.3Labcat0.15 0.20 10 200.100.10 10 20(a)合成新视图（b）材料重量与训练集中最近邻的角度（度）图8：新视图合成的定量比较。我们绘制了新视图渲染和地面真实测试图像之间的感知损失[75]，作为其到最近训练视图的距离的函数我们将我们的方法与两种领先的NVS方法[27，66]在两个场景中进行比较。平均而言，我们的结果具有最低的误差。确认这项工作得到了Facebook，Google，Futurewei和UWReality Lab的资助。引用[1] Miika Aittala，Tim Weyrich，Jaakko Lehtinen，等.固定材料的两次svbrdf捕获。2015. 3[2] 卡拉-阿里·阿利耶夫，德米特里·乌里扬诺夫，维克多·伦比斯基。基于神经点的图形。arXiv预印本arXiv：1906.08240，2019。二、五[3] 尼尔·奥尔德林，托德·齐克勒，大卫·克里格曼。具有非参数的和空间变化的重新测量的图9：图像（a）显示了使用神经渲染（Sec.3.3）具有多个光泽材质的场景木制桌面和笔记本电脑的空间变化材料（SRM混合权重）3.2），如（b）所示。(a) 地面实况（b）合成新视图图10：凹面重建。我们的系统逼真地再现了高度凹陷的碗的外观。渲染结果（b）捕获地面实况（a）的遮挡和突出显示反射率2008年IEEE计算机视觉和模式识别会议，第1-8页IEEE，2008年。3[4] DejanAzino vic'，Tzu-MaoLi，AntonKaplan yan，andMatthias Nießner.接缝材料的反向路径跟踪，s等人Thiean等人我们的树1426照明估计arXiv预印本arXiv：1903.07145，2019。[18]第十八话加德纳 Yannick 卡尔扬？霍尔德-若弗鲁瓦3[5] Jonathan T Barron和Jitendra Malik。形状，亮度和照明从一个单一的图像一个未知的对象。2012年IEEE计算机视觉和模式识别会 议，第334-341页。IEEE，2012。2[6] Jonathan T Barron和Jitendra Malik。形状、照明和着色的 反 射 率 。 IEEE transactions on pattern analysis andmachine intelligence，37（8）：1670-1687，2014。2[7] 赛毕、韩晓光、益州余。一种用于边缘保持平滑和场景级 内 分 解 的 l1 图 像 ACM Transactions on Graphics（TOG），34（4）：78，2015. 2[8] Anpei Chen，Minye Wu，Yingliang Zhang，Nianyi Li，Jie Lu，Shenghua Gao，and Jingyi Yu.深层表面光场。ACM计算机图形学和交互技术会议，1（1）：14，2018。2[9] Qifeng Chen和Vladlen Koltun。用级联细化网络进行摄影图像合成。在IEEE计算机视觉国际会议论文集，第1511-1520页，2017年。四、五[10] Wei-Chao Chen，Jean-Yves Bouguet，Michael H Chu，and Radek Grzeszczuk.光场映射：表面光场的有效表示和 硬 件 绘 制 。 在 ACM Transactions on Graphics（TOG），第21卷，第447- 456页中ACM，2002年。2[11] Inchang Choi，Orazio Gallo，Alejandro Troccoli，Min HKim，and Jan Kautz.极限视角合成。在IEEE计算机视觉国际会议论文集，第7781-7790页，2019年。3[12] Abe Davis Marc Levoy和Fredo Durand非结构化光场。在Computer Graphics Forum ， 第 31 卷 ， 第305-314 页 中Wiley Online Library，2012. 2[13] Abe Davis 、 Michael Rubinstein 、 Neal Wadhwa 、Gautham Mysore、Fredo Durand和William T.弗里曼。视觉麦克风：从视频中被动恢复声音。ACM Transactionson Graphics（Proc. SIGGRAPH），33（4）：79：1-79：10，2014。1[14] 保罗·欧内斯特·德贝维克。从照片。加州大学伯克利分校，1996年。3[15] Paul E.德贝维克和吉坦德拉·马利克从照片恢复高动态距 离 辐 射 图 。 在 Proceedings of the 24th AnnualConferenceonComputerGraphicsandInteractiveTechniques ， SIGGRAPH'97 ， pages 369- 378 ， NewYork，NY，USA，1997中。ACM Press/Addison-卫斯理出版公司2[16] Yue Dong，Guojun Chen，Pieter Peers，Jiawan Zhang，and Xin Tong.运动外观：未知光照下空间变化表面反射率的恢复。ACM Transactions on Graphics（TOG），33（6）：193，2014。二、三[17] John Flynn，Ivan Neulander，James Philbin，and NoahSnavely. Deepstereo：学习从世界在IEEE计算机视觉和模式识别会议论文集，第5515- 5524页2克里斯蒂安·加根和我是弗朗索瓦·拉隆德。深度参数化室 内 照 明 估 计 。 arXiv 预 印 本 arXiv ： 1910.08812 ，2019。二、六[19] Marc-Andre'Gardner ， KalyanSunkavalli ， ErsinYumer，Xi-aohuiShen，EmilianoGambaretto，ChristianGag ne'，andJean-Fran c oisLalonde. 学习从单个图像预测室内照明arXiv预印本arXiv：1704.00090，2017。二六七[20] Stamatios Georgoulis 、 Konstantinos Rematas 、 TobiasRitschel 、 Mario Fritz 、 Tinne Tuytelaars 和 Luc VanGool。相机周围是什么？在IEEE计算机视觉国际会议论文集，第5170- 5178页，2017年。2[21] Dan B Goldman，Brian Curless，Aaron Hertzmann，andSteven M Seitz. 来 自摄 影 立体 的 形状 和 空间 变 化的brdfsIEEE Transactions on Pattern Analysis and MachineIntelligence，32（6）：1060-1071，2010。3[22] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。在神经信息处理系统的进展，第26724[23] Steven J Gortler、Radek Grzeszczuk、Richard Szeliski和Michael F Cohen。光显仪。1996. 2[24] 郭晓杰、曹晓春和马毅。从多个图像中稳健地分离反射。在2014年IEEE计算机视觉和模式识别会议集，第2187-2194页中。2[25] 韩秉柱和沈在英使用低秩矩阵完成消除反射在IEEE计算机视觉和模式识别会议论文集，第5438-5446页2[26] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。4[27] Peter Hedman，Julien Philip，True Price，Jan-MichaelFrahm，George Drettakis，and Gabriel Brostow.自由视点图像渲染的深度混合。SIGGRAPH Asia 2018技术论文，第257页。ACM，2018。二七八[28] Yannick Hold-Geoffroy、Akshaya Athawale和Jean-Fran coisLalonde。用于单图像户外照明估计的深度SK Y建模arXiv预印本arXiv：1905.03897，2019。2[29] Yannick Hold-Geoffroy 、 Kalyan Sunkavalli 、 SunilHadap、EmilianoGambaretto和Jean-Fran c oisLalonde 。深度室外照明估计。在IEEE计算机视觉和模式识别会议论文集，第7312-7321页，2017年。2[30] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。在IEEE计算机视觉和模式识别会议论文集，第1125-1134页，2017年。四、五、七[31] Jan Jachnik ， Richard A Newcombe ， and Andrew JDavison.实时表面光场捕获用于增强PLA1427nar镜面反射表面在2012年IEEE混合和增强现实国际专题论文集（ISMAR）中，第91- 97页。IEEE，2012。2[32] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。欧洲计算机视觉会议，第694施普林格，2016年。四、七[33] Nima Khademi Kalantari ， Ting-Chun Wang ， and RaviRa-mamoorthi.基于学习的光场相机视图合成。ACMTransactions on Graphics（TOG），35（6）：193，2016。3[34] Kevin Karsch ， Varsha Hedau ， David Forsyth ， andDerek Hoiem.将合成对象渲染到遗留的照片中。在ACM图形学报（TOG），第30卷，第157页中。ACM，2011年。2[35] Kevin Karsch、Kalyan Su
我的内容管理
展开
