具有阴影处理的神经反射率用于形状恢复

深度学习方法

PDF格式 | 14.1MB | 更新于2025-01-16 | 161 浏览量 | 举报

16221

具有阴影处理的神经反射率用于形状恢复

JunxuanLi1,2,HongdongLi1

澳大利亚国立大学1Data61,CSIRO2

{junxuan.li,hongdong.li}@anu.edu.au

摘要

本文旨在恢复具有未知、非兰伯特、可能空间变化的表面材

料的场景形状。当物体的形状非常复杂且表面有阴影时，任

务变得非常具有挑战性。为了克服这些挑战，我们提出了一

种基于坐标的深度多层感知器（MLP）来对每个表面点的未

知3D形状和未知反射率进行参数化。该网络能够利用表面上

观察到的光度变化和阴影，并恢复表面形状和一般的非兰伯

特反射率。我们明确预测投射的阴影，减轻这些阴影区域上

的可能伪影，提高估计精度。我们的框架完全是自监督的，

即不需要真实形状或BRDF。对真实世界图像的测试表明，

我们的方法在性能上明显优于现有方法。由于MLP网络的规

模较小，我们的方法比之前基于CNN的方法快一个数量级。

1.引言

从固定相机拍摄的多个光度图像中恢复非兰伯特物体的3D形

状仍然是一项具有挑战性的任务。真实世界材料的多样性在

表面上表现出各种各样的镜面反射，阻碍了传统的光度方法

。此外，阴影通常出现在非凸物体上，遮挡了物体表面的一

部分，阻碍了表面法线的估计。以前处理阴影的尝试通常依

赖于相当严格的兰伯特假设。如果表面上同时出现镜面反射

和阴影，问题变得更加复杂。随着深度学习的最新进展，许

多计算机视觉问题取得了巨大的进步，光度3D重建也不例外

。目前存在的深度学习方法通常以监督训练方式解决问题。

图像的基本物理原理为...

信息没有得到充分利用。此外，深度学习方法的可解释性不

足，无法利用物体外观和表面法线之间的相互作用。尽管存

在各种带有增强策略的合成数据集，但在处理同时具有镜面

反射和阴影的真实世界图像方面仍然存在挑战。在本文中，

我们提出了一种无监督的神经网络方法来解决上述问题。我

们的框架以与表面点对应的图像坐标作为输入，并直接输出

该表面点的表面法线、反射参数（即漫反射反照率和镜面参

数）以及深度。我们提出了一系列神经镜面基函数来考虑真

实世界中不同类型的镜面反射。我们的神经基函数为表面反

射提供了参数化，并通过拟合物体外观来获得准确的表面法

线。此外，我们的框架通过跟踪估计的深度图来明确参数化

阴影区域。然后，这些阴影区域被排除在计算之外，以避免

可能的渲染伪影。遵循逆图形渲染的思想，我们使用估计的

表面法线和神经反射率在不同的光照方向下重新渲染表面点

的像素强度。我们的框架通过在推理过程中最小化重建图像

与观察图像之间的差异来进行优化。因此，不需要任何真实

数据或预训练。我们的方法在具有挑战性的DiLiGenT真实世

界数据集上优于监督和自监督的最新方法。与其他自监督深

度方法相比，我们的框架快十倍。

2.相关工作

传统方法：光度立体首先由Woodham

[30]引入，它假设物体的表面是Lambertian并且是凸面的，

以避免镜面效应和阴影。因此，这个问题可以通过最小二乘

法以闭合形式解决。后来的研究逐渐放宽了上述严格的假设[

12,20,21,31,32]。这些方法可以容忍

下载后可阅读完整内容，剩余9页未读，立即下载

cpongm

粉丝: 6

具有阴影处理的神经反射率用于形状恢复

纹理和阴影不敏感度量标准，用于基于图像的重建

阴影恢复形状源码

基于计算机视觉和神经网络的芒果检测与等级分类.pdf

SAR图像处理

大规模阴影注释数据集SAW：提升卷积神经网络的阴影理解能力

nLMVS-Net：深度学习非朗伯多视图立体重建与反射率估计

SAR图像处理中的云和阴影去除：让数据更清晰的秘诀

高级阴影渲染技术详解：软阴影与硬阴影实现的终极技巧

深度学习在阴影体积重建中的实践

云和阴影剔除：ENVI软件中SAR数据的精确方法

最新资源