手持扫描仪联合估计姿态、几何和svBRDF的研究

3493

关于从手持扫描仪联合估计姿态、几何和svBRDF的研究

CarolinSchmitt1,2,SimonDonn´e1,2,GernotRiegler3VladlenKoltun3AndreasGeiger1,2

1MaxPlanck智能系统研究所，图宾根2图宾根大学3

英特尔智能系统实验室

{名字.姓氏}@tue.mpg.de{名字.姓氏}@intel.com

摘要

一个可微分的操作集成到优化过程中，我们避免了预处理启

发式方法，并证明我们的模型能够独立确定正确的镜面材料

数量。我们对我们公式中每个组成部分的重要性进行了研究

，并对初始几何的要求进行了研究。我们表明，优化姿态对

于准确恢复细节至关重要，并且我们的方法自然地产生了一

个语义上有意义的材料分割。

1.引言

重建物体的形状和外观是计算机视觉和图形学中一个长期的

目标，具有从远程存在到在真实环境中训练具有身体感的代

理的众多应用。虽然新颖的深度感知技术（例如Kinect）实

76]的对象几何从图像中推断出来。然而，大多数设置要么

仅限于实验室环境、平面几何，要么难以在“野外”使用，

因为它们假设对齐的3D模型或扫描。

具有相等贡献的共同第一作者。

3494

在这项工作中，我们提供了一个新的问题表述，不依赖于复

杂的流程或解耦的目标函数。然而，我们假设数据是在已知

的非静态照明下捕获的，环境光线可以忽略不计。我们的贡

献如下：（1）我们证明了使用单一目标函数和现成的基于

梯度的求解器可以进行相机姿态、物体几何和材料的联合优

/github.com/autonomousvision/handheldsvbrdf

geometry上公开获取。

2.相关工作

我们现在讨论几何、材料以及联合几何和材料估计方面的相

关工作。

多视图立体（MVS）重建技术[18，38，39，77，80，84

，85]通过匹配视图间的特征对应或优化光照一致性，从多

个输入图像中恢复物体的三维几何。由于它们忽略了物理光

传输，因此无法恢复材料属性。此外，它们只能为具有足够

高度不适定的问题，需要对表面几何做出强烈的假设。此外

，纹理对象常常会引起不确定性，因为强度变化可能是由于

表面方向或表面反照率的变化引起的。光度立体（PS）方法

[25，63，70，71，83，

88，102]假设使用静态相机拍摄三张或更多张图像，同时改

变照明或物体姿态[41，82]以解决上述的不确定性。与早期

常常假设正交相机和远程光源的PS方法相比，新的研究考虑

了近距离光源[42，43，74，94]和透视投影[53，54，68]

的更实际的设置。为了处理非-

3495

这些方法中的大多数考虑多个视点和/或估计空间变化的BR

DF，但它们都需要来自相同视点的多个图像作为输入，即它

们假设相机固定在三脚架上。虽然这会简化问题，但我们在

这里感兴趣的是从手持设备中联合估计几何和材料，该设备

可用于在实验室外扫描各种物体，并且通过从多个视点扫描

。他们使用k-means将初始BRDF估计聚类为基础材料，并

使用[58]的方法迭代地重新计算3D几何。在类似的思路下，

Nam等人[57]将优化问题分解为不同的部分。他们首先使用

k-means对材料估计进行聚类，然后使用交替优化过程交替

更新材料、法线和几何。后者使用筛选泊松表面重建[35]进

行更新，而材料则使用单独的目标进行恢复。我们工作的主

要贡献是对这个问题的简单和清晰的表述：我们证明几何和

材料可以使用一个单一的目标函数联合推断，并使用标准的

基于梯度的技术进行优化。我们的方法自然地允许优化其他

相关量，如相机姿态，并将材料聚类作为可微分操作集成到

我们的可视化中，所有观测都以此基准视角表示。我们的目

标是联合恢复相机姿态、场景的几何形状以及材料属性，其

中材料属性以空间变化的双向反射分布函数（svBRDF）的

形式表示。更正式地说，我们希望估计一组P个表面点p的位

置xp=(xp,yp,zp)T，表面法线np=(nxp,nyp,nzp)T和svBRD

Ffp(∙)，以及将3D点映射为2D的投影映射πi：R3→R2。