基于CNN的非凸表面光度立体网络：克服全局光照效应的新方法

标题："基于CNN的非凸表面光度立体网络"研究旨在解决光度立体问题，这是一个3D计算机视觉领域的挑战，其输入数据通常是无序且数量不固定的，比如多视点立体。传统方法往往依赖于基于双向反射分布函数(BRDF)的图像形成模型，该模型在处理全局光照效应，如阴影和相互反射时存在局限性，尤其是在非凸表面的场景中。 文章创新之处在于提出了一种新型的光度立体网络，名为CNN-PS，它直接学习光度立体输入与场景表面法线之间的关系，而非传统的逆求解过程。通过将无序的输入图像整合到称为“观察图”的中间表示中，观察图具有固定的形状，便于输入到卷积神经网络(CNN)进行处理。这种方法考虑到了全局光传输，因此在处理非凸表面时更为准确。 为了提升训练和预测的质量，文章还引入了观测图的旋转伪不变性，这是从各向同性约束中推导出的特性，有助于网络对输入数据的不同角度和旋转保持稳定。为了构建有效的训练数据，研究者使用物理渲染器生成了一个合成光度立体数据集，这使得模型能够在考虑到全局光照条件下进行训练。 实验结果显示，与传统的BRDF-based光度立体算法相比，基于CNN的方法在处理高度非凸场景时表现更优，特别是在处理复杂的光照和非线性效应时，显示出显著的优势。这一研究不仅拓宽了深度学习在三维视觉中的应用，也为处理非结构化输入数据提供了一种新的解决方案。 总结来说，这项工作利用深度学习技术，特别是CNN，解决了光度立体问题中的全局光照处理难题，通过创新的网络架构和中间表示，提高了对非凸表面的恢复精度，并为其他类似非结构化3D视觉任务提供了有价值的经验。