Pixel2Mesh:从单一 RGB 图片生成 3D 网格模型
摘要
我们提出了一种端到端的深度学习框架，它可以从单一色彩图像
生成一个三角形网格的三维模型。受限于深度神经网络特性的限制，
以前的方法通常是使用体积或点云的形式来表示三维形状，将他们转
换为更加易于使用的网格模型并非易事。不同于现有方法，我们的网
络在基于图形的卷积神经网络中表示 3D 网格，并通过利用输入图像
中提取的感知特征使椭圆体逐渐变形来产生正确的集合形状。我们采
用从粗到精的策略来使整个变形过程稳定，并定义了各种与网络相关
的损失函数，以捕获不同级别的属性，用来保证 3D 几何形状在视觉
上的吸引和物理上的精确。大量的实验表明，与现有技术相比，我们
的方法不仅可以定性的生成具有更好细节的网格模型，而且可以实现
更高的三维形态的估计精度。
介绍
从单一角度推断 3D 形状是人类视觉的基本功能，但对计算机视
觉而言却极具挑战性，最近，在使用深度学习技术从单色图像生成 3d
形状方面取得了巨大的成功。利用规则网格上的卷积层或多层感知，
把估计出的 3D 模型表示为体积（volume）或者点云作为神经网络的
输出。但是，两种表述都失去了重要的表面细节，这对于重建一个曲
面模型是非常重要的（如图 1），许多真的应用更加需要网格细节，因
为它是轻量级的，能够更加细节重建模型，容易变形动画等。
在本文中，我们沿着单色图像重建的方向发展，并提出了一种从
单色图像中提取 3D 三角形网格的算法。我们的模型不是直接合成，
剩余10页未读，继续阅读
评论0