![](https://csdnimg.cn/release/download_crawler_static/88424275/bg4.jpg)
除了从视觉重建体素中的对象之外,还尝试在点云[11,15]或八度树
[40,49,39]中重建对象,或者使用触觉信号[53]。
相关方向是估计2. 5 D草图(
例如
,深度和表面法线图)。在过
去,研究人员已经探索了从阴影,纹理或彩色图像恢复2.5D草图[2,
3,20,47,55,63]。与
随着深度传感器[23]和更大规模的RGB-D数据集[33,42,43]的发展,
也有关于使用深度网络估计深度[6,10],表面法线[1,54]和其他内在
图像[25,41]的论文受MarrNet [56]的启发,我们通过建模2.5D草图来
重建3D形状,但为了更高的质量,我们引入了自然度损失。
感知损失和对抗性学习。 研究人员最近提出使用感知损失来评估2D
图像的质量[26,9]。这个想法已被应用于许多图像任务,如风格转移
和超分辨率[26,31]。此外,这个想法已经扩展到使用生成对抗网络
(GAN)学习感知损失函数[14]。GANs将对抗性鉴别器纳入生成建模
过程中,并在图像合成等任务上取得了令人印象深刻的性能[37]。
Isola等人[22]和Zhu
et al
.[65]分别在有监督和无监督的情况下使用GAN
进行图像翻译。
在3D视觉中,Wu
et al
.[57]扩展了用于3D形状合成的GANs然而,他
们的形状重建模型(3D-VAE-GAN)通常会产生一个嘈杂的,不完整
的形状给定的RGB图像。这是因为与识别网络联合训练GAN可能非常
不稳定。许多研究人员也注意到了这个问题:尽管3D形状空间的对抗
建模可以解决前面讨论的模糊性,但其训练可能具有挑战性[8]。解决
这个问题,当Gwak
et al
.[17]探索了用于单图像3D重建的对抗网络,并
选择使用GANs来建模2D投影而不是3D形状。然而,这种弱监督的设
置,阻碍了他们的重建。在本文中,我们通过3D形状空间的对抗建模
来开发我们的自然度损失,显著优于最先进的技术。
3
方法
我们的模型由三个部分组成:2.5D草图估计器和3D形状估计器,通过
2.5D草图从RGB图像预测3D形状(图3-I,II,受MarrNet [56]启发),
以及深度自然度模型,如果预测的形状不自然,则惩罚形状估计器
(图3-III)。单独使用监督重建损失训练的模型通常会生成模糊的平
均形状。我们的学习自然度模型有助于避免这个问题。
2.5
三维草图估算网络。我们的2.5D草图估计器具有编码器-解码器结
构
,其在
特定时间处从RGB图像中提取出图像的外观、表面规格和外观
(图3-I)。我们使用ResNet-18 [19]将256×256的图像编码为512个8
×
8
的特征图解码器由四个转置卷积层组成,内核大小为5
×
5,步幅和填
充为2。然后,预测的深度和表面法线图像被预测的轮廓掩盖,并用
作我们的形状完成网络的输入。
3D形状完成网络。我们的3D估计器(图3-II)是编码器-解码器网络,
其从2.5D草图预测规范视图中的3D形状