基于VAE-GAN的3D积云图像建模技术研究.

Citation：Zili ZHANG，Yunchi CEN，Fan ZhANG，Xiaohui LiANG.基于VAE- GAN的图像积云建模.虚拟现实智能硬件，2021，3（2）：171-181DOI：10.1016/j.vrih.2020.12.004虚拟现实智能硬件2021年12月3日第2·文章·基于VAE-GAN的图像积云建模ZiliZHANG1，2，YunchiCEN1，FanZHANG1，XiaohuiLIANG1*1. 北京航空航天大学虚拟现实技术与系统国家重点实验室，北京1001912. 石家庄学院计算机科学与工程系，河北石家庄050035*通讯作者，liang_xiaohui@buaa.edu.cn投稿时间：2020年8月30日修订日期：2020年10月11日接受日期：2020年12月15日国家重点研发计划项目（2017YFB1002702）资助摘要背景积云是创建虚拟户外场景的重要元素。由于云的流体性质，模拟具有特定形状的积云是困难的。基于图像的建模是解决这一问题的有效方法。由于云形状的复杂性，从单个图像建模云的任务仍处于开发阶段。方法在这项研究中，开发了一种基于深度学习的方法来解决从单个图像建模3D积云的问题。该方法采用了一个三维自编码器网络，结合了变分自编码器和生成对抗网络。首先，一个3D云的形状被映射到一个独特的隐藏空间使用建议的自动编码器。然后，解码器的参数是固定的。提出了一种形状重建网络来代替编码器部分，并使用渲染图像对其进行训练。为了训练所提出的模型，我们构建了一个3D积云数据集，其中包括200个三维积云模型。这些积云是在不同的照明参数下渲染的。 结果定性实验表明，所提出的自动编码器方法可以学习更多的三维积云形状的结构细节比现有的方法。最后，通过绘制图像的建模实验验证了该模型的有效性. 结论所提出的自编码器网络学习了三维积云形状的潜在空间。所提出的重建架构从单个图像建模云。实验证明了两种模型的有效性。关键词三维云模型;三维自编码器网络;生成对抗网络1介绍积云是创建虚拟环境的重要元素。然而，云的建模仍然是一个具有挑战性的任务，因为云是一种参与媒体，在本质上是流动的。已经提出了许多方法来模拟云。积云模拟方法主要有基于过程的方法、基于物理的方法和基于图像的方法。过程建模[1- 3]可以生成逼真的云场景;然而，这些方法通常需要设计人员手动调整许多参数以获得逼真的云。为了解决这个问题，物理基础2096-5796/©版权所有2021北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.com虚拟现实智能硬件2021年12月3日第2已经提出了模拟方法[4- 7]。这些方法通常通过求解Navier-Stokes方程和热力学方程来模拟云的形成。因此，这些方法可以生成逼真的时变云。然而，过程建模和基于物理的方法在建模特定的云场景时都有局限性。与前两种方法不同，基于图像的方法[8- 12]的目标是通过利用图像中的几何信息基于给定的云图像对云进行建模Dobashi等人提出了一种从单张照片中建模云的方法[8]。该方法使用不同的算法来模拟不同的云类型。对于积云，通过使用基于几何的方法从输入图像确定云表面。3D建模过程基于云内部密度大于边界密度的假设。然而，该方法不能建模的云表面的细节，因为它只考虑整体形状。为了克服这个问题，Yuan等人提出了一种从单个图像模拟积云的方法[9]。该方法通过逆求解单个散射模型生成3D形状[13]。云的形状被假定为对称的，并且一些照明参数，例如消光系数和反射率，被设置为恒定的然而，许多云并不符合这些假设。同时，积云的侧面仍然是不自然的，因为只有正面和背面缝合。为了解决这个问题，我们提出了一种基于深度学习的方法，其灵感来自于使用卷积神经网络从图像中建模3D对象近年来，由于基于深度学习的方法的发展，从单个图像重建3D对象受到了极大的关注[14- 22]。ShapeNet[23]数据集为该任务提供了训练数据。3D模型有三种存储形式：点云、体素和网格。在点云方面，Fan等人提出了一种端到端的深度学习网络，该网络使用编码器-解码器结构来基于单个图像重建3D模型[14]。该方法采用了一种新的度量使用倒角距离和地球移动器距离的损失函数。Navaneet等人提出了一种深度学习技术，以自我监督的方式学习3D点云重建和姿势[16]。该方法采用来自训练集的属于类似3D模型的图像来辅助训练。Choy等人提出了一种递归神经网络架构（3D-R2 N2）模型，可以从单视图或多视图图像中以3D占用网格的形式重建3D对象[15]。该方法不需要图像注释或对象类标签进行训练或测试。然而，这种方法不适合重建复杂的对象，如摩托车和自行车。Kato等人首先提出了一种使用神经渲染器的渲染网格，用于从单个图像和2D到3D图像风格转换重建3D对象[17]。Liu等人提出了一种深度保持的潜在生成对抗网络（GAN），用于从物体的单目深度图像进行3D重建[22]。上述基于学习的方法可以有效地从单个图像重建3D形状;然而，由于缺乏训练数据集以及形状和光照之间的耦合关系，它们不足以建模积云。为了克服这些问题，我们提出了一种基于变分自动编码器（VAE）和GAN的方法，我们构建了一个三维积云数据集，包括三维模型和相应的图像。本研究的贡献如下：(1) 我们提出了一个模型的基础上VAE-GAN从图像中建模积云。所提出的神经网络学习积云的三维形状的潜在空间。(2) 我们采用两步训练策略来解耦结构和光照。建议的神经网络使用体素作为输入，由一个编码器，一个解码器，和一个解码器。在训练网络之后，编码器的输出E3D是3D积云形状的潜在空间。(3) 我们设计了一个新的编码器，Eimg，它以图像作为输入，基于ImageNet-18，以取代以前的编码器，E3D。为了使用所提出的模型从输入图像重建3D积云，新的编码器应该具有与E3D相同的输出。1723D3D3D张自力等：基于VAE-GAN的图像积云建模2方法图1中显示了用于从给定图像重建云的3D形状的管道的概述。这种方法与刚体重建非常不同。此外，积云是一种活跃的介质，表现出光衰减和散射。最终的渲染结果不仅受云的结构影响，还受光照的影响。因此，在模拟积云时，有必要消除光照的影响。为了解耦积云结构和光照之间的关系，提出了一种两步训练策略。我们设计了一个基于VAE[24]和GAN[25]的自动编码器CumAE。我们首先训练网络CumAE，它通过自监督训练获得每个3D积云模型的潜在空间表示。接下来，解码器是固定的。我们设计了一种新颖的编码器，采用积云图像作为输入。因此，主要关注的是确定如何使用新的编码器来获得相同的潜在空间描述，以消除光照的影响对重建的形状 我们云形状重建网络如图1所示。图1从给定图像重建云形状的图形表示。2.1三维积云模式受3D-VAE-GAN[26]工作的启发，我们设计了一个3D积云自动编码器网络CumAE，它具有与[26]类似的网络结构。此外，还增加了两个培训部分。首先，我们使用一个编码器来区分生成的3D积云模型和自动编码器，自动编码器用作生成器。为了达到更好的重建效果，我们依次训练生成器和训练器。其次，设计了基于VAE的编码器。将三维积云模型映射到正态分布的隐层空间。最后从隐空间采样得到最终的三维积云模型。2.1.1生成模型目前，VAE和GAN是深度学习中最著名的两个生成模型。在这项研究中，我们设计了一个基于VAE和GAN的自动编码器结构。自动编码器用于模拟三维积云模型的分布。传统的自动编码器网络结构如图2所示。这使得输入和输出之间的差异尽可能小。因此，解码器具有对3D积云模型建模的能力。但是，它无法学习三维积云模型的隐空间的连续分布，从而导致泛化能力较弱。为了解决这个问题，我们使三维积云形状的潜空间服从正态分布。因此，我们可以从隐藏的空间重新采样，以生成一个新的三维积云模型，坚持正态分布。这说明该解码器具有良好的泛化能力VAE和GAN都可以通过使用潜变量Z（其是正态分布）来生成具有与目标数据X相同的分布的新数据。因此，编码器用于学习潜在变量Z在我们的工作中然后，一个3D积云模型可以图2生成模型结构。173虚拟现实智能硬件2021年12月3日第2通过使用解码器g获得，其中Z作为输入;即，X=g（Z）。2.1.2三维积云自动编码网络我们提出了一个3D积云自动编码器网络，它是基于上述第2.1.1节的描述，以提取3D积云的结构特征。潜空间积云模型名为CumAE3D的模型的架构由编码器、解码器和解码器组成，如图3所示。在该模型中，编码器和解码器共同构成生成器。图3三维积云自动编码器网络，CumAE3D。编码器和解码器都用作生成器。编码器的输出是具有正态分布的3D积云形状的潜在空间。编码器包括五个卷积层，两个全连接层和一个随机采样（RD）层。每个卷积层的输出由BatchNorm3D层进行归一化，这使得每个层的输入具有相同的分布。同时，该结构可以加快收敛速度，避免反向传播过程中的梯度耗散。两个完全连接的层分别命名为FC 1和FC 2。FC 1学习服从正态分布的潜在空间变量的平均值，FC 2学习标准差。RD层使用FC 1和FC 2的输出作为输入。然后，通过随机抽样获得3D模型的最终潜在空间表示。在抽样过程中，必须从正态分布P（Z）中抽取样本Zk| Xk）。由于在FC1和FC2层中计算平均值和标准差，因此消除了模型中梯度的反向传播。为了解决这个问题，我们首先从标准正态分布中抽取样本。然后，将样本乘以方差并添加到均值。该过程如图4所示。受ResNet[27]的启发，解码器由五个与残差块具有相同结构的子结构组成，如图5所示该结构使生成的模型能够保留更多的细节。子结构由主干网络和分支网络组成。 主干网络首先通过去卷积层。然后通过大小为3 × 3 × 3的3D卷积层调整输出。侧支仅包含一个三线性网络。最后的结果是骨干网和分支部分的两个输出之和。该神经网络被看作是一个二元分类网络。输入是大小为64 × 64 ×64的积云3D体素模型，输出是生成的模型和积云3D数据集的分布相同的概率。2.1.3自动编码器损失函数图4取样过程。图5三维反褶积层结构。根据第2.1.2节，3D积云自动编码器CumAE3D由两部分组成：生成器G和CumAED。发生器由编码器和解码器组成。对于发生器，损失函数可以由L3D-GAN、LKL、Lrecon和Lmask四部分组成。发电机的总损失函数如下：174张自力等：基于VAE-GAN的图像积云建模L1=L3D-GAN+α1LKL+α2L重组蛋白+α3Lmask（1）其中L3D-GAN表示由VAE对重建模型的识别，LKL是由VAE引入的发散损失，Lrecon表示重建模型与输入模型之间的差异，Lmask是重建掩模与原始掩模之间的差异.此外，α1，α2，和α3是标度参数。损失函数中的每个元素计算如下：L3D-GAN=+log（1-D ）（2）L KL= D KL（q（z|年）的||（3）L重建=||G  -x||第二章（四）L掩码= ||P x-M（x）||第二章（五）其中x是3D积云模型，M（x）是模型x的掩模。2.2重建网络在第2.1节中，我们得到了每个3D模型的潜在空间表达式，包括200维的均值向量和200维的方差向量。接下来，我们使用渲染图像作为输入训练了一个3D重建网络。基于图像的重建模型的结构如图6所示。为方便起见，将模型命名为CumRNimg。注意，网络CumRNimg仅使用新的编码器结构。它将图像作为输入，用于替换编码器E3D。解码器部分与前面的网络相同。由于ResNet-18的参数比ResNet-50少，并且建议数据集的大小小于ImageNet，因此我们使用ResNet-18作为编码器Eimg。图6以图像为输入的三维重建网络结构。2.2.1实现细节由于输入的自然图像包含关于结构和亮度的信息，编码器Eimg应该仅从输入中学习结构特征，以消除亮度对建模积云的影响。根据以上描述，该模型输出对应的用于渲染分辨率为224 × 224的积云图像的3D体素模型作为输入。利用E3D编码器可以得到三维体素模型的隐空间表达式.因此，我们必须只训练编码器Eimg为输入图像输出相同的潜在空间，这是3D体素的渲染结果。因此，编码器参数被逐渐调整，并且解码器参数在训练期间被固定我们更新了所提出的模型使用以下目标：L2 =L潜伏期 +β 1L重组蛋白 +β2L面罩（6）其中β1和β2是尺度参数，Llatent表示隐藏空间向量的一致性，Lrecon为- 最终重建的3D模型的一致性，L掩模，其测量3D模型的前向投影与输入图像之间的一致性。 测量一致性的三个项目-L latent，L recon和L mask-使用L2损失函数如下：175虚拟现实智能硬件2021年12月3日第2Llatent=E imag-E2（7）Lrecon=E imag-2（8）Lmask=PE imagx-xmask（九）其中x是输入图像，xmask表示云的遮罩，y是输入的3D体素模型。函数P是正投影的过程。我们设β1= β2= 0。5，并在训练期间固定解码器的参数。同时，我们使用Adam优化器，编码器Eimg的初始学习率为0.0025，批量大小为8。所提出的结构是稳定的，可以可靠地收敛。网络在大约20个时期收敛。图7显示了收敛图，x轴是训练迭代器，y轴是误差。注意，在大约15个时期之后，损失函数误差小于0.004并保持在恒定水平。3三维积云数据集图7训练过程中的损失函数图。三维积云数据通常难以通过现有的检测方法获得，这使得构建三维积云数据集具有挑战性。从互联网上收集的大量自然云图像可供使用。因此，我们使用Blender根据收集的积云图像手动建模这些3D积云模型。在上一步中构建的数据集以网格的形式存储。此外，这些三维积云模型被送入积云编码器网络作为训练数据。因此，有必要采用数据预处理，将这些积云模型的三角形网格的形式转化为体素。然后，我们绘制这些积云模型在不同的照明参数和相机的位置。最后，使用彼此对应的3D模型、照明参数和渲染图像构建积云数据集。图8中示出了一些示例。图8左：我们的3D积云模型数据集的示例。右：3D积云模型的图像和不同照明下的相应渲染图像。由于数据集包含的3D积云模型比需要训练的模型少，因此输入数据被增加以提高网络的泛化性能。因此，我们采用了三种增强方法。首先，随机旋转的过程被用于选择模型。在水平方向上旋转模型，并且从0°和360°采样旋转度。1762x，y张自力等：基于VAE-GAN的图像积云建模其次，模型是随机缩放的。对于每个维度-长度，宽度和高度-缩放系数范围从0.8到1.2。第三，翻译模型。翻译范围设定为-5至5.负数表示尺寸沿相反方向平移。4结果我们在12 GB Nvidia GeForce TITAN GPU上训练和评估了所提出的模型。实验分为两部分。首先，我们评估了CumAE3D的性能。其次，我们进行了详细的实验来验证网络，CumRNimg。图9绘制了自动编码器CumAE3D的重建结果示例。左列显示作为输入的网格模型;第二列是相应的体素模型。为了验证具有残差结构的解码器的有效性，将我们的方法与不具有残差结构的解码器进行了比较，该解码器使用反卷积结构进行上采样。我们的结果显示在最后一栏。与第三列相比，它显示了没有残留结构的解码器的结果，我们的方法保留了更多的细节。实验结果表明，该方法能更好地刻画输入模型的特征，更完整地重建输入形状。我们计算了测试样本的重建误差和投影误差，以评估所提出的模型重建误差定义如下：∑x mi，j，k ！=ym（i，j，k）DiffReconM m最终i j kN3最终图9使用不同解码器的重建比较。从左至右：输入网格、对应的体素、没有残差结构的解码器的结果、以及具有残差结构的解码器的结果。177=虚拟现实智能硬件2021年12月3日第2其中xm是输入，ym是使用所提出的模型的重建体素，并且N是体素数据的维度。投影误差定义如下：∑∑xm阿克M你好！=ym（i，j）DiffM掩码=Ij掩模N2掩模结果见表1。值得注意的是，所提出的具有残余结构的模型实现了最好的表现。我们还将我们的方法与最先进的基于深度学习的3D形状重建进行了比较[26]。表1重建和投影误差不同云的一些重建结果如图10所示。左列显示输入的合成云图;右四列显示重建结果。请注意，四朵云彩的形状是不同的。两者无残留结构模型具有剩余结构的模型重建错误0.07620.0710投影错误0.03140.0159重建的形状和投影结果表明，我们的方法可以重建的3D形状匹配的输入图像。此外，我们的方法提供了更多的细节比吴等人提出的方法。[26]第10段。图10网络CumRNimg我们的方法比[26]中的方法保留了更多的细节。与传统方法[9]相比，深度学习方法获得的重建结果可以更好地恢复模型侧面和背面的信息。与此同时，它并没有产生严重的分裂现象。然后，我们通过选择几个从侧面观察的渲染图像来评估这一发现。重建结果如图11所示。实验结果表明，该方法能够在不产生严重对称性影响的情况下，较好地恢复侧面和背面的形状。178得双张自力等：基于VAE-GAN的图像积云建模图11从侧面观察的图像重建积云形状的例子。5结论在这项研究中，我们提出了一个自动编码器网络，包括一个编码器，一个解码器，和一个解码器，以解决从一个单一的图像建模积云的问题。该模型结合了VAE和GAN来学习3D云形状的嵌入。在训练自动编码器之后，解码器部分的参数是固定的。然后，使用我们设计的另一种编码器结构来代替编码器部分;它采用单个图像作为输入。同时，GAN部分被删除。最后，新的编码器以图像为输入，解码器由单幅图像组成积云重构网络。为了训练这两个模型，我们构建了一个3D积云数据集，包括200个3D积云模型。这些积云是在不同的照明参数下渲染的。定性实验结果表明，该方法能更好地模拟出与输入图像匹配的三维积云形状，并具有更多的结构细节。所提出的方法的一些问题仍有待解决。例如，我们使用3D云点作为输入，而不是体素，以提高重建形状的分辨率。尽管重建方法产生清晰的模型，但由于缺乏结构信息，3D形状通常具有一些残留的小孤立区域。该问题可以通过使自动编码器显式学习结构特征来解决。竞合利益我们声明我们没有利益冲突。引用1加德纳云的视觉模拟。在：第12届计算机图形学和交互技术年会的会议记录-SIGGRAPH '85。New York，ACMPress，1985，297DOI：10.1145/325334.3252482Blinn J F.代数曲面图的推广。ACM Transactions on Graphics，1982，1（3）：235-256 DOI：10.1145/357306.3573103Goswami P，Neyret F.实时对流云模拟。第19届交互式3D图形和游戏研讨会论文集。旧金山加利福尼亚州，纽约，ACM，2015 DOI：10.1145/2699276.27213964王文，王文，等.射线追踪.北京：科学出版社，2000.在：第11届计算机图形学和交互技术年会-SIGGRAPH '84。纽约，ACM出版社，1984年DOI：10.1145/800031.8085945杨志，李志华.一种基于大气流体动力学的云建模方法。第九届太平洋计算机图形与应用会议论文集，太平洋图形，2001年。2001，363-372 DOI：10.1109/PCCGA.2001.962893179虚拟现实智能硬件2021年12月3日第26杨伟，王伟，王伟.使用基于位置的流体进行自适应云模拟。计算机动画与虚拟世界，2015，26（3/4）：367DOI：10.1002/cav.16577杨志，杨文.基于计算流体力学的积云形成反馈控制。ACM图形学报，2008，27（3）：1DOI：10.1145/1360612.13606938作者：Dobashi Y，Shinzo Y，Yamamoto T.从一张照片中模拟云。计算机图形学论坛，2010，29（7）：2083-2090DOI：10.1111/j.1467-8659.2010.01795.x9袁春青，梁晓华，郝世英，齐永，赵庆平。从单幅图像模拟积云形状。计算机图形学论坛，2014，33（6）：288DOI：10.1111/cgf.1235010[10]杨文，杨文，杨文.基于外观转移的稀疏多视点图像流体体积建模。ACM图形学报，2015，34（4）：1DOI：10.1145/276695811张志良，梁晓华，袁春琴，李芳文斌.从高分辨率卫星图像模拟积云场景。计算机图形学论坛，2017，36（7）：229DOI：10.1111/cgf.1328812杨伟华，王伟华，王伟华.从单个视图耦合流体密度和运动。计算机图形学论坛，2018，37（8）：47DOI：10.1111/cgf.1351113王文，王文，等.射线追踪.北京：科学出版社，2000.在：第11届计算机图形学和交互技术年会-SIGGRAPH '84。纽约，ACM出版社，1984年DOI：10.1145/800031.80859414Fan H，Su H，Guibas L J.一种从单幅图像重建三维物体的点集生成网络。IEEE计算机视觉与模式识别会议论文集。2017年，第605DOI：10.1109/CVPR.2017.26415Choy C B，Xu D F，Gwak J，Chen K，Savarese S. 3D-R2 N2：用于单视图和多视图3D对象重建的统一方法。In：Computer Vision-ECCV 2016. Cham：Springer International Publishing，2016，628-644 DOI：10.1007/978-3-319-46484-8_3816Navaneet K L，Mathew A，Kashyap S，Hung W C，Jampani V，Babu R V.从图像集合到具有自监督形状和姿势网络的点云。2020年IEEE/CVF计算机视觉和模式识别会议（CVPR）。2020，1129DOI：10.1109/CVPR42600.2020.0012117Kato H，Ushiku Y，Harada T.神经3D网格渲染器。IEEE计算机视觉与模式识别会议论文集。2018年，390718Navaneet K L，Mathew A，Kashyap S，Hung W C，Jampani V，Babu R V.从图像集合到具有自监督形状和姿态网络的点云。2020年IEEE/CVF计算机视觉和模式识别会议（CVPR）。2020，1129DOI：10.1109/CVPR42600.2020.0012119放大图片作者：J. M.用卷积神经网络进行生成和判别体素建模。201620Gadelha M，Maji S，Wang R.从多个对象的2D视图进行3D形状归纳。2017年国际3D视觉会议（3DV）IEEE，2017，40221杨B，罗莎S，马克汉姆A.从单个深度视图进行密集3D对象重建。IEEE模式分析与机器智能学报，2018，41（12）：2820DOI：10.1109/TPAMI.2018.286819522刘春霞，孔德辉，王世芳，李建辉，尹宝春。DLGAN：用于3D的180张自力等：基于VAE-GAN的图像积云建模重建IEEE Transactions on Multimedia，2020，1 DOI：10.1109/tmm.2020.301792423李文，李文. 3D形状集合中区域标注的可扩展活动框架。ACM Transactions on Graphics，2016，35（6）：1-12DOI：10.1145/2980179.298023824作者：J.自动编码变分贝叶斯。201325Mirza M，Osindero S.条件生成对抗网。201426吴军，张春，薛涛，弗里曼，特南鲍姆.通过3D生成对抗建模学习对象形状的概率潜在空间。第30届神经信息处理系统国际会议论文集。西班牙巴塞罗那，Curran Associates Inc，2016，8227何克，张X，任S，孙J. Deep Residual Learning for Image Recognition. 2016年IEEE计算机视觉与模式识别会议（CVPR）2016年，第770DOI：10.1109/CVPR.2016.90181