SurfGen：球面投影判别器的对抗性3D形状合成

162380SurfGen：具有显式表面判别器的对抗性3D形状合成0Andrew Luo 1 Tianqin Li 1 Wen-Hao Zhang 2 Tai Sing Lee 101 卡内基梅隆大学 2 芝加哥大学0摘要0深度生成模型的最新进展在3D形状合成方面取得了巨大进步。虽然现有模型能够合成以体素、点云或隐式函数表示的形状，但这些方法只间接强制执行最终3D形状表面的合理性。在这里，我们提出了一种3D形状合成框架（SurfGen），它直接将对抗训练应用于物体表面。我们的方法使用可微分的球面投影层，将隐式3D生成器的显式零等值面表示为在单位球上定义的函数。通过在对抗设置中使用球面CNN处理3D物体表面的球面表示，我们的生成器可以更好地学习自然形状表面的统计信息。我们在大规模形状数据集上评估了我们的模型，并证明端到端训练的模型能够生成具有多样化拓扑的高保真度3D形状。01. 引言0形状生成主要关注多样化、逼真和新颖形状的合成。高保真度的3D形状模型对于创建沉浸式虚拟世界至关重要，并且对于许多学科，包括建筑、视觉效果和训练机器人在模拟导航中也很重要。随着大规模3D物体数据集（如ShapeNet[6]和ModelNet[62]）的引入，构建3D形状生成模型取得了显著进展。主要方法是使用神经网络易于处理的表示进行训练，如体素网格、点云或隐式函数。这与大多数图形和仿真任务不同，后者需要使用三角网格表示形状。在这些框架中，当在对抗设置中进行学习时，判别器只间接确保物体表面的逼真性。在训练神经网络时，物体表面的固有不规则性和离散性是一个主要障碍。同一物体类别中的不同物体可能具有完全不同的拓扑，并且当表示为三角网格时，可以通过不同的内部连接进行描述。我们的关键见解是，应用于表面的判别器应该专注于几何属性。0图1. 我们的模型在ShapeNet[6]椅子类别上训练生成的具有复杂结构的椅子示例。0表面的形状（曲率、方向、拓扑等）的属性，而忽略与形状无关的属性。在这里，我们提出将物体表面转换为使用可微分函数f M→ S计算的球面映射。球面映射是在球面表面的离散样本上定义的表面表示。每个像素点的值表示沿射线的物体表面的最小距离，以及沿射线的表面占用情况。球面映射具有吸引力，因为它是一种能够捕捉形状表面几何的独特表示。给定一个球面映射，我们然后利用具有球面卷积层的网络来完成我们的判别器。我们提出了SurfGen，这是一个端到端的3D形状生成模型，它通过判别器对隐式形状函数的显式零等值面进行操作进行训练。我们证明，在物体表面应用对抗训练可以生成高度逼真的形状。这导致了一种能够生成具有任意拓扑和分辨率的高质量形状的方法。我们模型生成的形状示例如图1所示。0总结我们的贡献有三个方面：0•我们引入了一个球面投影算子，它以显式三角网格作为输入，并且对顶点是完全可微的。0•我们提出了SurfGen，一个端到端可微的3D形状合成框架，该框架在生成器的零等值面上应用对抗目标。0• 我们展示了我们的模型可以合成具有多样性拓扑的逼真高质量的形状。1623902. 相关工作0我们的方法与学习3D形状分析和生成的统计模型的先前工作相关。在本节中，我们将讨论基于深度学习的3D形状模型，球面投影和可微渲染。0深度学习用于3D形状。深度学习的最新进展使得模型能够进行基于图像的形状重建和新形状合成。3D-R2N2[9]提出了一种用于基于体素的多视图重建的递归模型，[16,19, 60,69]进一步改进了基于图像的体素重建。由于内存限制，这些方法在分辨率方面通常受到限制。也有一些方法提出从图像生成点云[14,56]，然而，点云的无序性限制了最终3D重建的准确性。一些方法已经被提出来变形网格模板[23, 57,49]，或一组表面片[18]。这些技术通常局限于建模具有固定拓扑的形状，或者生成的网格需要进行后处理才能使用。最近已经有可能回归隐式函数，以二进制占用或有符号距离的形式[63, 8, 38,41]。类似地，其他形式的学习3D先验已被应用于转换或改进现有的形状表示[59, 4, 13]。03D形状的生成模型。现代的3D形状生成模型通常利用对抗性约束，采用变分方法或使用基于流的模型。值得注意的是，[62]设计了一个深度置信网络，用于在大规模数据集上训练时合成新的形状。[61]提出使用生成对抗网络（GAN）进行体素合成。[1, 68]提出了学习潜在GANs[37]用于点云，而[28]提出了自编码目标来稳定点云生成模型的训练。类似地，[15, 53,46]提倡改进生成器以改善点云生成。还提出了基于潜在GANs[8]和点云判别器[27]的隐式生成模型。虽然这些方法能够生成高分辨率的形状，但仍然难以处理细小结构和不合理的物体。0球面表示。球面表示捕捉了球面上形状的信息。为了进行形状检索，[2, 25,54]将形状表示为球面距离函数，[66]捕捉表面交叉点的数量。球面表示也已经在现代深度学习系统中用于对象识别[5]。[69]使用从体素网格计算得到的不可微球面表示来促进投影球面中的3D形状重建。0空间，展示了球面投影在形状合成中的有效性。在我们的工作中，我们提出了一个完全可微的球面投影，以捕捉表面的统计信息，从而实现生成器的端到端训练。0可微渲染。球面投影可以被视为使用非线性投影算子的渲染操作。由于渲染操作通常是离散的，它不能提供可用于优化的错误梯度。已经提出了各种基于网格[10, 33, 29, 24, 31,8, 43]、点云和隐式[32, 40, 39,48]的可微渲染器。[24]开发了一种用于光栅化的梯度近似方法。[50]提出使用可微渲染器学习高频面细节。[35]还展示了在3D场景优化中可微渲染的可行性。[64]提出了一种可微体积采样方法，可以近似射线追踪算法。其他作品，如[22,21]，也实现了用于单幅图像3D形状重建任务的可微操作。我们的工作使得在球面投影层中基于梯度的优化成为可能，允许生成器通过在球面域中定义的误差信号进行优化。03. 方法0我们提出了SurfGen，一个端到端完全可微的三维形状生成框架。我们模型的关键是一个可微的球面投影运算符，它允许将表面表示为球面投影图，从而可以自然地应用对抗性损失。我们的模型如图2所示。03.1. 3D形状生成器0我们采用DeepSDF[41]作为我们模型中的生成器。在这个生成器中，每个形状都由一个隐式有符号距离函数（SDF）表示。对于每个点p = (px, py,pz)和给定的形状s，SDF编码了点到最近表面的距离：SDFs(p) =d，d∈R。d的符号编码了点是否在给定形状的内部（负值）或外部（正值）。我们的生成器gψ被训练成将随机采样的潜在编码z和位置p映射到相应的SDF值：0gψ(z, p) ≈ SDFs(p) (1)0形状的表面由SDF的零等值面隐式表示。03.2. 可微三角网格提取0为了将判别器应用于表示为隐式SDF的对象的表面，我们首先需要找到零等值面。我们选择使用Marching Cubes[34]μ1σ1μnσnOur spherical projection layer fM→S transforms an ir-regular 3D mesh into a regular spherical domain.Thesupport of the spherical representation is defined as dis-crete samples on the unit sphere S2 with θ ∈ [0, 2π] andφ ∈ [0, π]. There are two major challenges to adoptingsuch a framework. First, the pixel coordinates lie on thesurface of a sphere parameterized by (θ, φ), which preventsthe use of a projection matrix to express the vertex transfor-mations. Second, the rasterization and z-buffer algorithmare discrete operations, which causes discontinuities in theback-propagated gradients as triangles change in depth ormove laterally. We use a similar approach to those pre-sented in [31, 7] to enable a differentiable spherical surfaceprojection function.Because of the non-linear projection, we utilize ray-casting to find intersections of the object surface with raysthat originate from the unit sphere. Each ray Ri is definedas a six tuple representing origin and direction in euclideancoordinates:−→Ri = (Ox, Oy, Oz, Dx, Dy, Dz)i(4)We modify the ray-intersection kernel to output direct in-tersections, as well as ”near misses” where the ray is withindistance r of a triangle. The ray-intersection kernel is re-peated such that the k nearest hits along each ray are re-trieved:(−→pji, Fj)kj=1 = rayintersectk,r(M, Ri)(5)At an intersection location −→pji inside triangle j for Ri,we compute a pixel attribute uij as an barycentric interpola-tion of vertex attributes162400隐式0生成器0MarchingCubes0球面投影0训练期间的表面提取0真实0伪造0球面判别器0μ σ0隐式0生成器0MarchingCubes0测试03D查询网格训练期间的潜在编码0可微操作 从分布中采样0测试期间的潜在编码0全连接层0图2.我们模型的组件。上：在测试时，我们随机采样一个编码并提取三角网格；下：在训练时，我们提取表示为三角网格的形状的表面，并计算表面的可微球面投影。球面表面图被输入到球面判别器中。请注意，在训练过程中我们不使用编码器。0从有符号距离函数中提取出一个明确的三角网格。虽然球追踪也可以用于从有符号距离函数中提取零等值面，但我们发现所需的速度-精度权衡不适用于训练。相反，我们使用[44]中提出的MeshSDF方法进行可微等值面提取。在训练过程中，我们在范围为[-1,1]的128^3的欧几里得网格上评估我们的有符号距离函数生成器gψ，并使用MarchingCubes（MC）将表面提取为三角网格M = (V, F)，其中V ={vj}Mj=1表示在R^3中表示的网格顶点集合，F表示由边界围成的三角形面集合。我们使用判别器Dφ的损失来计算与零等值面上的顶点V相关的梯度。对于一个关于顶点V可微的判别器损失L，可以通过计算以下公式来计算相对于生成器权重ψ的梯度：n(v) = �gψ(v, z)，其中v∈V（2），∂L/∂ψ= -∂L0∂v ∙ n(v) for v∈V (3)0这种可微表面提取方法允许判别器梯度作用于顶点V，通过改变底层的有符号距离函数来修改表面的形状和拓扑。我们将读者引用到[44]中对该方法的证明和讨论。03.3. 可微球面投影0在本节中，我们介绍了我们的可微球面投影层。考虑一个参数化为三角网格M = (V,F)的三维对象。由于表面本身可以在拓扑上变化，并且网格本身可以在内部连接上变化，因此在对象的表面上训练神经网络是非平凡的。Our methodVAD onlySG-VoxelSG-PointNetAirplaneChairCarLatent-GANFigure 3. Qualitative results for shapes generated by our SurfGen model; In comparison with samples from other works evaluated on thesame testing set: VAD loss only [67], ShapeGAN w/ voxel [27] discriminator, ShapeGAN w/ PointNet discriminator [27], and DeepSDFwith a latent generator [1, 8].1Pixel on spherepji(a)(b)(c)Pixel on sphereFigure 4. Differentiable spherical projection from the perspectiveof a ray. (a) The search region of each ray includes the triangle(solid) and a small ”radius” r neighborhood (transparent). (b) Di-rect hits inside a triangle allows us to interpolate depth. (c) ”Nearmiss” hits in the neighborhood of a triangle allows for occupancyto be computed.uij = wij,0 · uj,0 + wij,1 · uj,1 + wij,2 · uj,2(6)wij,k = Ωk(−→pji, −→vj,0, −→vj,1, −→vj,2); k = {0, 1, 2}(7)where the barycentric weights are computed using the dif-ferentiable function Ω. When computing a spherical depthprojection, we set the attributes to be the (x, y, z) coordinateof each vertex in triangle j:(uj,0, uj,1, uj,1) = (vj,0, vj,1, vj,2)(8)Beyond the spherical depth map, the spherical silhouette ofa shape can also be computed such that it is differentiable.We utilize ”near miss” rays that do not intersect inside a tri-angle, but has a point on that ray p′ji that is within distancer outside of a triangle. We compute the squared euclideandistance between the ray and the closest point on the trian-16241Radial projectionOrthographic projectionSide viewFront viewTop viewBottom viewFigure 5. Visualization of radial and orthographic projections.These depth projections reflect the surface distance from the originof the ray.gle:d(p′ji, Fj) = minp∈Fj���p − p′ji���22(9)αij = exp−d(p′ji, Fj)δ(10)Where δ is a hyper-parameter that controls how fast theinfluence decays as a function of distance. We use a productbased function to aggregate all the near miss collisions fora given ray:162420αi = 1 - �0j (1 - αij) (11)0图4中示例了一条射线。这样可以高效计算球面深度和占用图，且与顶点属性完全可微分。03.4. 采样和投影的选择0球面采样。在球面投影之前，需要选择一个球面的离散化方案。常见的采样方案包括Driscoll和Healy[12]、二十面体[58]和HEALPix[17]，它们分别使用矩形、二十面体和等面积采样。由于我们的基于射线投射的高效实现，可微分的球面投影层可以与任何球面的离散化一起使用。实际上，由于每个点在球面上被分配了平衡的面积，我们使用基于HEALPix的采样，具有12,288个采样点。0投影的选择。我们的球面投影层可以模拟任意投影。最简单的投影运算符是径向球面投影，它给出了射线的方向为(Dx,Dy, Dz) = -(Ox, Oy,Oz)，其中O是球面上的离散采样点。在[69]中已经表明，径向投影可能对形状的覆盖不足。0由于自遮挡，球面表示无法完全捕捉到物体的形状。为了解决这个问题，他们将球面表示与额外的非径向投影相结合。受正交地图投影的启发，我们提出了正交球面投影，其中(Dx, Dy, Dz) = -(0, 0,Oz)，其中z被假设为重力对齐(自上而下)的轴。我们的完整球面投影将径向和正交球面投影的球面深度图结合起来，并使用正交投影的轮廓图。由于大多数径向射线在三角面内直接相交，不提供有用的训练信号，因此省略了径向轮廓图。我们在图5中展示了这些投影的比较。03.5. 鉴别器的实现0网络架构。由于我们的球面映射是单位球上的离散采样且非欧几里德的，所以我们不能使用常规的2D或3D卷积。我们使用[11]提出的基于图的球面卷积层来实现我们的鉴别器。我们的鉴别器以第3.4节中描述的3个球面映射作为输入。网络由5个残差球面块组成，每个块都执行平均池化，将球面采样的总数减少4倍，鉴别器中还包括一个自注意力层。我们对最后的12个像素、256通道的球面映射进行平均池化，并使用全连接层生成标量鉴别器输出。在鉴别器中使用了实例归一化[52]和Leaky ReLU[36]。03.6. 整体模型0使用表面鉴别器训练隐式生成器的直接方法是交替更新隐式生成器和表面鉴别器。然而，与定义在所有p ∈R3的SDF不同，表面仅存在于选择的位置。我们需要约束生成器，使等值面的位置位于球面投影层内，并且理想情况下接近所需的形状。已经提出了使用几何初始化[3]、元学习[47]和变分方法[20]来稳定训练和加速收敛的方法。我们选择在我们的对抗性准变分自编码器(VAD)[20]损失的基础上对生成器进行正则化，同时保留了生成对抗网络(GAN)的生成器+鉴别器结构，只需要向模型添加一个轻量级的嵌入层，而且在原始的仅VAD目标上表现显著。在训练过程中，我们从给定形状xj的近似后验中采样潜在编码z，该后验被建模为具有对角协方差的多元高斯分布。0q ( z | x j ) :=  N ( z ;  µ j , σ 2 j ∙  I ) (12)1N (fM→S(gψ(z)) − Starget)2(17)162430顶部底部0初始化0目标优化步骤0图6.我们在球面表示上优化了均方误差损失，比较了目标形状和初始形状之间的差异。从上到下依次为径向投影的顶视图、径向投影的底视图、渲染的SDF输出。这表明我们的球面表面投影可以引起拓扑和形状的变化。0我们使用重参数化技巧[26]来允许直接优化潜在参数µ j，σj，并设置z j = µ j + σ j ⊙ �，其中� � N (0,I)。在训练过程中，生成器和潜在参数被训练以最小化对抗性目标L GAN，并最大化边缘似然的证据下界（ELBO）：0log  p θ ( x )  ≥ E z � q ( z | x 0log  p ( x | z )  −  D KL ( q ( z | x )|| p ( z ))0p ( x | z ) =  − E p0L SDF0g ψ ( z,  p ) ,  SDF s ( p ))0方程13可以通过从3D空间中采样来近似，遵循[41]中定义的某种分布。对于最终结果，我们使用了L SDF  ( ∙ )的截断版本的L1损失。为了稳定GAN训练，我们采用了标准的hinge GAN损失L hinge  [30,51]，并对前四个判别器特征图应用了少量的特征匹配损失Lfeat[45]。总之，整体目标可以总结为方程15，其中我们使用了α = 1，β = 1和γ = 1e-5，λ = 0.5。0L GAN  =  L hinge  +  λ L feat (14)0L total  =  α L GAN  +  β L SDF  +  γD KL (15)0为了确保在生成的深度图中，没有与目标形状对应的表面占据的地方的梯度为零：0深度梯度 [ O target  <  1 . 0] = 0 (16)0为了确保相对于SDF生成器的表面梯度与其他损失具有相同的量级，我们使用常数ω =1e-4来缩放方程3中的梯度。我们的模型使用Pytorch实现，射线投射使用embree [55, 42]实现，MarchingCubes使用CUDA [65]实现。0Chamfer EMD0迭代次数 5 10 30 5 10 300径向深度 0.0486 0.0327 0.0032 0.0389 0.0244 0.0029 正交深度 0.04960.0335 0.0024 0.0384 0.0234 0.0026 径向轮廓 0.0584 0.0590 0.0587 0.04460.0443 0.0433 正交轮廓 0.0556 0.0528 0.0460 0.0443 0.0373 0.0322 组合0.0478 0.0329 0.0022 0.0356 0.0219 0.00100表1.我们比较了四种球面特征在优化过程中的Chamfer和地球移动距离（EMD）方面的有效性。组合表示径向深度、正交深度和正交轮廓一起使用。粗体表示每次迭代中的最佳方法。04. 实验04.1. 验证端到端优化0我们首先验证了我们的球面投影层的可微性。使用[44]中的数据，我们训练了一个生成器网络  g ψ来近似两个形状的有符号距离函数：一个零亏格的牛和一个一亏格的橡皮鸭。生成器学习将潜在编码与相应的隐式距离场关联起来。优化过程中的损失是当前球面投影与目标球面投影之间的像素均方误差（MSE）：0梯度被反向传播并用于优化潜在编码  z。如图6所示，我们的球面投影层可以修改底层的隐式表示，并且可以改变物体的形状和拓扑结构。我们在表1中定量比较了使用径向深度、径向轮廓、正交深度、正交轮廓以及组合（径向深度+正交深度+正交轮廓）作为我们优化的特征的效果。由于径向投影中的射线较少，因此我们使用了更多的正交投影作为特征。162440MMD（↓） COV（%，↑）0类别 模型 判别器 JSD（↓） CD EMD CD EMD0飞机0ShapeGAN-Voxel Voxel 0.2848 0.0193 0.1818 0.0794 0.0918 ShapeGAN-PN PointNet 0.23930.0119 0.1670 0.1066 0.1191 Latent-GAN Latent 0.3643 0.0138 0.1871 0.0843 0.0893VAD-SDF None 0.2221 0.0103 0.1500 0.1141 0.1190 SurfGen（我们的模型） Surface 0.15860.0074 0.1371 0.1191 0.12150椅子0ShapeGAN-Voxel Voxel 0.0307 0.0231 0.2042 0.3408 0.3537 ShapeGAN-PN PointNet 0.03040.0152 0.1711 0.3641 0.3868 Latent-GAN Latent 0.0394 0.0125 0.1660 0.3742 0.3667VAD-SDF None 0.0846 0.0142 0.1662 0.2051 0.2180 SurfGen（我们的模型） Surface 0.02870.0095 0.1440 0.3812 0.35860汽车0ShapeGAN-Voxel Voxel 0.0336 0.0056 0.1221 0.3181 0.2869 ShapeGAN-PN PointNet 0.02590.0051 0.1061 0.3409 0.3579 Latent-GAN Latent 0.0649 0.0061 0.1292 0.2784 0.2556VAD-SDF None 0.0568 0.0048 0.1063 0.2414 0.2585 SurfGen（我们的模型） Surface 0.04630.0038 0.0982 0.2755 0.32670表2. ShapeNet类别的生成结果；↓表示较低的值更好，↑表示较高的值更好。0当形状的径向轮廓无法为优化过程提供有用的梯度时，形状生成的优化过程会遇到“近似失误”。使用三个组合特征的损失函数在chamfer距离或earthmovers距离衡量下提供了最快的收敛速度。我们在形状生成实验中使用了组合特征的最终投影。04.2. 形状生成0数据准备。所有模型都是在ShapeNet.v2[6]的三个类别之一（飞机、汽车和椅子）上进行训练的。为了确保可比性，我们使用了官方的训练集划分。每个形状都被居中并归一化到单位球上。我们使用ShapeGAN作者提出的改进的有符号距离生成方法。每个形状从50个等距视图中渲染，深度缓冲区被投影到物体空间以计算表面点云。如果任何相机看到一个点，则认为该点在形状外部。如果少于0.5％的点在形状内部，则丢弃该形状。在训练过程中，我们对SDF值应用了一个小的负偏移（2e-3），以便于表面提取。这导致飞机、汽车和椅子类别的训练集中分别有2788、2452、4550个形状。我们使用了DeepSDF中使用的相同采样方案。对于真实的测试集，我们在单位球中均匀查询点，并随机选择2048个点，使其接近表面。0基准模型。我们将隐式形状生成的四个替代模型与ShapeGAN的两个变体进行比较，这两个变体使用体素和PointNet作为判别器，还有一个在DeepSDF嵌入上训练的隐式-GAN模型，以及一个不使用我们的表面判别器的基于VAD的SDF模型。我们使用[20]中提供的VAD层实现。对于隐式-GAN、VAD和我们的SurfGen模型，0(a)0(b)0(c)0图7. 我们模型合成形状的多个视图。0我们使用DeepSDF网络作为骨干。对于ShapeGAN，使用了作者提供的代码和超参数。0评估和指标。每个网格都是在256^3分辨率下使用MarchingCubes提取的，并从每个网格中随机采样了2048个点。结果使用[1]介绍的指标进行比较。最小匹配距离（MMD）衡量了一个形状与测试集中其最近邻之间的距离，可以理解为对于保真度的代理。覆盖率（COV）衡量了测试集中是生成集合中样本的最近邻的比例，可以理解为对于多样性的代理。对于每个指标，距离度量可以是chamfer距离（CD）或earth movers距离（EMD）。162450维度47维度1770维度118维度1560维度4维度2040图8. 操纵潜在向量的单个维度的效果.0结果. 每种方法生成的形状的定性结果显示在图3和图7中,定量结果显示在表2中.我们的模型生成的形状具有高质量的表面,在Latent-GAN中不存在高频伪影,也没有两种ShapeGAN变体的块状伪影.我们还观察到VAD合成的飞机上存在许多薄壳状的伪影.对于椅子类别,VAD方法在捕捉具有复杂几何形状的椅子方面存在困难,通常合成没有薄部件的椅子.SurfGen在CD和EMD的所有评估类别中具有最低的MMD值, 这表明我们的方法合成的形状与测试集中的样本非常匹配.SurfGen在飞机类别中具有较高的覆盖率,在椅子类别中与其他方法并列.我们的方法在汽车类别中竞争力较弱.可能的原因是汽车外表面通常缺乏高频几何结构.这导致使用基于表面的对抗性损失函数学习汽车变得困难.04.3. 潜在分析.0单独的潜在维度.我们探索了我们潜在空间中的单个维度是否具有语义含义.给定一个随机采样的潜在编码,我们选择一个维度并逐渐增加其值. 我们的结果如图8所示.我们观察到改变某些维度可以在形状中引起结构性变化.0在插值两个潜在向量之间. 如图9所示,我们演示了形状如何在线性插值过程中平滑变化.0插值1插值20图9. 在两个随机采样的潜在向量之间线性插值的形状的可视化.0图10. 两个失败案例在机翼附近出现环状伪影.0在一个批次中, 对于8个形状, 在双Nvidia 3090系统上,网格查询步骤在128^3分辨率下需要大约128毫秒.0分辨率大约需要2500毫秒, 而MarchingCubes算法需要90毫秒.球面投影在12核CPU上大约需要600毫秒. 对于G和D的组合,单个批次的前向和反向传播总共需要约5秒.04.4. 失败案例.0某些形状没有良好的球面投影. 在最常见的情况下,我们观察到这主要是由于形状沿着重力对齐轴具有突出部分,这会显著影响将形状居中到单位球体中.这个问题在飞机中最为突出,虽然使用正交投影在很大程度上可以缓解这个问题,但我们观察到飞机中出现了罕见的环状伪影, 如图10所示,这似乎是由球面鉴别器引起的. 作为未来工作的一部分,探索将表面鉴别器与直接应用于隐式场的鉴别器的整合可能是有意义的.05. 结论.0在本文中, 我们介绍了一种新颖的形状合成方法,允许鉴别器直接关注生成形状的表面.我们的方法能够生成具有复杂几何形状的多样化高质量形状.我们的模型在作为更大的3D合成流程的一部分时具有多样化的下游应用.我们希望我们的工作能够激发未来在3D形状合成方面的研究.[19] Christian H¨ane, Shubham Tulsiani, and Jitendra Malik. Hi-erarchical surface prediction for 3d object reconstruction. In2017 International Conference on 3D Vision (3DV), pages412–420. IEEE, 2017. 2[20] Zekun Hao, Hadar Averbuch-Elor, Noah Snavely, and SergeBelongie.Dualsdf: Semantic shape manipulation using atwo-level representation. In Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition,pages 7631–7641, 2020. 5, 7[21] Paul Henderson and Vittorio Ferrari. Learning to generateand reconstruct 3d meshes with only 2d supervision. arXivpreprint arXiv:1807.09259, 2018. 2[22] Angjoo Kanazawa, Shubham Tulsiani, Alexei A Efros, andJitendra Malik. Learning category-specific mesh reconstruc-tion from image collections.In Proceedings of the Euro-pean Conference on Computer Vision (ECCV), pages 371–386, 2018. 2[23] Abhishek Kar, Shubham Tulsiani, Joao Carreira, and Jiten-dra Malik. Category-specific object reconstruction from asingle image.In Proceedings of the IEEE conference oncomputer vision and pattern recognition, pages 1966–1974,2015. 2[24] Hiroharu Kato, Yoshitaka Ushiku, and Tatsuya Harada. Neu-ral 3d mesh renderer. In Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition, pages 3907–3916, 2018. 2[25] Michael Kazhdan,Thomas Funkhouser,and SzymonRusinkiewicz. Rotation invariant spherical harmonic repre-sentation of 3 d shape descriptors. In Symposium on geome-try processing, volume 6, pages 156–164, 2003. 2[26] Diederik P Kingma and Max Welling. Auto-encoding varia-tional bayes. arXiv preprint arXiv:1312.6114, 2013. 6[27] Marian Kleineberg, Matthias Fey, and Frank Weichert. Ad-versarial generation of continuous implicit shape representa-tions. arXiv preprint arXiv:2002.00349, 2020. 2, 4, 7162460参考文献.0[1] Panos Achlioptas, Olga Diamanti, Ioannis Mitliagkas, andLeonidas Guibas. 学习表示和生成模型用于3D点云.在机器学习国际会议上, 页码40-49. PMLR, 2018. 2, 4, 70[2] Mihael Ankerst, Gabi Kastenm¨uller, Hans-Peter Kriegel,and Thomas Seidl.用于空间数据库中相似性搜索和分类的三维形状直方图。在国际空间数据库研讨会上，第207-226页。Springer，1999年。20[3] Matan Atzmon and Yaron Lipman.Sal：从原始数据中学习形状的符号不可知性。在IEE