几何深度学习的新方法：深度可微单纯形层（DDSL）

8769DDSL：用于学习几何信号的深度可微单纯形层Chiyu摘要我们提出了一个用于几何深度学习的神经网络的深度可微单纯形层（DDSL）DDSL是与深度神经网络兼容的可微分层，用于将基于单纯形网格的几何表示（点云、线网格、三角形网格、四面体网格）与光栅图像（例如，点云、线网格、三角形网格、四面体网格）桥接。2D/3D网格）。DDSL使用非均匀傅里叶变换（NUFT）来执行基于单纯形的信号的可微分、高效、抗混叠的光栅化。我们提出了一个完整的理论框架的过程，以及一个有效的backpropa- gation算法。与以前的可微分渲染器和光栅化器相比，DDSL推广到任意j = 0点云j = 1线网格j = 2多边形后向梯度像素顶点前向DDSLDDSL（V，E，D）单纯形NUFT滤波器iFFT单形度和维数。特别是，我们探索其应用到2D形状，并说明了这种方法的两个应用：（1）网格编辑和优化的神经网络输出指导，（2）使用DDSL的可重构光栅化损失，以促进端到端的多边形生成器的培训。我们能够用翼型优化的例子来验证基于梯度的形状优化的有效性，并且使用可微分的光栅化损失来促进端到端训练，我们超过了给定真实边界框的多边形图像分割的现有技术。1. 介绍单纯复形（即，单形网格）是用于非均匀几何信号的灵活且通用的表示。各种常用的几何表示，包括点云、线框、多边形、三角形网格、四面体网格等，是单纯复合体的例子。针对这种非均匀几何信号利用深度学习架构已经引起了越来越多的兴趣，并且已经提出了各种方法和架构来处理各种表示[3]。在这项研究中，我们提出了一个深可微的单纯形层（DDSL），它执行可微光栅化的任意单纯形网格为基础的几何信号。的*平等捐款图1：具有2D简单网格的DDSL层的示意图。DDSL算法对处理任意维数、任意单纯度的单纯形网格具有通用性。DDSL的输入是由三个矩阵描述的单纯形网格：浮点矩阵V用于顶点坐标，uint矩阵E用于单形连通性，并且浮点矩阵D用于每单形密度（在上面的示例中为1的恒定密度）。可以产生任意分辨率的光栅图像。可以在DDSL层内分析地计算每像素强度相对于V中的每个空间坐标的梯度。DDSL是基于单形非均匀傅立叶变换（NUFT）[18]的前向传递，其在任意拓扑中是高度可推广的。此外，我们发现的一般微分形式的单纯NUFT，允许一个有效的向后通过。我们的工作不同于以前的工作在文献中的微分渲染，在两个主要方面。首先，我们的网络可以推广到任意的单形度和维度，使其成为一系列几何表示的统一框架。第二，虽然其他可微分渲染器通过将3D网格投影到2D网格而被专门设置用于投影渲染基于光栅化器的不同性质，我们探索了两种独特的用例。首先，利用DDSL的可微性，我们可以8770利用基于卷积神经网络（CNN）的深度学习模型作为用于形状优化的物理特性的替代模型，这在一系列工程学科中是有用的。其次，使用的DDSL作为神经网络层，我们可以制定一个可区分的光栅化和灰损失，允许端到端生成的形状，使用直接监督的方法，这可能是有用的一系列计算机视觉问题。作为这两个用例的一个例子，我们进行了三个实验。首先，为了验证通过层的梯度传播的有效性，我们用MNIST形状优化的玩具问题来说明，其中我们可以使用通过神经网络和DDSL传播的梯度来操纵输入多边形网格并将其转换为目标数字（第4.2）。接下来，为了进一步说明由DDSL实现的神经形状优化的潜在应用，我们研究了翼型优化的经典工程问题，并表明形状优化管道有效地将输入形状操纵成所需的升阻比（Sec. 4.2）。最后，为了说明可微分光栅化损失的有效性，我们训练了具有直接监督的端到端的多边形生成神经网络，以生成用于图像分割的多边形分割掩模（Sec. 4.3）。随着新的光栅化损失，我们超越了国家的最先进的多边形分割任务，一个更简单的网络架构和训练方案。总之，我们贡献如下：• 我们提出了DDSL，这是一个可微光栅化器的任意单纯形网格为基础的几何形状。它的可微性允许它的有效整合深度神经网络。• 我们表明，DDSL有效地促进形状优化的工程应用，如气动优化的翼型，使用神经网络作为替代模型。• 我们表明，DDSL可用于产生可区分的光栅化损失，其可用于创建直接监督，以促进端到端列车。ing的形状发生器，在多边形分割掩模生成中的应用• 我们开发并发布代码，用于将DDSL有效地集成到深度神经网络1中，并具有令人信服的计算性能基准。2. 相关工作我们简要概述了深度学习的几何1可用代码：https://github.com/maxjiang93/DDSL一般来说，存在两类几何表示，要么以其单纯形网格的原生形式，要么以可以用基于网格的网络架构（诸如CNN）有效处理的光栅形式 当单纯形网格 以各种形式和尺寸（点云、网格等），对于不同单形度和维度的不同地理信号例如，PointNets专门为点云设计[36，37]，各种算法在网格流形[17，15，2]，图形[10，24，46]等上执行卷积。另一方面，基于网格的算法需要对基于单纯形网格的几何信号进行光栅化，以供CNN进一步处理这样的示例包括基于二值体素的算法[32，45]、基于截断符号距离函数（TSDF）的算法[7，48，40，8]、基于多体素的算法[7，48，40，8]、基于二值体素的算法[7，48，40，8]、基于截断符号距离函数（TSDF）的算法[7，48，40，8]、基于截断符号距离函数（TSDF）的算 法 [7 ， 48 ， 40 ， 8] 、 基 于 截 断 符 号 距 离 函 数（TSDF）的算法[7，48，40，8]、基于截断符号距离函数（TSDF）的算法[7，48，40，8]。基于视图图像的算法[41，21]和混合算法[19，6]。与直接在单纯形网格上执行卷积的深度学习方法相比，基于网格的方法在形状拓扑上更具可推广性，并且在计算上更容易实现，因为它利用了高效的张量算子，例如用于光栅化数据的2D/3D卷积核。然而，常规的体素化方法相对于输入网格是不可微分的，并且已经提出了可微分光栅化器来缩小单纯形和网格表示之间的差距。深度可微栅格化 学习 近年来，人们提出了一系列可微的射影渲染器[30]提出了一种用于逆图形的近似可微光栅化器。[22]提出了一种深度神经渲染器，其使用像素强度相对于顶点位置的梯度的线性近似[26]介绍了一种可微分光线跟踪器，用于额外渲染效果的可微分性最近，[28]提出了一种可微光栅化器，它近似于用软边界渲染面网格重建应用[11，42，43，38]和一般网格重建任务[20，25]中的各种研究利用某种形式的可区分光栅化来促进神经网络中的梯度流。形状优化形状优化在广泛的工程领域中至关重要，包括空气动力学、机械、结构和建筑设计。传统上，形状优化算法将基于梯度或无梯度的优化器（例如，遗传算法、模拟退火）与物理模拟器，例如，计算流体动力学（CFD）和多物理场软件进行评估。对于气动外形优化，伴随方法已被用于基于梯度的优化，其灵敏度从物理模拟器获得8771nnnnnnnnn符号描述欧氏空间Rdj单纯度。 点j= 0，线j= 1，Tri.j= 2，Tet.j= 3n，N总共N个元素中第n个元素的索引j阶第n个元素的域x笛卡尔空间坐标向量。x=（x，y，z）k谱域坐标向量。k=（u，v，w）p单形元素中的点的索引。p∈N，p≤j+ 1i虚数单位表1：我们的方法中的数学符号列表。[35、16]。最近，机器学习算法（如多层感知器）已被用作响应面的代理模型，以加速评估和优化[23，31]。最近，CNN已被用于空气动力学特性的评估[49]，并且已经探索了与CNN耦合的基于梯度的优化方法[14]。然而，由于缺乏多边形和3D网格的原位可重构光栅化，输入网格的直接操作尚未实现。基于多边形掩模的图像分割图像分割是计算机视觉中的一个核心问题，已经得到了深入的研究。图像分割文献中的大部分工作创建像素级掩模[29，39，44，12，9，27]。然而，最近，为了满足帮助人类注释者创建地面实况分割滤波步骤（逐元素乘积）和iFFT是公知的，我们将我们的分析集中在单形NUFT上，我们在下面导出并详细说明。3.2. 数学描述我们把离散的几何信号表示为加权的简单复形。我们为j-单形和j-单形网格提供以下定义定义3.1（j-单纯形）。单形是二维三角形在其他维度上的推广。 由j +1个仿射独立点v0，. . . ，vj∈ Rn是C= conv{v0，. . . ，vj}={θ〇v〇+···+θjvj|其中1是所有条目为1的向量。定义3.2（j-单纯形网格）。仅由j-单纯形组成的单纯复形是齐次单纯j-复形，或j-单纯形网格。例3.1（单纯形和单纯形网格的例子）。0-单形是点，1-单形是线，2-单形是三角形，并且3-单形是四面体。0-、1-、2-和3-单纯复形分别是点云和线性、三角形和四面体网格。定义3.3（j-单纯形元素和j-单纯形网格上的函数）.由N个单形组成的j -单形网格上的 分 段 常 数 函 数（PCF）是每个j -单形的密度函数fj（x）与域Ωj和信号密度ρn的叠加：标 签 ， 新 的 网 络 架 构 ， 如 PolygonRNN [4] 和PolygonRNN++ [1]已被提出用于创建给定地面实况边界框的多边形分割掩模。我们的工作针对此应用程序来探索fj（x）=.ρn，x∈φj0，x∈/ΩjΣN， fj（x）=n=1fj（x）（2）更有效和高效的多边形生成网络使用我们的DDSL启用光栅化损失。3. 方法3.1. DDSL概述DDSL层的示意图如图1所示。对于前向传递，我们使用PCF在j-单纯形网格。命题3.1（向前传递）。在网格中的单纯形上的PCF的NUFT是Fj（k）=ρnijγjS（3）DDSL层由三个连续的算术运算组成，首先通过在频谱域中对其进行均匀采样来计算单纯复数的傅里叶变换，然后通过乘以S：=Σj+1nQj+1 e−iσtn，σt：=k·xt（4）用高斯滤波器对光谱信号进行去振铃t=1l=1，l/=t（σt−σi）ing效果。最后，我们使用逆傅立叶变换（iFFT）来获得与输入相对应的物理光栅图像。由于前向和后向方法其中γj是内容失真因子，其是单形内容与单位正交单形内容之间的比率。单形内容Cj使用以下公式计算Ω8772nnStn我CCnnnJJ凯莱-门格尔行列式：引理3.1（内容失真因子的导数）。.γj对顶点坐标xp的导数j（−1）j+1<$j 是Cn=2j（j！）2det（Bn）（5）0111。. .γjxp（−1）j+1/2jJNΣj+1m=1下午1点D点（11）10d2d2. . . 布勒姆 p12 13jd20d2. . .其中Dpm= 2（xp−xm），Apm是Bn：=10021 232（6）1d2d0. . .adj（Bn）的第（p +1）行和第（m +1）列。。31 32....引理3.2（求和项的导数）。 设St为其中，Bj的每个元素d2是距离的平方be-求和项S中的一项：e−iσt补间点s和t。单位正交的内容St：=Q（十二）单形Cj是1/j！，因此内容失真因子为j+1l=1，lt（σt-σl）Jγj=n=j！CJ（七）求和项对xp的导数为njnIS=−iSp+ Σj+1St+S 宾馆（13）根据傅里叶变换的线性度，可以计算整个j-单纯形网格上的PCF是xpt=1，t/=pσt−σpFj（k）=ΣNn=1ΣNFj（k）=nρnijγjS（8）其中k是谱域坐标向量。命题3.2（反向传递）。 从Lemmas3.1和3.2，Fj（k）关于点的导数为了高效计算，我们使用辅助节点方法（AuxNode），该方法利用签名内容。在单纯形元素n中的xp是Fj（k）Σj+1推论3.1（AuxNode）。为了计算由其表示的j-多面体中均匀信号n=ρnijΛk+ΓxpApmDpm（14）m=1M p水密（j−1）-使用节点的单纯形网格，方程（三）修改如下：’。其中Apm是第p行第m列中的元素ˆj从p= 0和m= 0开始，Fj（k）=ijΣNnsn′γ′（−1）jQΣj+1nnjσΛ：=γj−iS+St+Sp（15）n′=1Σjl=1lΣe−iσtnpt=1，tσt−σpp+Qj（九）（−1）j+1/2jt=1σtl=1，lJt（σt−σl）r：=（16）n其中r esn′γn′是第n′个辅助j-simple x的带符号内容失真因子，其中r esn′∈{−1，1}。为了实用的目的，假设辅助j-单形在Rd其中d=j。使用雅可比矩阵的行列式来计算符号内容失真因子，用于将辅助单形参数化为单位正交单形：sn′γn′=j！ det（J）=j！det（[x1，x2，···，xj]）（10）证据 参见[18]。对于向后传递，我们导出NUFT相对于j-单纯形网格的顶点坐标的解析导数。根据乘积规则，我们需要=γγ8773nn我们提供Eqn的详细推导。14以及证明引理3.1和3.2节。附录A13.3. 深度学习架构和管道我们呈现了深度学习模型驱动的形状优化的示意图（第2节）。4.2）在图图2中的多边形分割网络（PolygonNet）的示意图。3和4架构的详细描述见附录B。4. 实验4.1. 制定业绩基准我们比较了内容失真因子γj的导数和反向传递DDSL与数字求和项S以获得Fj（k）的全导数。使用有限差分法计算的导数8774autograd横类别标签：预训练CNNResNet50 Conv1x12048× 7× 7倒数第二层丢失16× 7× 7FC重塑填充0副本输入作物16×24PUConvPUConvPUConv32×1264 ×6128 ×3Conv1x1乙状0 X10 X2x3x1Conv1x1TanhConv1x1TanhConv1x1TanhConv1x1Tanh基地三角形0*03号过滤器δ（3δ（2δ（1δ（0X3X2X11×31×61×121×242 ×3eDDSL后向目标：输入形状DDSL后向升阻比：0.0autogradL2损失目标：95.9图3：PolygonNet中的几何多边形生成过程示意图下一个层次中的新节点通过在图2：深度学习模型驱动的形状优化流水线的示意图。法向为δ。PUConvf1 F2F3y1y2y3y4y5y6图4：用于多边形分割的深度学习架构（PolygonNet）的示意图。所有中间层之后是BatchNorm和ReLU。周期性上采样卷积（PUConv）用于在连续层级处生成顶点偏移（δ）。对于每个级别，我们为所有偏移量学习一个可学习的比例因子。实验设置我们在3维空间中对0-、1-、2-和3-单纯形网格进行测试，并检查网格大小（网格中的点数）和图像分辨率的影响。我们测试网格大小从5到50点，分辨率从4到32，每个测试运行100次以获取数据分布对于每次运行，我们随机生成一个三维单纯形网格的不同的单纯度，不同的密度，与随机梯度值的每个光栅像素。然后，我们使用我们的等式11的实现来计算DDSL的解析和数值导数14和有限差分法，分别和每次计算。复杂度分析由于解析有限差分向后传递用于使用等式（1）计算梯度14需要计算j-单形中的每对谱系数和每个顶点，有限差分后向传递的计算复杂度与前向传递相同，对于ne个单形的网格和m个自由度的光栅，为O（（j+1）nem）有限差分，在另一方面，需要nv次向前计算，每次计算的复杂度为O（（j+ 1）nem）。假设nv∝ne，有限差分计算的复杂度为O（（j+ 1）n2m）.结果网格尺寸和分辨率的运行时间测试结果如图所示.五、在这两个测试中，对于所有j-单形，我们的解析导数的实现在我们测试的范围内始终优于计算导数的数值方法10100×DDSLδ（0）δ（0）21δ（0）38775103102101100103102101100j= 010 20 30 40 50数量的点j= 04 8 16 32决议j= 110 20 30 40 50数量的点（一）j= 14 8 16 32决议（b）第（1）款j= 210 20 30 40 50数量的点j= 24 8 16 32决议j= 310 20 30 40 50数量的点j= 34 8 16 32决议图5：（a）网格大小和（b）分辨率测试的分析（粉红色）和数值（蓝色）导数运行时的比较。所有栅格都是针对正方形立方体计算的，分辨率是按维度计算的。4.2. 形状优化我们通过形状优化的任务演示了DDSL的实用性由于许多物理特性取决于形状，因此形状优化是跨许多科学和工程领域的重要且具有挑战性的任务。我们表明，DDSL允许我们完成这个形状优化任务，由于其衍生物的分析性质我们将每个形状预处理成形状边界的多边形。使用DDSL对多边形进行栅格化我们在光栅图像上训练神经网络，并将这些神经网络的梯度用于形状优化任务。使用梯度下降，我们将形状优化到预定的目标值，该目标值可以是形状分类或物理量。由于我们将DDSL实现为可微分神经网络层，因此我们可以直接从神经网络获得目标值相对于原始形状的梯度。而不是直接mammipulating顶点，我们进一步传播这个梯度的控制点连接到原始形状增强鲁棒性。每个控制点有3个自由度：在x和y方向上的平移以及围绕该点的旋转。有关管制站的详情，请参阅运行时间（ms）运行时间（ms）8776秒A2.我们迭代形状优化过程，直到损失收敛到零。MNIST我们首先展示形状优化使用的DDSL与MNIST数据集的手写数字。而不是使用传统的像素图像，我们使用多边形的数字作为输入。MNIST数字的多边形形状可以通过对原始图像进行轮廓化来获得。该实验的目的是将MNIST数据集中的数字优化为目标数字。翼型我们进一步说明了DDSL的功能与更实际的气动外形优化任务。在这个实验中，我们优化翼型到规定的升阻比，这是有关的空气动力学机构的效率。我们用机翼工具。com数据库，包括1，636个机翼和涡轮叶片的翼型，以及预先计算的物理量，例如从CFD模拟获得的不同攻角和雷诺数下的阻力和升力系数。翼型最初表示为多边形，并使用DDSL进行栅格化。然后我们训练一个神经网络来预测特定攻角和雷诺数下翼型的升阻比，并将该神经网络用于形状优化任务。优化翼型时8777θθ（一）（c）第（1）款201510500 50100迭代（b）第（1）款64200 20 40迭代次数（d）数据集[4，1]。为了与现有技术直接比较，我们遵循[4]和[1]的用于预测多边形掩模的实验设置。与传统的实例分割设置相反，我们假设输入图像的作物给定地面实况边界框，并且我们使用我们的神经网络输出相应的多边形掩模。在这两项研究之后，我们在Cityscapes数据集上训练和测试了我们的模型[5]。Cityscapes数据集是最全面的实例分割基准之一，包含2975个训练，500个验证和1525个测试图像，标记有8个语义类。我们遵循这两项研究，对原始数据集进行另一种分割新分区由40174 /3448 / 8440个训练/验证/测试集的图像裁剪组成，每个大小为224 ×224。培训我们使用两个损失来训练模型，a图6：（a）、（b）的优化：通过最小化来自MNIST数据集的“1”与“3”之间的交叉熵，将MNIST数据集的“1”转换为“3”。多分辨率光栅化损失和平滑损失。损失的定义如下：输入和目标类。(c)，（d）：NACA 0012翼型（具有0的原始升阻比）到1的升阻比。LmresΣ=||D伊水库res（G（i）（x））−Dres（年）||1（十七）95.9.翼型被设置在零攻角，雷诺数设为1 ×106。i∈ {0，1，2，3}，res∈ {224，112，56，28}形状，我们指定翼型的攻角和L平滑=1Σnn JAj（G（3）（x））（θ−1）2（18）π流动的雷诺数结果我们展示了MNIST和翼型实验的形状优化过程的一些迭代，以及图1和图2中显示每次迭代损失的图表。6，分别。DDSL在形状优化任务中的成功在MNIST实验中最直观地清楚，其中原始数字在翼型实验中，升阻比按要求增加优化的形状是一个机翼，其后缘向下偏转，类似于飞机在起飞时展开襟翼以增加升力。两个实验都表现出损耗的单调下降，其收敛到零，证实实现了优化。4.3.分割掩码生成为了进一步说明DDSL层在深度学习应用中的应用，我们通过生成多边形掩模来实验图像分割的任务与输出像素掩模的传统分割框架相比，直接预测多边形允许更有效和灵活的输出结构，并且已经被证明在辅助人类注释者标记新的多边形时是有效的。L=Lmres+λLsmooth（19）其中Dres是分辨率res下的DDSL光栅化，G（i）是从多边形生成器网络输出的由θ参数化的多边形，直到级别i，x和y是输入图像和地面实况多边形，Aj是多边形的第j个角度，并且λ是平滑度惩罚项。 我们训练模型（见图1）。4）端到端使用上面定义的损失。我们将每个类别的损失与训练集中的标签频率成反比。更多详情见附录B3。结果我们根据最先进的模型评估了我们的模型，并在表2中详细列出了结果，其中我们评估了单个Titan X（Pascal）GPU上的运行时间。我们在图中提供了视觉比较。7.第一次会议。我们的模型超越了最先进的类平均IoU。特别地，我们的网络架构的简单性在表3中突出显示。虽然Polygon-RNN++无法通过IoU分数传播梯度，但它使用IoU作为额外强化学习模型的奖励，这为整体架构增加了额外的它还使用额外的图神经网络交叉熵损失MSE损失8778来上采样和微调多边形。由于可微光栅化损失，我们的模型8779Polygon-RNN Polygon-RNN++ PolygonNet（Ours）Ground Truth图7：图像分割结果的可视化为所有模型提供地面实况边界框，以创建图像作物作为网络的输入。模型自行车总线人火车卡车摩托车车骑手是说SquareBox [4]35.4153.4426.3639.3454.7539.4746.0426.0940.11[第47话]46.8048.3549.3744.1835.7126.9761.4938.2143.89DeepMask [33]47.1969.8247.9362.2063.1547.4761.6452.2056.45SharpMask [34]52.0873.0253.6364.0665.4951.9265.1756.3260.21Polygon-RNN [4]52.1369.5363.9453.7468.0352.0771.1760.5861.40Polygon-RNN++[1]63.0681.3872.4164.2878.9062.0179.0869.9571.38PolygonNet（我们的）62.2684.3868.6282.4276.5763.5778.0864.1072.50表2：Cityscape图像分割IoU与测试集上的基线算法的比较使 用 单 个 基 于 CNN 的 多 边 形 生 成 器 。 与 Polygon-RNN++相比，我们的模型以总模型参数的四分之一实现了100倍的加速。模型#参数运行时间Polygon-RNN58M二、0332 ±0.0168Polygon-RNN++100M二、3241 ±0。0181PolygonNet（我们的）24M0.0287 ±0. 0022表3：一批16个图像裁剪的网络参数和评估时间的比较5. 结论我们提出的DDSL作为一个可微的单纯形层的神经网络。我们提出了一个统一的框架上表示的单纯复杂的任意几何信号的可微光栅化。我们进一步显示两个该方法的几何应用：我们可以有效地在DDSL上传播梯度，用于形状优化，并且我们可以利用DDSL来构造可区分的光栅化损失，其允许简单而有效的多边形生成网络，其在分割IoU以及运行时间和参数效率方面超过现有技术。6. 确认我们要感谢Thomas Funkhouser和Avneesh Sud的有益讨论。我们感谢Ling Huan提供的代码和数据，以便将我们的结果与PolygonRNN++进行基准测试。这项工作 得 到 了 TUM-IASRudolfMo¨ ßbauerFell owship 和ERCStarting Grant Scan 2CAD（804724）的支持8780引用[1] David Acuna，Huan Ling，Amlan Kar，and Sanja Fidler.使用polygon-rnn++对分割数据集进行有效的交互式注释。arXiv预印本arXiv：1803.09693，2018。三、七、八[2] Da videBoscaini ， JonathanMasci ， EmanueleRodola` ，andMichael Bronstein.用各向异性卷积神经网络学习形状对应关系。神经信息处理系统进展，第3189-3197页，2016年。2[3] Michael M Bronstein，Joan Bruna，Yann LeCun，ArthurSzlam，and Pierre Vandergheynst.几何深度学习：超越欧几里得数据。IEEE Signal Processing Magazine，34（4）：18-42，2017。1[4] Lluis Castrejon，Kaustav Kundu，Raquel Urtasun，andSanja Fidler.使用多边形rnn注释对象实例。在IEEE计算机视觉和模式识别会议论文集，第5230-5238页，2017年。三、七、八[5] Marius Cordts ， Mohamed Omran ， Sebastian Ramos ，Timo Rehfeld，Markus Enzweiler，Rodrigo Benenson，Uwe Franke，Stefan Roth，and Bernt Schiele.用于语义城市场景理解的cityscapes数据集在Proceedings of the IEEEconference on computer vision and pattern recognition，pages 32137[6] 安吉拉·戴和马蒂亚斯·尼斯纳3dmv：用于3d语义场景分割的联合3d多视图预测在2018年欧洲计算机视觉会议（ECCV）上2[7] Angela Dai ， Charles Ruzhongtai Qi ， and MatthiasNießner.使用3d编码器预测器cnns和形状合成的形状完成。在Proc.计算机视觉和模式识别（CVPR），IEEE，2017。2[8] Angela Dai ， Daniel Ritchie ， Martin Bokeloh ， ScottReed，JürgenSturm，andMatthiasNießner.Scancomplete：用于3D扫描的大在Proc.计算机视觉和模式识别（CVPR），IEEE，2018。2[9] 戴季峰、何开明、孙建。通过多任务网络级联的实例感知语义分割。在IEEE计算机视觉和模式识别会议论文集，第3150-3158页，2016年。3[10] Michae¨lDefferrard，XavierBresson，andPierreVandergheynst.具有快速局部谱滤波的图上卷积神经网络。神经信息处理系统进展，第3844-3852页，2016年2[11] Kyle Genova、Forrester Cole、Aaron Maschinot、AaronSarna、Daniel Vlasic和William T Freeman。三维可变形模型回归的无监督训练。在IEEE计算机视觉和模式识别会议的论文集，第8377-8386页，2018年。2[12] KaimingHe ， GeorgiaGkioxari ， PiotrDolla'r ，andRossGir-shick. 面 具 R-CNN 。 在 计 算 机 视 觉（ICCV），2017年IEEE国际会议上，第2980IEEE，2017年。3[13] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。进行中-IEEE计算机视觉和模式识别会议的论文集，第770-778页，2016年。3[14] 奥利弗·亨尼。使用神经网络和梯度下降的自动设计。arXiv预印本arXiv：1710.10352，2017。3[15] Jingwei Huang ， Haotian Zhang ， Li Yi ， ThomasFunkhouser，MatthiasNießner，andLeonidasGuibas.Texturenet：用于从网格上的高分辨率信号中学习 的 一 致 局 部 参 数 化 。 arXiv 预 印 本 arXiv ：1812.00020，2018。2[16] 安东尼·詹姆森L·马蒂内利和NA·皮尔斯用纳维尔-斯托克斯方程进行最佳气动力设计。理论与计算流体力学，10（1-4）：213- 237，1998. 3[17] Chiyu Max Jiang，Jingwei Huang，Karthik Kashinath，Prab- hat，Philip Marcus，and Matthias Niessner.非结构化网格上的球形CNN在2019年的学习代表国际会议二、四[18] Chiyu Max Jiang，Dequan Wang，Jingwei Huang，PhilipMarcus，and Matthias Niessner.卷积神经网络-使用欧几里德谱变换处理非均匀几何信号。在2019年国际学习代表会议上。1、4[19] Evangelos Kalogerakis ， Melinos Averkiou ， SubhransuMaji，and Siddhartha Chaudhuri.3D形状分割与投影卷积网 络 。 2017 年 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），第6630-6639页IEEE，2017年。2[20] Angjoo Kanazawa、Shubham Tulsiani、Alexei A Efros和Jitendra Malik。从图像集合学习特定类别的网格重建。arXiv预印本arXiv：1803.07549，2018。2[21] Asako Kanezaki，Yasuyuki Matsushita ，and YoshifumiNishida.旋转网：使用来自无监督视点的多视图的联合对象分类和姿态估计。在IEEE计算机视觉和模式识别会议论文集，第5010-5019页2[22] Hiroharu Kato、Yoshitaka Ushiku和Tatsuya Harada。神经三维网格渲染。在IEEE计算机视觉和模式识别会议论文集，第3907- 3916页2[23] Manas Khurana，Hadi Winarto和Arvind Sinha。用带变异的群算法和人工神经网络进行翼型优化在第47届AIAA航空航天科学会议，包括新视野论坛和航空航天博览会，第1278页，2009年。3[24] Thomas N Kipf和Max Welling使用图卷积网络的半监督分类。arXiv预印本arXiv：1609.02907，2016。2[25] Abhijit Kundu，Yin Li，and James M Rehg. 3d-rcnn：通过渲染和比较进行实例级3d对象重建。在IEEE计算机视觉和模式识别会议论文集，第3559-3568页，2018年。2[26] 李子茂、艾塔拉、杜兰德神父、李嘉诚.通过边缘采样的可微蒙特卡罗射线追踪。SIGGRAPHAsia 2018技术论文，第222页。ACM，2018。28781[27] 李毅、齐昊之、戴季风、季向阳、魏一完全卷积的实例感知语义分割。2017年IEEE计算机视觉与模式识别会议（CVPR），第4438-4446页。IEEE，2017年。3[28] Shichen Liu，Weikai Chen，Tianye Li1，Hao Li.软光栅化器：无监督单视网格重建的可微分绘制。arXiv预印本arXiv：1901.05567，2019。2[29] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。在IEEE计算机视觉和模式识别会议的论文集，第3431-3440页，2015年。3[30] Matthew M Loper和Michael J Black。Opendr：一个近似可微的渲染器.欧洲计算机视觉会议，第154-169页。Springer，2014. 2[31] Anton Lundberg ， Per Hamlin ， Davangere Shankar ，Alexan-derBroni e wicz ， TimWal k e r ， andChristo fferLandstr¨m. 使用神经网络和进化优化的自动空气动力飞行器形状优化。SAE International Journal of PassengerCars-Mechanical Systems ， 8 （ 2015-01-1548 ） ： 242-251，2015。3[32] Daniel Maturana和Sebastian Scherer。Voxnet：用于实时对象识别的3D卷积神经网络。在Intelligent Robots andSystems （ IROS ） ， 2015IEEE/RSJInternationalConference on，第922-928页中。IEEE，2015年。2[33] PedroOPinheiro，RonanCollobert，andPiotrDol la'r. 学习分割候选对象。神经信息处理系统进展，第1990-1998页，2015年。8[34] PedroO Pinheiro，Tsung-Yi Lin，Ronan Collobert，andPiotr Doll a'r. 学习细化对象片段。在欧洲计算机视觉会议上，第75-91页施普林格，2016年。8[35] 奥利维尔·皮朗诺 论流体力学中的优化设计。Journal of Fluid Mechanics，64（1）：97-110，1974. 3[36] Charles R Qi， Hao Su ，Kaichun Mo ， and Leonidas JGuibas.Pointnet：用于3D分类和分割的点集深度学习。Proc.ComputerVisionandPatternRecognition（CVPR），IEEE，1（2）：4，2017. 2[37] Charles Ruizhongtai Qi，Li Yi，Hao Su，and Leonidas JGuibas. Pointnet++：度量空间中点集的深度层次特征学习。神经信息处理系统，第5099-5108页，2017年。2[38] Elad Richardson 、 Matan Sela 、 Roy Or-El 和 RonKimmel。从单个图像学习详细的面部重建。2017年IEEE计算机视觉和模式识别会议（CVPR），第5553-5562页。IEEE，2017年。2[39] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234施普林格，2015年。3[40] Shuran Song、Fisher Yu、Andy Zeng、Angel X Chang、Mano-lis Savva和Thomas Funkhouser。语义场景完成从一个单一的深度图像。在Computer Vision and PatternRecognition（CVPR），2017 IEEE Conference on，第190-198页中IEEE，2017年。2[41] Hang Su，Subhransu Maji，Evangelos Kalogerakis，andErik Learned-Miller.多视图卷积神经网络用 于 3D 形 状 识 别 。 在 Proceedings of the IEEEinternational conference on c