1251SDFDiff：用于三维形状优化的符号距离场的可微绘制Jiang Yue，Dantong Ji，Zhizhong Han，MatthiasZwicker马里兰大学帕克分校{yuejiang，dji，h312h，zwicker}@ cs.umd.edu摘要我们提出了SDFDiff，一种新的基于图像的形状优化方法与其他表示法相比，SDF的优点是它们可以表示具有任意拓扑结构的形状我们应用我们的方法的问题，多视图三维重建，在那里我们实现了高的重建质量，并可以捕捉复杂的拓扑结构的三维物体。此外，我们采用多分辨率策略，以获得一个强大的优化算法。我们进一步证明，我们基于SDF的可区分渲染器可以与深度学习模型集成，这为在没有3D监督的情况下学习3D对象的方法提供了选择特别是，我们将我们的方法应用于单视图三维重建，并实现国家的最先进的结果。1. 介绍“视觉作为逆图形”或“逆渲染”策略作为解决逆问题（例如从图像恢复形状或外观模型）的概念框架长期以来一直是有吸引力的在这种合成分析方法中，目标是通过使用图像形成模型合成给定的输入图像来再现给定的输入图像，所述图像形成模型可能包括形状、外观、照明和相机参数。解决这个问题意味着找到描述底层场景的合适的模型参数（形状、外观、照明、摄像机）。虽然概念上很简单，但这种方法在实践中使用起来可能具有挑战性，因为它需要对强大的图像形成模型进行适当的参数化，以及有效的数值技术来解决由此产生的优化问题。最近，自动微分吸引了对可用于基于梯度的优化技术的实现可微分渲染器或图像形成特别是，它是有吸引力的结合微分租金-使用神经网络解决高度不适定的逆问题，例如单视图3D重建。在本文中，我们提倡使用有符号距离场（SDF）的可微图像形成模型，因为他们有几个优势，比其他几何表示。与三角形网格相比，SDF中的曲面拓扑结构不是固定的，在优化过程中可以自适应实际场景的拓扑结构。点云也可以表示任意拓扑，但它们不提供连续的表面重建。相反，SDF固有地表示连续的、防水的表面，这是下游应用（诸如3D打印和基于物理的模拟）所需要的此外，SDF可以很容易地在多分辨率框架中使用，这对于避免优化过程中出现不期望的局部最小值非常重要。本文的主要贡献是SDFDiff，一个基于光线投射SDF的可区分渲染器。我们的渲染器与深度学习框架相集成，这样它就可以与神经网络相结合，学习如何解决高度不适定的逆问题。最后，我们提供了一个有效的多分辨率策略，以提高基于梯度的优化的鲁棒性。我们使用几个应用研究，包括多视图3D重建和基于学习的单视图3D重建，证明了我们的方法的有用性。我们的研究结果证明了SDF的优势，比其他表面表示。总之，我们做出以下贡献：• 我们介绍了一种基于光线投射SDF的可微分渲染器，并描述了一种集成到标准深度学习框架中的实现。使用SDF进行可微渲染和形状优化的优点包括我们可以自由地调整拓扑结构，并且所得到的形状被保证由防水表面组成。• 我们提出了一个多视图的三维recruitc- tion方法，通过可重构渲染形状优化的结果。使用多分辨率方法，我们的梯度下降优化可靠地收敛1252高质量的解决方案。我们的方法能够重建具有高层次的细节和复杂的拓扑结构的几何形状，即使有很少的输入视图。• 我们利用基于SDF的可微分渲染器来训练深度神经网络，以在没有3D监督的情况下执行单视图3D形状重建。我们通过恢复具有任意拓扑结构的精确3D形状来证明我们的方法的优点。2. 相关工作符号距离函数 距离函数是一个水平集表示[39，42]，它在3D中的每个点处存储到3D表面上最近点的距离。有符号距离场（SDF）[8]存储有符号距离以区分对象的内部和外部。SDF通常使用均匀体素网格进行离散化[35，38]。与网格或参数曲面类似，SDF的隐式曲面表示[32，6]具有可以表示任意拓扑的优点。与点云相比，SDF始终表示水密表面。SDF最近开始吸引人们对通过深度学习进行形状分析的兴趣。DeepSDF [41]被提出来学习一类形状的连续SDF表示。类似地，深度水平集[33]被引入作为端到端的可训练模型，其直接预测任意拓扑的隐式表面。然而，这些方法在训练期间需要3D监督，例如3D坐标对及其对应的SDF值[41]或体素占用图[33]。基于学习的3D重建从二维图像重建三维模型是计算机视觉中的一个经典问题。与传统的多视图立体和基于阴影的方法[46]相比，基于学习的3D重建即使在输入视图很少的情况下也可以实现令人印象深刻的性能。针对不同类型的3D表示，已经提出了用于3D形状理解的深度学习模型然而，大多数基于学习的方法[51，49，10，1，7，19，23]需要3D监督。虽然一些方法[4，16]不需要监督学习，但它们通常受到特定设置的限制，例如受限的照明条件或对象方向的注释。相比之下，使用可微分渲染器预测3D形状[25，18，19，34，29，37]最近引起了越来越多的关注，因为它可以在没有3D监督的情况下进行3D重建，即通过仅使用图像作为训练数据来优化神经网络。可微分渲染基于体素的可微分渲染器[50，11，17，20，54，12，55，53，36]首先注意执行体积射线行进，然而，它们仅限于低分辨率体素网格。为了渲染SDF，我们使用球体跟踪，也用于场景表示网络（SRN）[48]。SRN学习如何球体跟踪新的视图，但不能在一个步骤中生成完整的3D形状。他们没有重建一个独立的视图形状表示，更侧重于新的视图合成，而不是3D水密表面重建，这是我们的目标。从Loper和Black的OpenDR [30]开始，最近的许多工作都集中在基于网格的可微渲染器[16，40]上。Kato等人[21]提出了一种神经网络3D网格渲染器与手工设计的梯度。Pa- parazzi [27]采用解析计算的梯度来调整顶点的位置。类似地，SoftRas[28]在概率光栅化框架中将每个像素分配给网格的所有面。虽然这些方法能够在没有3D监督的情况下学习3D网格重建，但它们限于固定的，通常是球形的网格拓扑。这些基于网格的渲染方法中的许多在几何形状方面是不同的[4，21，30，26，9，45，28]，照明模型[5]， 纹理[26，44，2]， 或材料[44，31，2]。基于网格的可微分渲染[43，25]也已应用于真实图像，尽管目前的结果相当有限，并且将可微分渲染应用于真实照片仍然是一个开放的挑战，因为它需要全面的全局照明模型。微分渲染也被应用于蒙特卡罗射线追踪[25]和点云渲染[19，34]。Insafutdinov等人[18]提出了一种基于点云的可区分渲染器，通过在保持点云的体素化3D空间上进行正交投影来进行可见性建模采用表面飞溅[52]对点云渲染中的可见性进行建模。尽管点云可以使用范围传感技术（例如Microsoft Kinect和LIDAR）容易地获取，但是它们不明确地表示拓扑并且需要后处理以产生防水表面。Concurrent works [29，37]提出了基于SDF和占用网络的可区分渲染，进一步提高了3D重建的质量。3. 概述本文提出了一种基于图像的三维形状优化方法，利用SDF作为几何表示来进行可微绘制。给定表示几何描述、照明模型、相机位置等的一组参数Θ，渲染器R可以被写为通过计算I=R（Θ）产生图像I的前向算子。相比之下，从图像优化几何和其他场景参数是一个向后的过程。给定期望的目标图像I，我们的目标是得到产生目标图像的参数集Θ = R−1（I）。渲染过程本身是不可逆的。因此，在-我们不直接求解逆绘制问题，1253img可以将其表述为能量最小化问题，Θi=arg minL（R（Θ），I）（1）Θ其中Limg是测量目标图像和来自3D对象的渲染图像在实践中，损失通常在多个目标图像上累积。 获取所需参数Θθ等于最小化损失L。 虽然所有渲染参数包括几何形状、照明、相机姿态，并且表面外观在理论上可以通过这种方式从图像中恢复，在本文中我们关注形状优化为了实现基于梯度的优化，一个关键问题是获得梯度，Limg（R（Θ），I）相对于参数Θ的梯度。一个可微分的渲染器通过不仅产生图像来自场景的描述，而且像素值相对于场景参数的导数。在本文中，我们提出了一种新的可微分渲染器，它使用符号距离函数（SDF）和摄像机姿态作为输入，并渲染图像。我们的基于SDF的可区分渲染器利用光线投射算法，并使用自动微分来计算导数。4. 可区分SDF渲染我们 通过 在规则 网格 上采 样SDF 值来 表示 离散SDF，并应用基于球体跟踪的标准光线投射算法[15]来找到光线与物体表面之间为此，我们采用三线性插值重建连续的SDF，可以在任何所需的位置进行评估这使得我们能够连续地表示物体表面，这是由插值SDF的零水平集给出的。一个关键的观察结果是，给定像素相对于渲染参数的导数仅取决于八个SDF采样的局部邻域，这些采样定义了曲面交点处的三线性插值SDF的值换句话说，球体追踪过程本身不需要是可微的。相反，只有涉及表面交叉点周围的8个SDF样本的局部集合的因此，我们的方法分两个阶段进行：首先，我们应用球面追踪来识别最接近表面交点的八个样本。这一步是不可微的。其次，我们根据局部SDF样本集局部计算像素颜色该步骤使用自动微分框架来实现以获得导数。虽然之前已经使用了体素网格的可微射线行进[54，55，36]，但这些方法基于体素不透明度，由二进制变量或连续发生概率给出在这些情况下，需要区分行进通过整个体积的射线，因为沿着射线的所有体素可能影响对应的像素。球体跟踪。我们在第一阶段通过球体跟踪[15]执行光线投射，从光线原点开始，并使用三线性插值计算SDF，以找到从光线上的当前点到对象的最小距离。然后我们沿着射线移动这个距离。沿着射线移动到物体的最小距离保证了我们永远不会越过物体的边界，同时允许我们向表面迈出可能很大的一步。我们重复此过程，直到到达对象的曲面，也就是说，直到光线上当前位置处的SDF值虽然可以通过增加步长来提高球体跟踪的效率[29]，但我们直接在CUDA中实现了球体跟踪，因此，在我们的方法中，这一步的计算成本可以忽略不计。可区分的阴影。在第二阶段中，我们将像素颜色计算为定义交点处SDF的局部SDF样本的函数，如第一阶段所确定的。这些计算在支持自动微分的框架中实现，使我们能够轻松获得像素的导数。对于每个像素，输入由灯光和摄影机参数以及最接近光线-曲面交点的八个SDF采样组成。计算包括：得到作为三线性基系数的函数的交点和交点处的表面法线（即，八个SDF采样），并评估着色模型。考虑到光线-表面交叉点上的像素值的依赖性让我们用d0，. . .，d7，射线上的当前位置（从射线投射阶段获得）通过s ∈ R3，以及单位射线方向通过v ∈ R3。到将交点表示为d 0的函数。- 是的- 是的 ，d7，我们使用与光线投射阶段中相同的近似，即，近似交点为p（d0，. - 是的- 是的 ，d7）=s+三线性（d0，. - 是的- 是的 ，d7; s）v，其中三线性（d0，. - 是的- 是的 ，d7; s）是位置s处的SDF的三线性插值，并且被认为是d0，. - 是的- 是的，d7.此近似值是保守的，因为只有SDF表示垂直于射线方向的平面时才是准确的v. 否则，p（d0，. - 是的- 是的，d7）保证不穿过沿着射线的真实交点。作为我们保守近似的替代方案，可以将交点精确地表示为射线s + tv与SDF的局部三线性插值的交点的解。 也就是说，我们可以表示三线性（ d0，. . .，d7;s+tv）=0，相对于t∈R是d0，. . . d7. 然而，这涉及到找到一个三次多项式的根，我们发现，更简单的方法在实践中更稳健地工作。1254为了评估着色模型，我们需要交点p（d0，. . .，d7）。考虑到表面法线对应于SDF的梯度，我们首先使用中心有限差分计算网格顶点处的梯度，然后在交点p（d0，. . .，d7;s）。总之，这导致在交点处的法线的表达式作为围绕交点的4×4×4邻域内的SDF系数的函数（由于中心有限差分）。曲面法线在trilin后进行规格化-耳内插最后，在我们当前的实现中，我们评估了一个简单的漫反射阴影模型。实施. 我们使用CUDA实现了SDF光线投射，以利用GPU的计算能力。可微分着色是用Pytorch语言实现的，它支持自动微分，并允许渲染器与神经网络无缝集成图1.我们在多视图重建实验中使用26个输入视图，如图所示。将由Θ表示的SDF写为函数f（x; Θ），其中x是3D中的点，正则化损失为∫训练Pytorch还利用GPU，我们的实现直接访问光线投射的输出Lreg=||f（x ; Θ）||2||（2）第二章||2dx (2)这是存储在GPU内存中的阶段，避免任何不必要的内存传输。我们的代码可在https://github.com/YueJiang-nj/CVPR2020-SDFDiff上获得。5. 多视点三维重建在本节中，我们将描述如何使用我们的可微分渲染器执行多视图3D重建。这是一个概念验证，我们假设已知的相机姿势，照明和表面外观，并且我们只对SDF表示的3D形状进行优化。我们的输入是来自一组固定的相机姿势的合成渲染图像。 我们将相机姿势设置为从每个面和边的中心指向，并从对象边界框的每个顶点指向其中心，其中边界框是一个立方体。由于立方体有6个面，8个顶点和12条边，我们总共获得26个相机姿势。图1显示了我们在实验中用于重建兔子的输入图像。此外，我们将SDF初始化为球体。5.1. 能量函数为了简单起见，我们选择渲染图像和目标图像之间的L2距离作 为 我 们 的基 于 图 像 的损 失 ，即 ， ||R（Θ）−I||二、损失在所有目标视图上求和在该概念证明场景中，优化参数Θ仅包括SDF值，因为我们假设其他渲染参数是已知的。通过优化SDF值来最小化基于图像的损失需要可微渲染，其中我们计算图像损失的梯度w.r.t.SDF值如第4节所示此外，我们施加正则化损失，以确保SDF值Θ表示有效的带符号距离函数，也就是说，其梯度应该具有单位幅度。在实践中，我们通过有限差分获得梯度，并计算SDF网格顶点的离散和。5.2. 迭代优化我们使用ADAM [22]应用梯度下降优化来迭代优化我们的SDF以匹配目标图像。与直接的梯度下降法相比，ADAM具有更强的鲁棒性和更快的收敛速度。此外，我们通过在每个梯度下降步骤中选择单个视图来计算梯度来加速收敛，类似于主动迷你批量采样。直觉是，3D模型的某些部分可能具有更复杂的结构，因此使用某些视图比其他视图更难以优化SDF值。不同的视图可能会导致不同程度的图像损失，我们应该关注损失较大的视图，以确保对象的所有部分都可以很好地重建。我们的方法首先从上一次迭代的结果计算所有相机视图的平均损失。如果一个观点的损失大于平均损失，则在当前迭代期间，我们将更新SDF，直到此视图的损失 低于平均值（最大值）。20次更新）。对于其他视图，我们更新SDF五次。如果一个更新增加了损失，那么我们直接切换到下一个视图。当损失小于给定公差或步长太小时，我们停止优化过程。重建高分辨率的3D物体是一项挑战，因为梯度下降需要多次迭代来消除低频误差。因此，我们采用了一种由粗到细的多分辨率方法。我们首先初始化SDF网格的分辨率为83到一个球体的SDF然后，我们在执行如上所述的梯度下降优化和增加网格分辨率之间进行评估。我们在-1255对象我们[第52话]SMVS [24，47]环面0.0156370.035398N/A兔子0.0266540.109432N/A龙0.0747230.1794560.097816表1.对称Hausdorff距离的比较环面、兔子和龙的地面实况和重建网格之间SMVS无法重建圆环和兔子，因为相机姿态估计失败。图2.与DSS [52]和SMVS [24，47]相比的多视图重建结果，具有基于Hausdorff距离的相应误差可视化（红色表示零，蓝色表示高误差）。简单地通过执行三线性内插来增加分辨率，并在64× 3的分辨率处停止。为了进一步提高多分辨率方案的效率，我们在每个分辨率级别上选择与SDF分辨率相对应的合适的图像分辨率进行我们通过确保半径等于网格间距的球体，并将其放置在距离相机最远的SDF边界框的角上，其投影覆盖区为最多为2 ×2像素块的大小。5.3. 实验结果定性结果。我们将结果与DSS [52]，这是一个基于表面飞溅[56]的点云微分渲染器我们让这两个系统变形球体，以适应作为输入的目标对象 在运行DSS时，我们采用与原始实验相同的设置：在每个优化周期中，系统从一组26个目标视图中随机选择12个，并优化多达16个周期。我们用不同数量的3D点进行了实验，并报告了最佳结果。对于SDFDiff，我们使用5.2节中的优化技术，使用相同的26个视图。图2显示了SDFDiff和DSS之间的比较。DSS不能像SDFDiff那样精确地恢复几何细节。我们还将我们的结果与SMVS [24，47]进行了比较，SMVS是一种最先进的阴影感知多视图3D重建方法。我们使用默认设置，并提供vide 1000随机采样的意见，龙由我们的SDF渲染器作为输入。请注意，SMVS会自动从输入图像中恢复摄像机参数，并估计表面反射率和照明，因此补偿并不完全公平。但是，如图2所示，SMVS也可能由于不准确的相机姿态估计而在较少视图的情况相比之下，SDFDiff可以仅使用26个视图（具有已知的相机姿势、姿态和照明）获得更好的结果。定量结果。表1比较了对称地面实况和重建的圆环、兔子和龙的网格。 圆环和兔子的视觉效果在补充材料中。为了进行公平的比较，我们报告相对于边界框大小的错误。我们观察到，SDFDiff导致更小的对称Hausdorff距离，这意味着我们的重建结果比其他两种方法更接近地面真相5.4. 参数研究初始决议。图3显示了多分辨率方案中初始分辨率的影响。我们固定多分辨率步骤的数量和我们的目标分辨率为64，然后将初始分辨率分别设置为8，16，32和48。我们发现，较低的初始分辨率可以重建质量更好的3D形状，因为它更鲁棒地捕捉大尺度结构。GT我们误差[第52话]误差SMVS[24，47]误差1256init res=8init res=16init res=32init res=48图3. 给定不同的初始分辨率，4个分辨率阶段，我们可以发现，如果初始分辨率较低，我们的3D重建结果会更好。1步骤4步8个步骤15步图4.我们将初始和目标分辨率分别固定为8和64，但使用不同数量的中间分辨率阶段。我们发现，更多的分辨率阶段可以给我们更好的结果。64x64128x128256x256512x512图5.我们表明，重建结果的质量并没有太大的影响，由图像分辨率。多分辨率步骤数。 图4显示，给定固定的初始（initres=8）和目标（target res=64）分辨率，添加更多的多分辨率步骤可以得到更好的结果。特别是，单分辨率优化（1步）无法成功重建对象，进一步证明了我们的多分辨率设置。图像分辨率。图5显示图像分辨率不会显著影响结果的质量，我们使用不同分辨率的图像进行优化。噪音数据。如图6所示，当一些噪声被添加到目标图像或相机姿态时，我们的方法仍然可以保持其鲁棒性。图6.噪声数据的实验结果所有26个输入视图或相机姿态都被高斯噪声扰动（对于视图，方差=0.03，对于相机姿态，方差=0.01）。第三列显示由扰动的相机姿势引起的视图差异。6. 基于学习的单视图重建在下面的实验中，我们利用SDFDiff来训练神经网络在没有3D监督的情况下执行单视图3D重建。我们使用与[21，28]相同的数据集，其中包括来自ShapeNet [3]的13个类别的对象。每个对象有24个渲染图像，64×64分辨率的不同视图。我们在与[21，28，54]相同的数据集上使用相同的训练/验证/测试集以及标准重建度量，即，3D交联（IoU）[28]用于定量比较。网络我们的网络包含两个部分，如图7所示。第一部分是编码器-解码器网络，它将图像作为输入并输出粗略的SDF结果。第二部分是细化网络，以进一步提高三维重建结果的质量。该网络同时在数据集中的所有3D形状上进行训练。损失函数。除了如第5.1节中所示的包含L2基于图像的损失Limg和SDF损失Lreg的能量函数之外，我们还添加了几何损失Lgeo，其正则化预测SDF的有限差分拉普拉斯算子以获得平滑输出。此外─此外，我们使用窄带技术来控制SDF和拉普拉斯损耗的影响，因为我们更关心表面周围局部的这些损耗。此外，由于奇异性（例如， 形状的中轴线形成尖锐的折痕）。窄带仅考虑接近表面的SDF损耗，避免了卷中其他地方的SDF离散化问题。我们使用基于距离的二进制掩码M将它们从零水平集进一步归零。掩码定义为M=||SDF|| ≤µ × voxelSize，（3）嘈杂查看结果摄动相机姿势结果1257类别飞机板凳内阁车椅子显示灯扬声器步枪沙发表电话容器是说核磁共振[21]0.61720.49980.71430.70950.49900.58310.41260.65360.63220.67350.48290.77770.56450.6015SoftRas（银）[28日]0.64190.50800.71160.76970.52700.61560.46280.66540.68110.68780.44870.78950.59530.6234[28]第二十八话0.66700.54290.73820.78760.54700.62980.45800.68070.67020.72200.53250.81270.61450.6464我们0.68740.68600.77350.80020.64360.65840.51500.65340.55530.76540.62880.82780.62440.6674表2.在13个ShapeNet类别上比较IoU与最先进的方法[21，28]图7.单视图SDF重建的网络结构。其中μ是定义窄行带宽度的超参数我们目前将其设置为1.6，这是通过实验确定的。最终损失函数是三个损失的加权和，权重为λ1=λ2= 0。02，L= Limg+ M（λ1Lreg+ λ2Lgeo）。（四）培训过程。我们首先根据三个损失项单独训练网络的编码器-解码器部分。然后，我们固定编码器和解码器，并在相同的三个损失项上训练细化器网络，以获得细化的SDF形状。 最后，我们训练所有三个部分，即，编码器、解码器和细化器一起使用，以进一步改善结果。我们不使用多分辨率方法。定性评价。图8显示了我们的方法可以重建详细的对象和准确地重新覆盖复杂的拓扑结构。相反，SoftRaster- izer [28]依赖于具有球形拓扑它无法捕捉椅子的复杂拓扑结构。定量评价。我们将我们的方法与最先进的方法[21，28]在表2中的3D IoU评分方面进行了我们的方法可以重建形状与13类更精细的细节。此外，IoU数字表明，我们的结果实现了更高的准确性，在大多数类别中，我们的得分超过了其他方法。与Chen et al.[5]被省略，因为它们使用与其他方法不同的数据预处理[21，28]。7. 讨论和限制作为一个主要的优点，SDF可以表示任意的拓扑结构，与三角形网格相比，三角形网格仅限于模板的拓扑结构。与点云相比，SDF本质上表示连续的水密表面。我们展示了我们的方法在多视图形状重建和使用深度学习的单视图3D重建中的应用。我们的实验结果表明，我们可以比现有技术的基于点的可微分渲染器更鲁棒地执行多视图再现。此外，我们还利用深度学习模型在单视图3D重建方面取得了最先进的成果在我们的多视图三维重建方法中，我们目前的阴影模型不足以从用相机拍摄的真实图像执行逆渲染。例如，我们目前不包括阴影、相互反射、纹理、非漫射表面或复杂照明等效果。与基于光栅化的可微分渲染器相比，我们的基于光线跟踪的渲染器可以扩展为包括所有这些效果。我们的深度学习方法的一个缺点是，我们在3D网格上输出离散的SDF相反，我们可以学习一个连续的有符号距离函数，它由一个深度网络表示，就像DeepSDF [41]一样。这将是更有效的存储器，但它可能是计算上太昂贵的无监督的3D再现与微分渲染，因为它将需要评估网络的每个光线行进步骤。8. 结论本文提出了一种新的基于符号距离函数的可微绘制方法来表示水密的三维几何图形.我们的渲染算法基于球体跟踪，但我们观察到，在我们的框架中，只有局部着色计算需要是可微的，这使得该方法在计算上更有效，并允许直接集成到深度学习框架中。我们展示了使用深度神经网络在多视图3D重建和无监督单视图3D重建中的应用我们的实验结果说明了几何表示，如点云和网格的优势特别是，我们报告的形状重建的最先进的结果。1258方法输入图像渲染视图输入图像渲染视图GT我们[28]第二十八话GT我们[28]第二十八话GT我们[28]第二十八话GT我们[28]第二十八话GT我们[28]第二十八话图8.飞机、椅子和长凳的单视图重建结果9. 确认该项目由NSF IIS grant nr支持#1813583。 我们也赞赏与钱其琛的Zheng，Hui Huang，and Daniel Cohen-Or在深圳大学。1259引用[1] Panos Achlioptas，Olga Diamanti，Ioannis Mitliagkas，and Leonidas J. Guibas 3D点云的表示学习和对抗生成CoRR，abs/1707.02392，2017。[2] Anish Athalye、Logan Engstrom、Andrew Ilyas和KevinKwok。合成强大的对抗性示例。在第35届机器学习国际会议的开幕式上，第284-293页[3] 天使X作者：Thomas A.作者：Leonidas J. Guibas、PatHanrahan、Qi-Xing Huang、Zimo Li、Silvio Savarese、Manolis Savva 、 Shuran Song 、 Hao Su 、 JianxiongXiao、Li Yi和Fisher Yu。ShapeNet：信息丰富的3D模型存储库。ArXiv，abs/1512.03012，2015。[4] Chengqian Che ， Fujun Luan ， Shuang Zhao ， KavitaBala，and Ioannis Gkioulekas.逆传输网络arXiv电子打印，第arXiv：1809. 10820页，9月。2018年。[5] Wenzheng Chen，Huan Ling，Jun Gao，Edward Smith，Jaakko Lehtinen，Alec Jacobson，and Sanja Fidler.学习使用基于插值的可区分渲染器预测3d对象。神经信息处理系统进展32（NeurIPS 2019）。[6] 陈志勤和张浩。学习生成式形状建模的隐式字段。IEEE计算机视觉和模式识别会议，2019年。[7] Christopher B Choy ， Danfei Xu ， JunYoung Gwak ，Kevin Chen，and Silvio Savarese. 3D-R2 N2：用于单视图和多视图3D对象重建的统一方法。在2016年欧洲计算机视觉会议（ECCV）上[8] Brian Curless和Marc Levoy。从距离图像建立复杂模型第23届计算机图形和交互技术年会论文集- SIGGRAPH[9] 我是艾尔·德劳诺伊和伊曼纽尔·普拉多斯。 用于优化基于三角形网格的曲面的梯度流：应用于处理可见性的3D重建问题。国际计算机视觉杂志，95（2）：100-123，2011年11月。[10] Haoqiang Fan，Hao Su，and Leonidas J. Guibas一个点集生成网络从一个单一的图像三维物体重建。在IEEE计算机视觉和模式识别会议（CVPR），2017年7月。[11] Matheus Gadelha，Subhransu Maji和Rui Wang。从多个对 象 的 2D 视 图 进 行 3D2017 年 3D 视 觉 国 际 会 议（3DV），第402-411页，2016年。[12] J. Gwak ， C. B. Choy ， M. Chandraker ， A. Garg 和 S.Savarese具有对抗约束的弱监督三维重建。2017年国际3D视觉会议（3DV），第263-272页[13] Zhizhong Han ， Mingyang Shang ， Yu-Shen Liu ， andMatthias Zwicker.查看帧间预测GAN：通过学习全局形状记忆来支持局部视图预测的3D形状的无监督表示学习。在AAAI，第8376-8384页[14] Zhizhong Han ，Mingyang Shang， Xiyang Wang，Yu-Shen Liu，and Matthias Zwicker.Y2Seq2Seq：跨模态表示通过视图和单词序列的联合表示和预测，对3D形状和文本进行感知学习。在AAAI，第126-133页[15] John C.哈特球体跟踪：隐式曲面反走样光线跟踪的几何方法。The Visual Computer，12（10）：527[16] 保罗·亨德森和维托里奥·法拉利。学习仅用2D监督生成和重建3D网格。第29届英国机器视觉会议（BMVC2018）论文集，2018年。[17] P Henzler，N Mitra和T Ritschel。使用对抗训练逃离柏拉图的洞穴：从非结构化的2D图像集合的3D形状。在Proceedings of the International Conference on ComputerVision 2019 （ ICCV 2019 ） 中 ， 第 2019 卷 。 IEEE ，2019。[18] Eldar Insafutdinov和Alexey Dosovitsky使用可微分点云进行形状和姿态的无监督学习。神经信息处理系统进展（NeurIPS 2018），第2807-2817页，2018年[19] Li Jiang ， Shaoshuai Shi ， Xiaojuan Qi ， and Jiaya Jia.GAL：单视图3D对象重建的几何对抗损失。在欧洲计算机视觉会议（ECCV），2018年9月。[20] Danilo Jimenez Rezende，S. M.阿里·埃斯拉米，沙基尔·莫·哈米德，彼得·巴塔利亚，马克斯·贾德伯格，尼古拉斯·希斯.从图像中无监督学习3D结构。神经信息处理系统进展29（NeurIPS 2016）。[21] Hiroharu Kato 、 Yoshitaka Ushiku 和 Tatsuya Harada 。Neu- ral 3D网格渲染器。在IEEE计算机视觉和模式识别会议，2018。[22] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的方法。CoRR，abs/1412.6980，2014。[23] A. Kurenkov，J.Ji，黑穗醋栗A.Garg，V.Mehta，J.瓜克角蔡，和S. Savarese DeformNet：用于从单个图像重建3D形状的自由形式变形网络。2018年IEEE计算机视觉应用冬季会议（WACV），第858-866页[24] F. Langguth，K. Sunkavalli，S. Hadap和M. Goesele阴影感 知 多 视 图 立 体 。 在 2016 年 欧 洲 计 算 机 视 觉 会 议（ECCV）的会议记录中[25] 李子茂、艾塔拉、杜兰德神父、李嘉诚.通过边缘采样的可微蒙特卡罗射线追踪。ACM事务处理图表（Proc.SIGGRAPH Asia），37（6）：222：1 -222：11，2018.[26] Hsueh-Ti Derek Liu ， Michael Tao ， Chun-Liang Li ，Derek Nowrouzezahrai，and Alec Jacobson.使用可微分渲染器的对抗性几何和照明。CoRR，abs/1808.02651，2018。[27] Hsueh-Ti Derek Liu，Michael Tao，and Alec Jacobson.Pa- parazzi：通过多视图图像处理进行表面编辑。ACMTransactions on Graphics，2018。[28] Shichen Liu，Tianye Li，Weikai Chen，and Hao Li. 软质灭菌剂：用于基于图像的3D推理的可微分渲染器。IEEE International Conference on Computer Vision ，2019。1260[29] Shaohui Liu，Yinda Zhang，Songyou Peng，Boxin Shi，Marc Pollefeys，and Zhaopeng Cui.DIST：用可微球跟踪绘制深度隐式符号距离函数.在IEEE计算机视觉和模式识别会议（CVPR），2020年。[30] 马修·M作者声明：Michael J.黑色. OpenDR：近似可微分渲染器。在计算机科学讲义（包括人工智能和生物信息学讲义子系列，2014年。[31] AbhimitraMeka、MaximMaximov、MichaelZollhoefer 、 Avishek Chatterjee 、 Hans-Peter Seidel 、Christian Richardt和Christian Theobalt。石灰：活的内在材料估计。在计算机视觉和模式识别（CVPR）会议记录中，2018年6月。[32] Lars Mescheder，Michael Oechsle，Michael Niemeyer，Se- bastian Nowozin ， and Andreas Geiger.Occupancynetworks：学习函数空间中的3D重建。在IEEE计算机视觉和模式识别会议上，2019年。[33] 作 者 ： Jhony K. Pontes ， Dominic Jack ， MahsaBaktashmotlagh，and Anders P.埃里克森深层水平集：用 于 3D 形 状 推 断 的 隐 式 表 面 表 示 CoRR ，abs/1901.06802，2019。[34] KL Navaneet，Priyanka Mandikal，Mayank Agarwal，and R Venkatesh Babu. CAPNet：使用二维超视进行三维点云重建的连续近似投影。在AAAI人工智能会议论文集，第33卷，第8819-8826页[35] Richard A. 作 者 ： Newcombe ， Shahram Izadi ， OtmarHilliges，David Molyneaux，David Kim，Andrew J.戴维森，科利，杰米·肖顿，史蒂夫·霍奇斯，安德鲁·菲茨吉本. KinectFusion：实时密集表面映射和跟踪。2011年第10届IEEE混合与增强现实国际研讨会，ISMAR 2011，2011。[36] Thu Nguyen-Dangeroc ， Chuan Li ， Stephen Balaban ，and Yong-Liang Yang.RenderNet：一个深度卷积网络，用于从3D形状进行可区分的渲染。神经信息处理系统进展31（NeurIPS 2018），2018年。[37] Michael Niemeyer、Lars Mescheder、Michael Oechsle和Andreas Geiger。差分体绘制：学习隐式3D表示没有3D监督。IEEE Conf.计算机视觉和模式识别（CVPR），2020年。[38] Matthi asNießner，MichaelZollh？ fer，ShahramIzadi，andMarc Stamminger.使用体素散列进行实时3D重建。ACM Transactions on Graphics，2013。[39] S Osher，R Fedkiw和K Piechor。水平集方法与动态隐式曲面。应用力学评论，2004年。[40] Andrea Palazzi ， Luca Berg
我的内容管理
展开
