0,其中u=[x2,y2,z2,xy,yz,zx],A[5:10]是A的6×6子矩阵,包括四次项的系数。 这意味着A[5:10] 0是一个正定(PD)矩阵。 Note that, with the PDmatrix A[5:10] ≻ 0, the algebraic surface exists if andonly if p3↓(x, y, z) = 0≤i+j+k≤3 aijkxiyjzk is negativeand |p3↓(x, y, z)| > p4(x, y, z) for some points in R3.否则,该本原的体积为零,因为它没有实值解。此外,由于每个图元重建目标3D形状的不同片段,因此我们需要确保其体积小于目标形状。为了防止生成大型原语并控制其规模,我们开发了一个每个原语的上限。 重建基本体的3.2.1训练损失我们应用各种损失来重建3D形状。失落的迹象。由于3D空间中的目标表面划分内部和外部,我们定义一个符号函数sign(x,y,z):R30,1,1上的采样点PR3,其中值0,1和1分别对应于目标表面上的点,其内部和其外部。同样,我们可以对重建的隐式曲面(x,y,z)上/内/外的点进行分类,并减少它们的预测符号和地面真值符号之间的损失。我们使用均方误差(MSE)作为损失函数,如等式(1)所示。第七章:Lsign=Σλi·EpP tanh(S(p))−sign(p)2,(7)12450i∈{on,in,out}12451L−B XS×⊂nCS SS(,,)LBXC−∈-∈××2C(x)2+(y)2+(z)2其中和λi分别是训练批次和对应于每个符号的注意那个标志加强网络以重建期望的表面B,以及拒绝同时生成冗余表面。此外,MSE损失迫使进一步注意区分重建表面附近的内部和外部点,因为它们的tanh(pi)接近零,而它们的地面真值分别为1和+1损失正常。为了改善重建,我们使用法向量作为二阶信息。因此,我们定义了目标网格模型的表面上的样本点p的真实法向量和它们的法向量nr之间的MSE损失,所述法向量通过等式第八章:LB=EponPnr(pon)−ng(pon),(8)为了确保H是PD矩阵,我们将其参数化为等式十一:H=BBT+αI0(11)其中α=0。0001是小标量因子,B和I分别是10 × 10对称矩阵和单位矩阵。此外,我们在R解码器的输出上应用S形函数以生成(0,1)R3中的值作为等式1的参数R5来控制所有图元的大小并保证它们不大于边界框的大小。此外,我们在c解码器的输出上应用tanh来生成边界框内的中心因此,每个基元用总共59个参数参数化,包括用于中心c=(c,c,c)的三个参数、用于R的一个参数和55个参数123其中联合表面上的法向矢量可以针对表面上的任何点直接确定为等式2:第九章:对于矩阵B。我们将参数λon、λin、λout和λn分别设置为2、1、10和1。我们训练我们的编码解码器架构-nS(x,y,z)∂ ∂ ∂xx使用初始学习率为1 e-4的 Adam优化器R=|| S(x,y,z)||=. 别说了,满足:S(x,y,z)=pm*(x,y,z),m*= arg min(p m(x,y,z)).M(九)重量衰减1 e-7,批量大小为64。我们实现我们的使用PyTorch通过CUDA指令在Python3.7中创建模型4. 实验在本节中,我们提供有关评估的信息-注意,m是最接近的基元的索引(即,具有最小值pm*(x,y,z))的本原。最后,总损耗总数是所有定义的损耗的加权平均值,其中对应的权重为等式十:评估设置,并显示定性和定量的结果,我们的方法相比,国家的最先进的方法对单一的RGB图像三维形状重建。我们还进行了各种消融研究,以更好地分析我们的方法补充材料中有更多的实验。总符号LB= LB+ λ nLB。(十)3.2.2实现细节我们考虑边界框=[ 1,1]3,并通过保持其纵横比将给定的输入3D形状拟合到其中。然后我们从[ 1]中提取1M个点。一,一。1]3R3包围3D形状,并且在每次迭代时,我们随机选择其中的1%作为批次中所有形状的联合内部点pin和外部点pout 此外,我们在每个3D形状的表面上挑选10k个点p,并在每次迭代中随机选择其中的20%要捕获输入观测的信息,请执行以下操作:我们采用预训练的ResNet-18 [18]作为编码器。然后是三组独立的全连接(FC)层(4096,4096,4096,55M)、(1024,512,256,3M)、(256,M)对编码特征进行解码以获得编码特征。每个对称矩阵B的参数、标量R和中心c,对于等式(1)中的M=100个基元。2所示的序列。除了最后一层之外的所有FC层都由ReLU非线性激活函数授权。我们还在Bde的前三个FC层之后应用三个批归一化层。编码器来加速训练和提高性能。4.1. 数据集和指标我们在ShapeNet数据集[6]的子集上评估我们的方法,其中具有相同的图像渲染和由Choy等人提供的训练/测试分割。[9]的文件。我们还采用网格融合[36]从3D CAD模型生成防水网格。然后,我们使用Houdini[35]来提取内部/外部/上点和法向量。为了进行评估,我们使用体积IoU,Chamfer [11]和F-Score [23]指标。体积IoU用于测量地面真实网格和重建表面之间的重叠体积。倒角是准确性和完整性评分的平均值。重建表面上的点到地面真实网格上的它们最近的邻近点的平均距离完整性度量在准确性度量的相反方向上定义。F分数是精度的调和平均值,其显示正确重建的表面的百分比。为了计算IoU,我们从边界框中采样100k个点。为了评估倒角和F分数,我们首先将重建的表面转移到网格,然后类似于CvxNet[10],我们在重建的网格和地面真实网格上采样100k个12452输入RGB图像GT补片OccNet(一)SIFCvxNet3DIAS(我们的)输入RGB图像CvxNet3DIAS(我们的)(b)第(1)款图4:单个RGB图像3D形状重建的定性比较。SIF [12],AtlasNet [15],OccNet[26],CvxNet[10]和我们的3DIAS输出从给定的RGB图像重建3D形状(a)与CvxNet [10]中所示样本的其他方法的比较(b)与CvxNet的更多定性比较[10]。类别倒角F-scoreP2mAtlasNetOccNetSIFCvxNet3DIASP2mAtlasNetOccNetSIFCvxNet3DIASAtlasNetOccNetSIFCvxNet3DIAS飞机0.420-0.5710.5300.5980.5490.1870.1040.1470.1670.0930.08767.2462.8752.8168.1659.48板凳0.323-0.4850.3330.4610.4850.2010.1380.1550.2610.1330.10654.5056.9137.3154.6460.17内阁0.664-0.7330.6480.7090.7300.1960.1750.1670.2330.1600.12346.4361.7931.6846.0961.81车0.552-0.7370.6570.6750.7370.1800.1410.1590.1610.1030.09151.5156.9137.6647.3358.07椅子0.396-0.5010.3890.4910.5090.2650.2090.2280.3800.3370.18638.8942.4126.9038.4943.14显示0.490-0.4710.4910.5760.5380.2390.1980.2780.4010.2230.21142.7938.9627.2240.6942.40灯0.323-0.3710.2600.3110.3810.3080.3050.4791.0960.7950.60733.0438.3520.5931.4137.52扬声器0.599-0.6470.5770.6200.6380.2850.2450.3000.5540.4620.35135.7542.4822.4229.4539.16步枪0.402-0.4740.4630.5150.4230.1640.1150.1410.1930.1060.11664.2256.5253.2063.7447.44沙发0.613-0.6800.6060.6770.6850.2120.1770.1940.2720.1640.15843.4648.6230.9442.1149.73表0.395-0.5060.3720.4730.5090.2180.1900.1890.4540.3580.24544.9358.4930.7848.1057.63电话0.661-0.7200.6580.7190.7510.1490.1280.1400.1590.0830.08058.8566.0945.6159.6471.35容器0.397-0.5300.5020.5520.5380.2120.1510.2180.2080.1730.20649.8742.3736.0445.8840.70是说0.480-0.5710.4990.5670.5750.2160.1750.2150.3490.2450.19748.5751.7534.8647.3652.22表1:单个图像3D形状重建的评价我们评估并比较了我们的方法(3DIAS)与最先进的方法,包括P2 M [41],AtlasNet [15],OccNet[26],SIF [12]和CvxNet[10]在ShapeNet数据集[6]的一部分上的IoU,Chamfer和F-score。4.2. 重建我们通过实验评估了我们的方法3DIAS在多类上训练,并将其与单RGB图像3D形状重建的最新方法进行比较,并将结果总结在表1中。实验证明了3DIAS与基于显式的方法P2M [41]和AtlasNet [15]、基于等值面的方法OccNet [26]以及最近基于基元的方法SIF [12]和CvxNet [10]相比在体积IoU和F分数方面的优越性。我们还通过Chamfer指标实现了第二好的性能。我们在补充材料中展示了3DIAS对单类训练网络的定量结果。此外,我们定性地评估了在单类上训练的3DIAS,并将其与图4中的先前方法进行了比较。结果表明,3DIAS算法实现了平滑具有理想几何细节的表面。与先前的方法不同,3DIAS在用更复杂的拓扑(例如,如图4a所示。此外,与CvxNet [10]相比,3DIAS可以更好地重建薄形状(例如,灯)以及当相似形状在训练数据集中罕见时(例如,飞机和汽车),参见图4b。4.3. 消融研究我们进行了几个消融研究,以分析我们提出的代表和重建程序。首先,我们展示了我们的方法生成更复杂的原语相比,其他基于原语的方法的能力。然后,我们比较所需的参数数量来表示三维形状与我们的表示和其他方法。最后,我们展示了我们重建的力量12453∈S||||||S×≃表示SIFOccNetCvxNet3DIAS参数数量70011M7700480表2:参数的数量通过不同方法表示3D形状的平均参数数方案以无监督的方式学习语义结构。此外,我们评估的设计约束和定义的损失函数在重建三维形状与高细节外观的效果。图5:原语数量的统计。我们计算的平均数量的图元中选择的所有M=100图元的网络为每个类别。4.3.1原语的复杂性我们说明了我们提出的约束基元能够形成更多的几何形状(例如,弯曲的)和拓扑的(例如,属一)复杂形状,如图6所示。而先前的基于基元的方法(诸如立方体[40]、椭圆体[12]、超二次曲面[30]和凸[10])不能形成这样的复杂形状。4.3.2参数的数量在第3.1节中,我们论证了当p3↓(x,y,z)p4(x,y,z)或p3↓(x,y,z)对所有点(x,y,z)R3都是非负的时,本原可能没有实解(即,没有有效表面)。因此,我们的方法可以忽略所有M=100个基元中的一些基元,通过将正定系数矩阵A分配给它们,并保持足够数量的基元。因此,这些不可解基元不参与重建表面。请注意,我们的方法选择的图元集,主要是不同的类别间的形状和类别内的形状有很大的重叠。在测试阶段,我们可以有效地检查特征值(a) 灯(b)扬声器(c)椅子图6:我们的原语的复杂性。第一行和第二行分别示出了重构的形状及其对应的图元。所提出的primitive可以有效地呈现弯曲和环面形状。并消除具有非负特征值的基元。我们的实验表明,我们的网络选择几个图元来重建3D形状,如图5所示。另外,由于每个四次基元最终可以仅用35个系数aijk来识别,所以具有3DIAS表示的3D形状的表面可以仅用三十五十三平均71480个参数。3DIAS需要68。571%,0. 004%和6. 平均234%的参数用于SIF [12],OccNet [26]和CvxNet [10]以分别表示3D形状,参见表2。4.3.3无监督语义分割我们还说明了我们的网络学习的语义结构,没有任何部分级的监督,这样一个原语通常覆盖重建的3D形状在 同 一 类 与 3DIAS 表 示 的 相 同 部 分 我 们 评 估 了PartNet[27] 数 据 集 上 的 语 义 结 构 , 该 数 据 集 具 有shapeNet分层部分的标签。图7中的定量实验表明,与CvxNet [10]和BAE [7]相比,我们的方法分别实现了更好且相当的平均准确度此外,对于薄零件,3DIAS比这两种方法实现更好的精度(例如,臂)。此外,我们的定性实验说明,一个原语往往覆盖相同的语义部分,如图8所示。这种趋势对于覆盖更多点的主导基元例如,主导基元主要覆盖椅子的座位,因为大多数椅子具有座位部分。更多示例请参见补充材料。12454LLLLLLLLL图7:语义分割的评估。(左)椅子类中4个基元内PartNet标签的分布。(右)每个零件的分类精度。我们遵循cvxnet [10]中介绍的评估方法。约束IOU倒角F-score- 中心0.5490.38746.72- 刻度0.5590.26148.45- 规模,-封闭性0.5460.28044.44所有0.5750.19752.22表3:限制条件下的消融研究。我们比较了中心,规模和封闭性约束的IoU,倒角和F分数方面的效果。注意,在每个配置中,我们忽略一个或两个约束。(a) 飞机(b)椅子图8:无监督语义分割的定性结果。我们将3DIAS的结果可视化,用于(a)飞机和(b)椅子类别中的一些损失IOU倒角F-score-Ln-L符号-L符号 ,-Ln0.5680.5480.5420.2100.2190.23249.1743.7742.37所有0.5750.19752.22表4:损失的消融研究。我们比较了符号和n损失对表面上点的影响,包括IoU、倒角和F分数。注意,在每个配置中,我们忽略一个或两个损失函数。此外,我们不排除内/外点的符号更多示例请参见补充材料。包括内部/外部点的符号结果表明,曲面上点的重要性,以实现更多4.3.4制约因素的影响我们研究了我们设计的约束条件对重建三维形状的影响。在每个实验中,我们通过忽略一个或多个约束来评估或基线。基于体积IoU、倒角和F分数的定量结果显示了每个约束的重要性,见表3。我们相信这些约束鼓励网络重建详细的3D形状,特别是中心约束。4.3.5损失的影响虽然内部/外部点的符号试图区分3D形状的内部和外部,但由于曲面附近缺乏采样点,因此不足以实现详细的曲面。因此,表面上的点及其法向量可以促进重建。请注意,法向量携带有关3D几何体的重要信息,例如曲面的局部方向。因此,我们使用表面上的点的符号损失和η我们通过排除表面上的点来评估每个符号n及其组合的影响,并将结果总结在表4中。注意,对于表4中的所有实验,我们不排除。详细的3D形状。5. 结论在本文中,我们提出了一种基于原语的表示和学习计划,其中原语是可学习的隐式代数表面,可以共同近似3D形状。我们设计了各种约束和损失函数,以实现高质量和详细的3D形状。我们exper- imentally证明,我们的方法优于国家的最先进的方法在大多数的指标。此外,我们illustrate,我们的方法可以学习语义的意义,部分级别的监督,自动选择集的原语参数化只 有 几 个 参 数 。 在 未 来 , 我 们 将 利 用 所 设 计 的primitive的可解性来开发一个软渲染器,该软渲染器通过自监督学习来重建3D形状。确认这项工作得到了韩国政府资助的IITP赠款的部分支持。2021-0-01343,人工智能研究生院计划(首尔国立大学)]。部分精度BAE CvxNet3DIAS回来 86.36 91.5088.87座椅73.66 90.6370.29基地 88.46 71.9578.51臂65.75 38.9474.86是说 78.56 73.2578.1312455引用[1] Panos Achlioptas,Olga Diamanti,Ioannis Mitliagkas,and Leonidas J. Guibas 3d点云的表示学习和对抗生成。CoRR,2017年。1[2] C.巴贾杰几何设计中代数曲线曲面的出现。1992. 2[3] FaustoBernardini , J. Mittleman , HollyRushmeier ,Cla'udioSilva,and Gabriel Taubin.曲面重建的球旋转算法。可视化和计算机图形学,IEEE学报,5:349-359,11 1999。2[4] Andrew Brock、Theodore Lim、James M Ritchie和NickWeston。用卷积神经网络进行生成和判别体素建模。arXiv预印本arXiv:1608.04236,2016。1[5] F. Calakli和Gabriel Taubin Ssd:平滑符号距离曲面重建。计算机图形论坛,30:1993- 2002年,2011年11月。2[6] 天使X作者:Thomas A.作者:Leonidas J. Guibas、PatHanrahan、Qi-Xing Huang、Zimo Li、Silvio Savarese、Manolis Savva 、 Shuran Song 、 Hao Su 、 JianxiongXiao、Li Yi和Fisher Yu。Shapenet:一个信息丰富的3D模型存储库。CoRR,2015年。五、六[7] Zhiqin Chen,Kangxue Yin,Matthew Fisher,SiddharthaChaudhuri,and Hao Zhang. Bae-net:用于形状共分割的分 支 自 动 编 码 器 。 Proceedings of InternationalConference on Computer Vision(ICCV),2019. 7[8] 陈志勤和张浩。学习生成式形状建模的隐式字段。在IEEE计算机视觉和模式识别会议论文集,第5939-5948页3[9] 克里斯托夫·B. Choy,Danfei Xu,JunYoung Gwak,Kevin Chen,and Silvio Savarese. 3d-r2 n2:用于单视图和多视图3D对象重建的统一方法。CoRR,2016年。二、五[10] Boyang Deng、Kyle Genova、Soroosh Yazdani、SofienBouaziz 、 Geoffrey Hinton 和 Andrea Tagliasacchi 。Cvxnet:可学习的凸分解。在IEEE/CVF计算机视觉和模式识别会议论文集,第31-44页,2020年。一二三五六七八[11] Haoqiang Fan,Hao Su,and Leonidas J. Guibas从单幅图像重建三维物体的点集生成网络。CoRR,2016年。二、五[12] Kyle Genova , Forrester Cole , Daniel Vlasic , AaronSarna,William T. Freeman和Thomas A.放克豪瑟使用结构化隐函数学习形状模板。2019年IEEE/CVF计算机视觉国际会议(ICCV),2019年。一二三六七[13] 放大图片作者:David F.福伊,米克尔·罗德里格斯,阿布·希纳夫·古普塔.学习对象的可预测和生成矢量表示。CoRR,2016年。2[14] 放 大 图 片 作 者 : David G. Kim , Bryan Russell ,andMathieuAubry. AtlasNet:一个学习3D表面生成的方法。IEEE Conf.计算机视觉和模式识别(CVPR),2018。二、三[15] 放大图片作者:David G. Kim,Bryan C.罗素和马修·奥布里。Atlasnet:一张纸-我是一 个 学习3D表面生成的方法。CoRR,2018年。三、六[16] X. Han,Hamid Laga,and M.本那蒙基于图像的3D物体重 建 : 深 度 学 习 时 代 的 最 新 技 术 和 趋 势 。 IEEETransactionsonPatternAnalysisandMachineIntelligence,2019。1[17] ChristianH¨ ne,ShubhamTulsiani,andJitendraMalik. 三维物体重建中的高分辨率表面预测CoRR,2017年。2[18] 何开明、X. Zhang,Shaoqing Ren,and Jian Sun.用于图像识别的深度残差学习。2016年IEEE计算机视觉和模式识别会议(CVPR),2016年。三、五[19] John F.放大图片创作者:David F.作者:James D.作者声明:Steven K. Feiner和Kurt Akeley。计算机图形学-原理与实践,第3版。Addison-Wesley,2014年。4[20] 作者:Michael J.作者:David W.雅各布斯和吉坦德拉·马利克端到端恢复人体形状和姿势。CoRR,2017年。二、三[21] 放大图片作者:Angjoo Kanazawa,Shubham Tulsiani,Alexei A.埃弗罗斯和吉坦德拉·马利克从图像集合学习特定类别的网格CoRR,2018年。1[22] D. Keren,D. Cooper和J. Subrahmonia.用隐式多项式描述复 杂对 象IEEE Transactions on Pattern Analysis andMachine Intelligence,16(1):384[23] Arno Knapitsch , Jaesik Park , Qian-Yi Zhou , andVladlen Koltun.坦克和寺庙:大规模场景重建的基准ACM事务处理图表,36(4),2017年7月。5[24] C.孔角,澳-地Lin和S.露西使用局部对应的cad模型从单个图像进行密集3d重建2017年IEEE计算机视觉和模式识别会议(CVPR),第5603-5611页,2017年。3[25] D. Maturana和S.谢勒Voxnet:用于实时对象识别的3D卷积神经网络。2015年IEEE/RSJ智能机器人和系统国际会议(IROS),第922-928页,2015年。2[26] 拉 尔 斯 ·M Mescheder , Michael Oechsle , MichaelNiemeyer,Sebastian Nowozin,and Andreas Geiger.占用网络:学习函数空间中的三维重建。CoRR,2018年。一、三、六、七[27] 莫开春,朱士林,天使X。昌湖,澳-地Yi,SubarnaTripathi,L.Guibas和H.苏Partnet:用于细粒度和分层部件级3D对象理解的大规模2019年IEEE/CVF计算机视觉和模式识别会议(CVPR),2019年。7[28] Federico Monti , Davide Boscaini , Jonathan Masci ,EmanueleRodo la`,JanS v oboda,andMichaelM. 布朗斯坦使用混合模型cnns对图和流形进行几何深度学习。CoRR,2016年。1[29] 郑俊朴、彼得·弗洛伦斯、朱利安·斯特劳布、理查德·纽科姆和史蒂文·洛夫格罗夫。Deepsdf:学习连续符号距离函数用于形状表示
下载后可阅读完整内容,剩余1页未读,立即下载
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
- 粉丝: 4
- 资源: 2万+
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 利用迪杰斯特拉算法的全国交通咨询系统设计与实现
- 全国交通咨询系统C++实现源码解析
- DFT与FFT应用:信号频谱分析实验
- MATLAB图论算法实现:最小费用最大流
- MATLAB常用命令完全指南
- 共创智慧灯杆数据运营公司——抢占5G市场
- 中山农情统计分析系统项目实施与管理策略
- XX省中小学智慧校园建设实施方案
- 中山农情统计分析系统项目实施方案
- MATLAB函数详解:从Text到Size的实用指南
- 考虑速度与加速度限制的工业机器人轨迹规划与实时补偿算法
- Matlab进行统计回归分析:从单因素到双因素方差分析
- 智慧灯杆数据运营公司策划书:抢占5G市场,打造智慧城市新载体
- Photoshop基础与色彩知识:信息时代的PS认证考试全攻略
- Photoshop技能测试:核心概念与操作
- Photoshop试题与答案详解
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)