用于对齐和识别的3D模型计算机视觉与模式识别

表示用于对齐和识别的3D模型马蒂厄·奥布里引用此版本：马蒂厄·奥布里表示用于对齐和识别的3D模型计算机视觉与模式识别[cs.CV].巴黎高等师范学校，2015年。英语NNT：2015ENSU0006。电话：01160300v2HAL Id：tel-01160300https://theses.hal.science/tel-01160300v22018年4月11日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaire博士之路博士之路博士之路在获得等级时，DOCTEURDE L'ÉCOLE NORMALE SUPERIEURE博士学校ED 386：巴黎中心数学科学Discipline ou spécialité：InformatiquePrésentée et soutenue par：马蒂厄·奥布里le8 may 2015滴度表示用于对齐和识别的Unité derechercheThèse dirigée par陪审团成员équipe WILLOW（CNRS/ENS/INRIA UMR 8548）慕尼黑工业大学（TU Munich）Josef Sivic（INRIA-ENS）Jean Ponce（ENS）Bryan Russell（Adobe）Léonidas Guibas（Stanford）Martial Hebert（CMU）主题标识号：2- M. Aubry：表示用于对齐和识别的3D模型-摘要由于3D重建算法的成功和计算机辅助设计（CAD）在线工具的开发，近年来，公开可用的3D模型的数量大幅增长，并将继续增长。本文研究了三维形状匹配、实例级2D-3D对齐和类别级2D-3D识别的三维模型表示。3D形状的几何形状几乎可以完全由形状上的Laplace-Beltrami算子的本征函数和本征值来我们使用这种数学上优雅的表示来表征形状上的点，并引入了新的尺度概念。这个3D点签名可以在量子力学的框架中解释，我们称之为波核签名（WKS）。我们表明，它具有相对于以前的国家的最先进的形状描述符的优势，并可用于三维形状匹配，分割和识别。3- M. Aubry：表示用于对齐和识别的3D模型-理解图像的一个关键要素是将图像中描绘的对象与其给定的3D模型对齐的能力。我们解决了这个实例级的2D-3D对齐问题，任意2D图像，包括图纸，绘画和历史照片。这是一项非常困难的任务，因为2D描绘中的外观和场景结构可能与3D模型，例如，由于特定的渲染风格，绘图错误，年龄，照明或季节变化。我们通过一组从站点渲染视图中学习的可视部分来表示整个建筑站点的3D模型。 然后，我们开发了一个程序，以匹配这些场景的部分，我们称之为3D歧视性的视觉元素的建筑网站的2D描绘。 我们在新收集的数据集上验证了我们的方法三个建筑遗址的非摄影和历史记录。我们扩展这种方法来描述不仅是一个单一的建筑网站，但整个对象类别，由大量的3D CAD模型。我们开发了一种类别级的2D-3D对齐方法，不仅可以检测杂乱图像中的对象，还可以识别它们的近似风格和视点。我们评估我们的方法都是质量-4- M. Aubry：表示用于对齐和识别的3D模型-使用从互联网上下载的1394个CAD模型的参考库，对PascalVOC 2012年“椅子”类别的具有挑战性的图像的子集进行定量和定量分析5- M. Aubry：表示用于对齐和识别的3D模型-致谢首先，我要感谢所有我永远不会忘记的人，但不能列出谁激励，支持或建议我，与我分享咖啡，饮料或想法，并使这些最后几年像他们一样丰富。如果没有他们，这篇论文就不一样了我个人要感谢的是那些让我发现计算机视觉的人。我对视觉的兴趣始于Jean Petitot杰出的认知科学课程，他也是建议我跟随MVA大师的人。我还要感谢Renaud Keriven，他欢迎我加入ENPC的Imagine Group，并派我去慕尼黑的Daniel Cremers和波士顿的Adobe的Computer Graphics的ComputerVision Group在慕尼黑，Bastian Goldluecke好心地帮助我发现了能源最小化，并帮助我写了第一篇论文。我也有机会见到Ul- rich Schlickewei，他从一开始就相信WKS的想法，帮助我开发它，没有他，它就不会是现在的样子。我非常感谢西尔万·帕里斯在波士顿的热烈欢迎，他的指导和他对发现摄影和计算机图形学的贡献。 我还要感谢弗雷多·杜兰德，他是我发现麻省理工学院图形组的所有人，他的严谨将继续激励我们。我有机会有两个优秀的博士生导师。Daniel Cremers在慕尼黑建立了一个令人印象深刻、友好和热情的团队，我特别感谢他对我的信任。Josef Sivic与我分享了他对研究和愿景的热情。他的远见，他给我的支持和指导是无价的。 多亏了他，我也有机会与布莱恩·拉塞尔和阿廖莎·埃弗罗斯见面并一起工作。最后，我非常感谢约瑟夫对这篇论文的修改和校对。6- M. Aubry：表示用于对齐和识别的3D模型-最后，我还要感谢列奥尼达斯·吉巴斯和马夏尔·赫伯特，他们同意担任本论文的“报告员”，还要感谢让·庞塞，他同意担任我的我不能不提到我的家人，他们的支持，理解和理解是无法用语言来形容的，特别是我的兄弟，托马斯和Thibaut，我的兄弟，Gabriel和B'eatrice，还有我的祖父-母亲FranEschoise。内容7- M. Aubry：表示用于对齐和识别的3D模型-内容1一.导言. 111.1目标...........................................................................................................................111.2动机..........................................................................................................................131.3挑战...........................................................................................................................141.3.13D局部描述符............................................................................................151.3.2实例级2D-3D对齐.....................................................................................161.3.3类别级2D-3D对象识别.............................................................................181.4捐款..........................................................................................................................201.4.1Wave内核签名...........................................................................................201.4.23D区别视觉元素....................................................................................... 211.5论文大纲..................................................................................................................211.6出版物......................................................................................................................232 背景252.13D形状分析.............................................................................................................252.1.1从理想形状到离散3D模型...............................................................262.1.23D点描述符................................................................................................28内容8- M. Aubry：表示用于对齐和识别的3D模型-2.1.33D形状对齐方法332.2实例级2D-3D对齐362.2.1基于轮廓的方法362.2.2用于对准的局部特征402.2.3用于对齐的全局特征................................................................................462.2.4与我们方法的....................................................................................472.3类别级2D-3D对齐472.3.12D方法482.3.23D方法2.3.3与我们方法的关系533 Wave内核签名553.1一、导言................................................................................................................. 553.1.1动机............................................................................................................. 563.1.2从量子力学到形状分析................................................................................3.1.3形状分析的光谱方法................................................................................593.2Wave内核签名........................................................................................................653.2.1从热力学到量子力学................................................................................653.2.2表面上的Schr？dinger方程67......................................................................3.2.3形状........................................................................................ 68的光谱特征3.2.4全球与 本地WKS..................................................................................... 703.3WKS.......................................................................................... 71的数学分析3.3.1稳定性分析.....................................................................................................3.3.2光谱分析.....................................................................................................75内容9- M. Aubry：表示用于对齐和识别的3D模型-3.3.3不变性和歧视............................................................................................ 763.4实验结果....................................................................................................... 773.4.1定性分析................................................................................................3.4.2定量评价................................................................................................3.5应用..........................................................................................................................873.6结论...........................................................................................................................904 绘画与3D对齐914.1一、导言................................................................................................................. 914.1.1动机............................................................................................................. 934.1.2从局部不变到区分性训练特征....................................................... 934.1.3概览..............................................................................................................944.23D区别视觉元素....................................................................................................964.2.1学习3D辨别视觉元素...............................................................................974.2.2分类匹配.....................................................................................................984.3用于绘画到3D对准的..........................................................................................1004.3.1视图选择和表示............................................................................. 1004.3.2视觉元素选择与匹配的 最小 二 乘 模型 。 1024.3.3经校准的判别匹配..................................................................................1074.3.4过滤元件在视点..................................................................... 108上不稳定4.3.5鲁棒匹配..........................................................................................1114.3.6恢复视角...................................................................................................1114.3.7摘要...........................................................................................................1124.4结果和验证................................................................................................. 113内容10- M. Aubry：表示用于对齐和识别的3D模型-4.4.1用于绘画与3D对齐的.....................................................................1134.4.2定性结果..........................................................................................1144.4.3定量评价..........................................................................................1174.4.4算法分析...................................................................................................1244.5结论.........................................................................................................................1295看到3D椅子1315.1导言....................................................................................................................... 1315.1.1动机...........................................................................................................1335.1.2从实例级到类别级对齐..........................................................................1345.1.3方法概述...................................................................................................1355.2用于类别级3D-2D对齐的...................................................................................1365.2.1表示3D形状集合..................................................................................... 1365.2.2校准视觉元件检测器..................................................................... 1405.2.3匹配视觉元素的...................................................................................... 1415.3实验与结果................................................................................................. 1435.3.13D椅子的大数据集.................................................................................1455.3.2定性结果..........................................................................................1455.3.3定量评价..........................................................................................1475.3.4算法分析...................................................................................................1505.4结论.........................................................................................................................1546 讨论1566.1捐款........................................................................................................................1566.2今后的工作........................................................................................................... 157内容11- M. Aubry：表示用于对齐和识别的3D模型-6.2.1各向异性Laplace-Beltrami算子...................................................................6.2.2对象合成...................................................................................................1586.2.3使用3D形状收集分析.............................................................................1596.2.4用于深度卷积网络训练的合成数据.....................................................1596.2.5基于CNN特征.................................................................................15912- M. Aubry：表示用于对齐和识别的3D模型-第1章绪论1.1目标本论文的目标是开发3D模型的表示方法，用于（i）与其他3D模型对齐，（ii）与包含相同对象实例的图像对齐，(iii) 与包含来自相同类别的对象的图像对齐这三项任务如图1.1所示。什么是• 3D形状的匹配、分割和识别：形状匹配旨在计算两个相似的3D形状之间的对应关系。形状分割试图通过分析单个形状或3D形状的集合来将形状分割成一组有意义的区域。最后，形状识别通常将给定形状分类到由其他形状的示例定义的类别中。第3章中介绍的工作旨在通过建模和优化描述符可变性来改进用于这些任务的3D点描述符。形 状 匹 配 的 一个例子如图1.1a所示。第1.1节：目标13- M. Aubry：表示用于对齐和识别的3D模型-(a) 两个3D形状之间的匹配使用我们的波核签名。(b) 巴黎圣母院的非摄影作品示例与其3D模型正确对齐（如左上插图所示），并在Google Earth中可视化[56](c) 近似模型由我们的算法正确恢复，并在其恢复的视点（右）中与输入图像（左）图1.1：本论文中讨论的三个不同的3D模型对齐任务第1.2节：动机14- M. Aubry：表示用于对齐和识别的3D模型-• 跨描绘风格的实例级2D-3D对齐：虽然计算机视觉主要集中在分析照片，但我们的目标是理解历史和非摄影图像。给定建筑场地的3D模型为了大规模地应用这个想法，我们的目标是开发一种自动方法，该方法对样式变化、对修正中的错误以及对3D模型的可变质量都是鲁棒的。图1.1b显示了通过我们的算法与巴黎圣母院的3D模型对齐的绘画示例。• 通过2D-3D对齐进行对象类别级识别我们希望超越实例级对齐，这需要提前知道图像中存在的对象实例的3D模型，并开发类别级2D-3D对齐。我们假设对象类别由大量的3D CAD模型集合表示。我们的目标是把一个看不见的图像作为输入，不仅输出存在的对象的类别，而且输出近似值。匹配3D模型，与输入描述正确对齐，如图1.1c所示。1.2动机自动、高质量、大规模的三维重建是计算机视觉的主要成就之一现在可以轻松地用智能手机扫描物体[104，172]，用Kinect捕捉客厅[91，131，159]，或访问Google Earth上的虚拟城市[56]。计算机辅助设计也已经发展到这样一个地步，即数百万个物体的3D模型的公共或商业图书馆是可用的[157，175]。这第1.3节：挑战15- M. Aubry：表示用于对齐和识别的3D模型-越来越多的数据（图1.2中显示了其中的一些示例）需要新的工具，但也是开发新应用程序的机会。示例应用包括：• 大型形状集合的浏览和参数化 创建新的3D模型需要时间和专业知识。设计师不必总是创建新模型，而是可以直观地浏览、搜索和操作集合中现有的3D模型。• 浏览历史数据。 想象一下，计算机可以自动恢复所有现有历史图像的视角。这可能会改变档案管理员、建筑师或历史学家访问和浏览历史图像档案的方式用户可以直观地浏览图像，并比较不同时间相似地点的图像• 智能图像编辑。 想象一下，计算机可以识别输入的2D图像中的对象，并自动恢复它们的3D模型。它将有可能使用恢复的3D模型来编辑图像通过操纵对象在3D。目前，这种编辑需要手动注释[100]。• 机器人操作。机器人要操纵物体，不仅需要知道物体的方向，还需要访问其3D模型，包括看不见的 部分。1.3挑战虽然3D对齐有几个令人兴奋的应用程序，但找到良好的表示和匹配算法非常困难。第1.3节：挑战16- M. Aubry：表示用于对齐和识别的3D模型-(a) 用手机进行交互式重建[172](c)Acute 3D的高分辨率重建[5](b) 使用Kinect融合重建房间[91](d) 谷歌地球上的伯克利校园[56](e)在Trimble 3D Warehouse上搜索椅子的3D模型[175]图1.2：3D模型变得越来越普遍，并且很容易获取。1.3.13D局部描述符定义3D形状的纯几何描述符是一个困难和开放的问题。一个好的3D形状上的点的描述符应该是：• 是有区别的，以区分形状上的不同点以及彼此不同的形状。• 对诸如近等距变形、噪声或拓扑等扰动具有鲁棒性第1.3节：挑战17- M. Aubry：表示用于对齐和识别的3D模型-(a)参考形状（b）噪声（c）局部膨胀（d）近等距图1.3：3D形状对齐的挑战。TOSCA数据集的形状扰动示例[50]。逻辑变化。图1.3显示了这种扰动的例子。这是例如匹配不同姿势的人的两个模型或对准不同四足动物的模型所需要的。• 包括来自形状的所有尺度的信息，以允许识别和匹配形状的部分，例如，以识别3D模型内的手柄一个完整的门。这些特征很难实现，而且往往是矛盾的。我们特别关注鲁棒性和区分能力之间的权衡，同时发展一种新的关于规模的直觉。1.3.2实例级2D-3D对齐视点、照明和遮挡。首 先 ，相同3D模型的可能视点的空间是巨大的，特别是对于完整的建筑场地，并且外观3D模型中的图像可以随着视点发生显著变化，如图1.4a所示。第二，照明条件，例如与季节和时间相关的照明条件，这一天的到来也大大改变了场景的外观，如图所示。1.4b和1.4c。第三，3D模型本身的外观是高度特定的，从简化的CAD模型到从最近的多视图获得的高度详细的模型。第1.3节：挑战18- M. Aubry：表示用于对齐和识别的3D模型-(a) 视角变化(b) 光照变化(c) 季节变化(d) 型号特定外观(e) 杂波和遮挡(f)历史和非摄影图像图1.4： 2D-3D实例对齐的挑战。