没有合适的资源?快使用搜索试试~ 我知道了~
……62190PlanarRecon:来自姿态单目视频的实时3D平面检测和重建0谢一鸣1,2 加德利亚马修斯3 杨凤婷4 周晓伟2† 姜怀祖1†01 东北大学 2 浙江大学 3 Adobe研究 4 宾夕法尼亚州立大学0平面重建0输入:姿态图像0(1015帧)0输出:3D平面0地面真实纹理平面0图1. 所提出方法PlanarRecon与我们的基准方法的比较。彩色平面表示不同的实例。我们还展示了我们方法的纹理网格。对于多视图方法NeuralRecon [37] +Seq-RANSAC [14],在几何重建之后使用顺序RANSAC来提取平面。我们的模型能够实时产生更准确、更连贯的3D平面检测。最佳观看效果为彩色。0摘要0我们提出了PlanarRecon -一种从姿态单目视频中全局一致地检测和重建3D平面的新框架。与从单个图像中检测2D平面的先前工作不同,PlanarRecon通过使用神经网络从场景的体积表示中逐步检测每个视频片段的3D平面,该视频片段由一组关键帧组成。设计了一种基于学习的跟踪和融合模块,用于合并先前片段的平面以形成一致的全局平面重建。这样的设计允许PlanarRecon在每个片段内整合多个视图的观测,并在不同片段之间整合时间信息,从而实现准确和连贯的场景抽象重建,具有低多边形几何。实验证明,所提出的方法在ScanNet数据集上实现了最先进的性能,并且具有实时性。代码可在项目页面上获得:0https://neu-vi.github.io/planarrecon/ .0当谢一鸣在浙江大学担任研究助理时,部分工作已完成。†对应作者:周晓伟和姜怀祖。01. 引言0从姿态单目视频中恢复3D平面表面对于3D视觉的许多下游应用非常重要,例如增强和虚拟现实(AR和VR)、室内建模和人机交互。平面表面提供了3D场景的紧凑表示和重要的几何线索。例如,为了实现增强现实效果与周围物理场景之间的逼真和沉浸式交互,3D平面检测需要准确、一致并且实时执行。虽然相机姿态可以通过最先进的视觉惯性SLAM系统[1, 5,30]准确跟踪,但基于图像的实时3D平面检测仍然是一个具有挑战性的问题,因为检测质量较低且计算需求较高。0最近基于深度学习的飞机恢复工作[22, 23, 38, 42,48]主要关注单视图情况。它们的流程通常旨在同时分割平面实例并回归平面参数(即表面法线和偏移量)。尽管使用深度神经网络在这个方向上取得了显著进展,但由于单视图尺度模糊性,这些方法无法在未知场景中提供绝对深度估计。此外,融合多个视图的平面检测并不是简单的。Jin等人[19]将单视图方法[22]扩展到稀疏视图(主要是2个视图),其中耗时较长。62200能量最小化用于融合单视图检测。然而,由于其设计不考虑时间一致性,如何将此工作扩展到视频输入仍然不清楚,而视频输入对于AR和VR等应用来说更自然和常见。在传统的3D视觉中,有一些尝试[2, 3, 7, 15,0已经有一些工作[34, 44,45]尝试从多视图图像和视频中恢复平面。但是它们通常依赖于手工设计的特征[2, 3, 34]和/或场景的强几何先验[7,15, 44,45]。在现实场景中,这些特征可能不可靠,这些先验可能由于场景复杂性(如光照条件变化、无纹理区域、违反曼哈顿世界假设的装置等)而不总是成立。我们需要一种对上述挑战具有鲁棒性且不对场景做出强假设的高效平面恢复方法。为了满足这一需求,我们提出了一种新颖的基于学习的框架,称为PlanarRecon,用于从单目视频中实时执行3D平面检测和重建。我们提出的PlanarRecon的主要思想如图2所示。它由两个主要组件组成。第一个组件是基于片段的平面检测。给定一个视频输入,我们将其顺序分割为多个不重叠的片段。对于每个片段,PlanarRecon通过图像特征的反投影构建3D特征体素,从多个视图融合信息。基于占用分类,对于每个占用的体素,我们估计平面参数以及其位移,将其移动到所属平面的几何质心。然后执行均值漂移聚类[48],将具有相似平面参数和位移位置的体素分组,以获得片段中的平面检测。第二个组件是平面跟踪和融合。PlaneRecon使用来自所有先前片段的平面检测来维护平面的全局重建。当处理新的片段时,我们采用注意机制[39]来计算全局重建平面与当前检测之间的相似性。然后使用可微分的匈牙利匹配算法来获得平面的对应关系。相应地更新全局重建以确保时间上的一致性。我们的模型从输入视频中逐步获取3D平面重建。由于其快速推理速度,系统可以实时运行,为下游的增强现实应用提供更真实的交互体验。与基于单个图像的方法[22, 23, 38, 42,48]相比,PlanarRecon直接从3D特征体素中回归平面。它不仅融合了多个视图的信息,还提供了一致的场景重建,消除了尺度的不确定性。另一方面,与传统的多视图重建方法相比,我们的基于学习的模型对场景复杂性[2, 3,34]更加鲁棒,而且不依赖于某些场景先验。0不依赖于特定场景先验的存在[7, 15, 44,45]。在ScanNet基准测试[10]上的实验结果表明,PlanarRecon达到了最先进的准确性。总结起来,我们的主要贡献有两个:i)我们提出了PlanarRecon来从单目视频中检测和重建3D平面。据我们所知,PlanarRecon是这个方向上第一个基于学习的方法。ii)我们提出了一种新颖的基于体素的平面重建方法,可以直接在3D中检测、跟踪和融合平面实例。我们的模型整合了多个帧的观测和视频的时间信息,实现了全局一致的平面检测和重建。与现有方法相比,我们的方法更加鲁棒且运行速度显著更快。02. 相关工作0多视图平面重建。关于从已知相机姿态的帧序列中进行多视图平面重建的研究已有很长一段时间。早期的工作通常首先使用点[3]或线特征[2]进行稀疏的3D重建,然后使用一定的启发式方法对稀疏的3D表示进行分组。然而,重建的准确性严重依赖于手工设计的特征,并且对光照变化和无纹理区域等其他因素不具有鲁棒性。其他工作将这个问题视为图像分割任务。有一些方法将每个像素分配给MRF公式中的一个平面假设[15,34]。其他方法将这个框架扩展到处理非平面表面[16],并引入超像素分割来更好地处理无纹理区域[7]。与现有方法不同,我们的方法使用卷积神经网络(CNN)来提取特征并以数据驱动的方式进行优化。据我们所知,我们是第一个使用深度学习方法进行多视图平面重建的研究。另一条研究线路是将单目视频作为输入,以SLAM的方式同时估计相机姿态和重建平面表面。然而,这些方法通常假设世界由一个水平地面和一些垂直平面(例如立面或墙壁)[44,45]组成,和/或平面结构仅存在于低梯度区域[7]。在我们的工作中,我们不做出这样的假设,从而得到一种更具适用性的方法。0基于学习的平面重建。虽然我们不知道任何现有的基于深度学习的工作可以从多视图图像或视频序列中重建分段平面,但有几项研究旨在从一个或两个视图中恢复平面结构。几项工作将单视图中的平面重建视为实例分割问题[22, 23, 38,42,48]。深度网络被用于联合预测平面实例分割和平面参数。AB/HicbVDLSsNAFL2pr1pf0S7dDBbBTUviRpcFXbisYB/QxjCZTtuhk0mYmQghxF9x40IRt/0Qd/6Nk7YLbT0wcDjnXu6ZE8ScKe0431ZpY3Nre6e8W9nbPzg8so9POipKJKFtEvFI9gKsKGeCtjXTnPZiSXEYcNoNpjeF32iUrFIPOg0pl6Ix4KNGMHaSL5dHYRYTwjmWSt/HPsZq7u5b9echjMHWifuktSadW+GAKDl21+DYUSkApNOFaq7zqx9jIsNSOc5pVBomiMyRSPad9QgUOqvGwePkfnRhmiUSTNExrN1d8bGQ6VSsPATBZR1apXiP95/USPr2MiTjRVJDFoVHCkY5Q0QaMkmJ5qkhmEhmsiIywRITbfqmBLc1S+vk85lw3Ua7r1p4xYWKMpnMEFuHAFTbiDFrSBQAov8Abv1rP1an1Yn4vRkrXcqcIfWLMf5CWaA= AB/HicbVDLSsNAFL3xWesr2mU3wSK4aUnc6LKgC5cV7APaGCbTSTt0MgkzEyGE+CtuXCgiuqHuPNvnLRdaOuBgcM593LPHD9mVCrb/jbW1jc2t7ZLO+Xdvf2DQ/PouCOjRGDSxhGLRM9HkjDKSVtRxUgvFgSFPiNdf3JV+N0HIiSN+J1KY+KGaMRpQDFSWvLMyiBEaowRy1r5/cjLaN3JPbNmN+wZrFXiLEitWXen1U/vo+WZX4NhJOQcIUZkrLv2LFyMyQUxYzk5UEiSYzwBI1IX1OQiLdbBY+t061MrSCSOjHlTVTf29kKJQyDX09WUSVy14h/uf1ExVcuhnlcaIx/NDQcIsFVlFE9aQCoIVSzVBWFCd1cJjJBWuq+yLsFZ/vIq6Zw3HLvh3Oo2rmGOElThBM7AgQtowg20oA0YUniCF3g1Ho1n4814n4+uGYudCvyBMf0BNqYIQ= AB/HicbVDLSsNAFL3xWesr2mU3wSK4aUnc6LKgC5cV7APaGCbTSTt0MgkzEyGE+CtuXCgiuqHuPNvnLRdaOuBgcM593LPHD9mVCrb/jbW1jc2t7ZLO+Xdvf2DQ/PouCOjRGDSxhGLRM9HkjDKSVtRxUgvFgSFPiNdf3JV+N0HIiSN+J1KY+KGaMRpQDFSWvLMyiBEaowRy1r5/cjLaN3JPbNmN+wZrFXiLEitWXen1U/vo+WZX4NhJOQcIUZkrLv2LFyMyQUxYzk5UEiSYzwBI1IX1OQiLdbBY+t061MrSCSOjHlTVTf29kKJQyDX09WUSVy14h/uf1ExVcuhnlcaIx/NDQcIsFVlFE9aQCoIVSzVBWFCd1cJjJBWuq+yLsFZ/vIq6Zw3HLvh3Oo2rmGOElThBM7AgQtowg20oA0YUniCF3g1Ho1n4814n4+uGYudCvyBMf0BNqYIQ= AB/HicbVDLSsNAFL2pr1pf0S7dDBbBjSVxo8uCLlxWsA9oY5hMJ+3QySTMTIQ6q+4caGIWz/EnX/jpM1CWw8MHM65l3vmBAlnSjvOt1VZW9/Y3Kpu13Z29/YP7MOjropTSWiHxDyW/QArypmgHc0p/1EUhwFnPaC6Xh9x6pVCwW9zpLqBfhsWAhI1gbybfrwjrCcE8b8exn7Ozt2ZbzecpjMHWiVuSRpQou3bX8NRTNKICk04VmrgOon2ciw1I5zOasNU0QSTKR7TgaECR1R5+Tz8DJ0aZYTCWJonNJqrvzdyHCmVRYGZLKqZa8Q/MGqQ6vJyJNVUkMWhMOVIx6hoAo2YpETzBMJDNZEZlgiYk2fdVMCe7yl1dJ96LpOk3zm0bso6qnAMJ3AGLlxC26hDR0gkMEzvMKb9WS9WO/Wx2K0YpU7dfgD6/MHtXuUyA= AB/HicbVDLSsNAFL3xWesr2o3gZrAIrkriRpcFu3BZwT6gCWEynbRDZ5IwMxFDqL/ixoUibt35B67c+TdOHwtPTBwOde7pkTpwp7Tjf1srq2vrGZmrvL2zu7dvHxy2VZJQlsk4YnshlhRzmLa0kxz2k0lxSLktBOriZ+545KxZL4Vucp9QUexCxiBGsjBXbFE1gPw6jwGpRrjO7HgQjsqlNzpkDLxJ2Tav3o8wMmoH95fUTkgka8KxUj3XSbVfYKkZ4XRc9jJFU0xGeEB7hsZYUOUX0/BjdGqUPoSaV6s0VT9vVFgoVQuQjM5iaoWvYn4n9fLdHTpFyxOM01jMjsUZRzpBE2aQH0mKdE8NwQTyUxWRIZYqJNX2VTgrv45WXSPq+5Ts29MW0YIYSHMJnIELF1CHa2hCwjk8AjP8GI9WE/Wq/U2G12x5jsV+APr/QdVFJa4 AB/HicbVDLSgMxFM3UV62vsd0IbkKL4KrMuNFlwS5cVrAP6Awlk2ba0CQzJBlxGOqvuBFRxK07/8CVO/GTNuFth4IHM65l3tygphRpR3n2yqsrW9sbhW3Szu7e/sH9mG5o6JEYtLGEYtkL0CKMCpIW1PNSC+WBPGAkW4wucz97i2RikbiRqcx8TkaCRpSjLSRBnbF40iPgzDzmoRpBO+mAz6wa07dmQGuEndBao2jz49y86naGthf3jDCSdCY4aU6rtOrP0MSU0xI9OSlygSIzxBI9I3VCBOlJ/Nwk/hiVGMIykeULDmfp7I0NcqZQHZjKPqpa9XPzP6yc6vPAzKuJE4Hnh8KEQR3BvAk4pJgzVJDEJbUZIV4jCTC2vRVMiW4y19eJZ2zuvU3WvTRhPMUQTHoApOgQvOQNcgRZoAwxS8ACewYt1bz1ar9bfLRgLXYq4A+s9x/TfZfW AB/HicbVDLSgMxFM3UV62vsd0IbkKL4KrMuNFlwS5cVrAP6Awlk2ba0CQzJBlxGOqvuBFRxK07/8CVO/GTNuFth4IHM65l3tygphRpR3n2yqsrW9sbhW3Szu7e/sH9mG5o6JEYtLGEYtkL0CKMCpIW1PNSC+WBPGAkW4wucz97i2RikbiRqcx8TkaCRpSjLSRBnbF40iPgzDzmoRpBO+mAz6wa07dmQGuEndBao2jz49y86naGthf3jDCSdCY4aU6rtOrP0MSU0xI9OSlygSIzxBI9I3VCBOlJ/Nwk/hiVGMIykeULDmfp7I0NcqZQHZjKPqpa9XPzP6yc6vPAzKuJE4Hnh8KEQR3BvAk4pJgzVJDEJbUZIV4jCTC2vRVMiW4y19eJZ2zuvU3WvTRhPMUQTHoApOgQvOQNcgRZoAwxS8ACewYt1bz1ar9bfLRgLXYq4A+s9x/TfZfW AB/HicbVDLSsNAFJ3UV62vaJduBovgqiRudFmwC5cV7APaECbTm3boZBJmJmI9VfcuFDErR/izr9x0mahrQcGDufcyz1zgoQzpR3n26psbG5t71R3a3v7B4dH9vFJT8WpNClMY/lICAKOBPQ1UxzGCQSBRw6Aezm8LvP4BULBb3OkvAi8hEsJBRo3k2/VRPQ0CPNRG7gm+HuR7dcJrOAniduCVpoBId3/4ajWOaRiA05USpoesk2suJ1IxymNdGqYKE0BmZwNBQSJQXr4IP8fnRhnjMJbmCY0X6u+NnERKZVFgJouoatUrxP+8YarDay9nIk1CLo8FKYc6xgXTeAxk0A1zwhVDKTFdMpkYRq01fNlOCufnmd9C6brtN075xGq13WUWn6AxdIBdoRa6R3URl6Bm9ojfryXqx3q2P5WjFKnfq6A+szx/K8pTX AB+XicbVDLSgMxFL1TX7W+Rl26MFgEF1Jm3OjCRcEuXFawtdCWIZNm2tAkMySZQhkKfogbF4q49U/c+Qn+hZm2C209EDicy/35IQJZ9p43pdTWFldW98obpa2tnd29z9g6aOU0Vog8Q8Vq0Qa8qZpA3DKetRFEsQk4fwuFN7j+MqNIslvdmnNCuwH3JIkawsVLguh2BzSCMjkJxHktEIFb9ireFGiZ+HNSrh5/Xz8CQD1wPzu9mKSCSkM41rte4npZlgZRjidlDqpgkmQ9ynbUslFlR3s2nyCTq1Sg9FsbJPGjRVf29kWGg9FqGdzHPqRS8X/PaqYmuhmTSWqoJLNDUcqRiVFeA+oxRYnhY0swUcxmRWSAFSbGlWyJfiLX14mzYuK71X8O9tGDWYowhGcwBn4cAlVuIU6NIDACJ7gBV6dzHl23pz32WjBme8cwh84Hz8urJWJ AB+XicbVC7SgNBFL3rM8bXqWFi0FIWHXRguLgCksI5gHJMsyO5lNhszMLjOzgbDkA/wHGwtFbP0TOz/B3g9wNkmhiQcGDufcyz1zwoRpV301pZXVvf2CxsFbd3dvf27YPDpopTiUkDxyW7RApwqgDU01I+1EsRDRlrh8Cb3WyMiFY3FvR4nxOeoL2hEMdJGCmy7y5EehFEmJgE/rwU8sEtuxZ3CWSbenJSqJ1/XD9/Fcj2wP7q9GKecCI0ZUqrjuYn2MyQ1xYxMit1UkQThIeqTjqECcaL8bJp84pwZpedEsTRPaGeq/t7IEFdqzEMzmedUi14u/ud1Uh1d+RkVSaqJwLNDUcocHTt5DU6PSoI1GxuCsKQmq4MHSCKsTVlFU4K3+OVl0ryoeG7FuzNt1GCGAhzDKZTBg0uowi3UoQEYRvAIz/BiZdaT9Wq9zUZXrPnOEfyB9f4DxGOWuA= AB+XicbVC7SgNBFL3rM8bXqWFi0FIWHXRguLgCksI5gHJMsyO5lNhszMLjOzgbDkA/wHGwtFbP0TOz/B3g9wNkmhiQcGDufcyz1zwoRpV301pZXVvf2CxsFbd3dvf27YPDpopTiUkDxyW7RApwqgDU01I+1EsRDRlrh8Cb3WyMiFY3FvR4nxOeoL2hEMdJGCmy7y5EehFEmJgE/rwU8sEtuxZ3CWSbenJSqJ1/XD9/Fcj2wP7q9GKecCI0ZUqrjuYn2MyQ1xYxMit1UkQThIeqTjqECcaL8bJp84pwZpedEsTRPaGeq/t7IEFdqzEMzmedUi14u/ud1Uh1d+RkVSaqJwLNDUcocHTt5DU6PSoI1GxuCsKQmq4MHSCKsTVlFU4K3+OVl0ryoeG7FuzNt1GCGAhzDKZTBg0uowi3UoQEYRvAIz/BiZdaT9Wq9zUZXrPnOEfyB9f4DxGOWuA= AB+XicbVBNSwMxFHxbv2r9WvXoJVgED1J2veixYA8eK9haJclm2b0CS7JNlCWfpPvHhQxKv/xJv/xmy7B20dCAwz7/EmE6WcaeN5305lY3Nre6e6W9vbPzg8co9PujrJFKEdkvBE9SKsKWeSdgwznPZSRbGIOH2KJneF/zSlSrNEPpZSgOBR5LFjGBjpdB1BwKbcRTnch6Kq1YoQrfuNbwF0DrxS1KHEu3Q/RoME5IJKg3hWOu+76UmyLEyjHA6rw0yTVNMJnhE+5ZKLKgO8kXyObqwyhDFibJPGrRQf2/kWGg9E5GdLHLqVa8Q/P6mYlvg5zJNDNUkuWhOPIJKioAQ2ZosTwmSWYKGazIjLGChNjy6rZEvzVL6+T7nXD9xr+g1dvtso6qnAG53AJPtxAE+6hDR0gMIVneIU3J3denHfnYzlacqdU/gD5/MHdbSThQ= AB+HicbVDLSsNAFL2pr1ofjboR3AwWwVJ3NRlQRcuK9gHtCFMpN26GQSZiZCDfkSNy4UceveP3Dlzr9x0nahrQcGDufcyz1zgoQzpR3n2yqtrW9sbpW3Kzu7e/tV+Cwo+JUEtomMY9lL8CKciZoWzPNaS+RFEcBp91gclX43XsqFYvFnZ4m1IvwSLCQEayN5NvVQYT1mGCetXI/Y7lv15y6MwNaJe6C1JrHnx9g0PLtr8EwJmlEhSYcK9V3nUR7GZaEU7zyiBVNMFkgke0b6jAEVeNgueozOjDFEYS/OERjP190aGI6WmUWAmi5hq2SvE/7x+qsNL2MiSTUVZH4oTDnSMSpaQEMmKdF8agmkpmsiIyxESbriqmBHf5y6ukc1F3nbp7a9q4hjnKcAKncA4uNKAJN9CNhBI4RGe4cV6sJ6sV+tPlqyFjtH8AfW+w/X15Ve AB+HicbVC7TsMwFL3hWcqjoSxILFYrJKYqYGxEh0Yi0QfUhtFju2Vh0nsh2kEuVLWBh4iJWdP2Bi429w2g7QciRLR+fcq3t8gpgzpR3n21pb39jc2i7sFHf39g9K9mG5raJEtoiEY9kN8CKciZoSzPNaTeWFIcBp51gcpX7nTsqFYvErZ7G1AvxSLAhI1gbybdL/RDrMcE8bWZ+yjLfrjo1Zwa0StwFqdaPz/KjZdK07e/+oOIJCEVmnCsVM91Yu2lWGpGOM2K/UTRGJMJHtGeoQKHVHnpLHiGTo0yQMNImic0mqm/N1IcKjUNAzOZx1TLXi7+5/USPbz0UibiRFNB5oeGCUc6QnkLaMAkJZpPDcFEMpMVkTGWmGjTVdGU4C5/eZW0z2uU3NvTBsNmKMAJ1CBM3DhAupwDU1oAYEHuAJnq1769F6td7mo2vWYucI/sB6/wFWT5Z8 AB+HicbVC7TsMwFL3hWcqjoSxILFYrJKYqYGxEh0Yi0QfUhtFju2Vh0nsh2kEuVLWBh4iJWdP2Bi429w2g7QciRLR+fcq3t8gpgzpR3n21pb39jc2i7sFHf39g9K9mG5raJEtoiEY9kN8CKciZoSzPNaTeWFIcBp51gcpX7nTsqFYvErZ7G1AvxSLAhI1gbybdL/RDrMcE8bWZ+yjLfrjo1Zwa0StwFqdaPz/KjZdK07e/+oOIJCEVmnCsVM91Yu2lWGpGOM2K/UTRGJMJHtGeoQKHVHnpLHiGTo0yQMNImic0mqm/N1IcKjUNAzOZx1TLXi7+5/USPbz0UibiRFNB5oeGCUc6QnkLaMAkJZpPDcFEMpMVkTGWmGjTVdGU4C5/eZW0z2uU3NvTBsNmKMAJ1CBM3DhAupwDU1oAYEHuAJnq1769F6td7mo2vWYucI/sB6/wFWT5Z8 AB+HicbVDLSsNAFL2pr1ofjbp0M1gEVyVxo8uCLlxWsA9oQ5hMJ+3QySTMTIQa8iVuXCji1k9x5984SbPQ1gMDh3Pu5Z45QcKZ0o7zbdU2Nre2d+q7jb39g8OmfXTcV3EqCe2RmMdyGBFORO0p5nmdJhIiqOA0Ewvyn8wSOVisXiQS8S6kV4KljICNZG8u3mOMJ6RjDPurmfsdy3W07bKYHWiVuRFlTo+vbXeBKTNKJCE46VGrlOor0MS80Ip3ljnCqaYDLHUzoyVOCIKi8rg+fo3CgTFMbSPKFRqf7eyHCk1CIKzGQRU616hfifN0p1eO1lTCSpoIsD4UpRzpGRQtowiQlmi8MwUQykxWRGZaYaNVw5Tgrn5nfQv267Tdu+dVue2qMOp3AGF+DCFXTgDrQAwIpPMrvFlP1ov1bn0sR2tWtXMCf2B9/gBNxJN9 AB+nicbVC7TsMwFL0pr1JeKYwWFRITFXCAmyVWBiLRB9SGyLHdVqrjhPZDqgK+RQWBhBi5SdY2fgbnLYDtBzJ0tE59+oenyDhTGnH+bZK6tr6xvlzcrW9s7unl3db6s4lYS2SMxj2Q2wopwJ2tJMc9pNJMVRwGknGF8VfueSsVicasnCfUiPBQsZARrI/l2tR9hPSKYZ838buhnLPftmlN3pkDLxJ2TWuPI/wSDpm9/9QcxSMqNOFYqZ7rJNrLsNSMcJpX+qmiCSZjPKQ9QwWOqPKyafQcnRhlgMJYmic0mq/NzIcKTWJAjNZBFWLXiH+5/VSHV54GRNJqkgs0NhypGOUdEDGjBJieYTQzCRzGRFZIQlJtq0VTEluItfXibts7r1N0b08YlzFCGQziGU3DhHBpwDU1oAYEHeIXeLUerWfrzXqfjZas+c4B/IH18QPYH5XP AB+nicbVC7TsMwFL0pr1JeKYwWFRITFXCAmyVWBiLRB9SGyLHdVqrjhPZDlCFfgoLAwh15SOY2fgOfgCn7QCFI1k6Oude3eMTJwp7TifVmFpeWV1rbhe2tjc2t6xy7tNFaeS0AaJeSzbAVaUM0EbmlO24mkOAo4bQXDi9xv3VKpWCyu9SihXoT7goWMYG0k3y53I6wHBPOsPr7p+xkb+3bFqTpToL/EnZNK7cB/6rcT+q+/dHtxSNqNCEY6U6rpNoL8NSM8LpuNRNFU0wGeI+7RgqcESVl02j9GRUXojKV5QqOp+nMjw5FSoygwk3lQtejl4n9eJ9XhmZcxkaSaCjI7FKYc6RjlPaAek5RoPjIE8lMVkQGWGKiTVslU4K7+OW/pHlSdZ2qe2XaOIcZirAPh3AMLpxCDS6hDg0gcAeP8Awv1oP1ZL1ak9lowZrv7MEvWG/f0HeYBw= AB+nicbVC7TsMwFL0pr1JeKYwWFRITFXCAmyVWBiLRB9SGyLHdVqrjhPZDlCFfgoLAwh15SOY2fgOfgCn7QCFI1k6Oude3eMTJwp7TifVmFpeWV1rbhe2tjc2t6xy7tNFaeS0AaJeSzbAVaUM0EbmlO24mkOAo4bQXDi9xv3VKpWCyu9SihXoT7goWMYG0k3y53I6wHBPOsPr7p+xkb+3bFqTpToL/EnZNK7cB/6rcT+q+/dHtxSNqNCEY6U6rpNoL8NSM8LpuNRNFU0wGeI+7RgqcESVl02j9GRUXojKV5QqOp+nMjw5FSoygwk3lQtejl4n9eJ9XhmZcxkaSaCjI7FKYc6RjlPaAek5RoPjIE8lMVkQGWGKiTVslU4K7+OW/pHlSdZ2qe2XaOIcZirAPh3AMLpxCDS6hDg0gcAeP8Awv1oP1ZL1ak9lowZrv7MEvWG/f0HeYBw= AB+nicbVC7TsMwFL0pr1JeKYwsFhUSU5WwAFslFsYi0YfUhshxndaq40S2A6pCPoWFAYRY+RI2/ganzQAtR7J0dM69uscnSDhT2nG+rcra+sbmVnW7trO7t39g1w+7Kk4loR0S81j2A6woZ4J2NOc9hNJcRw2gum14Xfe6BSsVjc6VlCvQiPBQsZwdpIvl0fRlhPCOZO78f+xnLfbvhNJ050CpxS9KAEm3f/hqOYpJGVGjCsVID10m0l2GpGeE0rw1TRNMpnhMB4YKHFHlZfPoOTo1ygiFsTRPaDRXf29kOFJqFgVmsgiqlr1C/M8bpDq89DImklRTQRaHwpQjHaOiBzRikhLNZ4ZgIpnJisgES0y0atmSnCXv7xKudN12m6t06jdVXWUYVjOIEzcOECWnADbegAgUd4hld4s56sF+vd+liMVqxy5wj+wPr8AcvGlEs= 62210姿态图稀疏特征体积0更新的全局平面片段平面0跟踪融合0P g0i-10∆x m0均值0偏移0n m,D m0P i0全局平面0P g0i0图2. PlanarRecon架构。PlanarRecon将图像特征反投影到一个片段边界体积F i中,并采用由粗到细的方法逐渐稀疏该体积以形成稀疏特征体积。一个多层感知机网络将用于预测每个体素的平面参数[n m, D m]和投票∆xm。然后,这些混合几何原语[n m, x' m = x m + ∆x m]将通过均值漂移聚类形成片段边界体积F i 中的平面实例Pi。跟踪和融合模块将匹配当前片段边界体积中的3D平面P i 和前一片段中的全局平面P g i-1。匹配的平面对将被细化,得到最终的3D平面重建。0然后使用预测的平面重建参数将分割掩码投影到3D空间中。为了进一步提高重建精度,其他作品检测并强制执行平面实例之间的平面关系[29],或者使用全景输入在水平和垂直平面上分别进行分割[36]。在两视图情况下,这个问题变得更具挑战性。为了生成统一的3D重建,模型必须正确地将平面实例与帧之间进行关联。以前的工作提出了为每个实例学习描述符,并将其与某些优化算法进行匹配[19,32]。然而,目前还不清楚这种方法在多视图情况下的泛化效果如何。相反,我们直接在3D中执行平面检测、跟踪和融合,这减少了匹配过程的歧义,提高了重建精度和结果的一致性。0基于学习的多视图立体视觉。我们的工作还与最近的基于深度学习的多视图立体视觉(MVS)方法[6, 25, 43, 46,47]相关。在这个方向上的一个代表性工作是MVSNet[46]。对于每一帧,MVSNet选择几个相邻帧作为源,并使用平面扫描机制将每帧特征堆叠成一个4D成本体积,然后通过3DCNN进行聚合,以预测参考帧的深度图。最终的3D模型是通过融合所有估计的深度图来重建的。还有一些不依赖于平面扫描机制的其他工作。一些方法受到了补丁匹配算法[4]的启发,该算法随机初始化大量深度提案,并传播具有低光度误差的提案,该误差是用深度特征计算的[20,40]。Sinha等人首先使用SuperPoint[11]生成稀疏深度图,然后进行深度补全[33]。所有这些工作都将深度图作为中间的3D表示,并且只考虑来自邻近帧的信息。0无聊的帧。几种方法[12, 17,21]将视频序列中的临时信息整合起来。其他作品使用截断的有符号距离函数(TSDF)作为3D表示,并将每帧特征投影到预定义的体积空间中进行TSDF回归[27,37]。在最近的工作中[41],所有帧的信息都与神经辐射场[26]结合起来进行多视角深度估计。我们的工作采用了[37]中的框架进行初始的3D几何估计,因为它具有高效性。但与之不同的是,我们的方法直接产生3D平面重建,这导致几何形状更简单,因此更适合需要高处理吞吐量的下游任务(例如AR、物理模拟、一般交互应用)。03. 方法0给定一系列单目视频帧及其相机姿态,我们首先从输入图像流中顺序找到一组合适的关键帧。根据[17],如果新的输入帧与上一个选择的关键帧相比,其相对平移大于tmax或相对旋转角大于Rmax,则选择新的输入帧作为关键帧。当关键帧的数量达到Nk时,Nk个连续的关键帧序列形成一个局部片段。每个片段被定义为Fi ={Ii,j}Nkj=1,其中i是片段索引,j是关键帧索引。给定这些连续的片段,我们的目标是逐步检测和重建逼近底层三维场景几何的三维平面。在这里,我们将一个平面定义为与单个对象实例相关的平面结构,与Liu等人提出的方式相同[22]。图2展示了所提方法的概述。我们将我们的流程划分为两个主要组件。在第3.1节中,我们介绍基于片段的平面检测,首先为每个片段获得平面检测结果。第3.2节展示了一个平面跟踪和融合模块,将当前片段和之前的片段的平面检测结果整合在一起,以增量的方式形成一个连贯的三维平面重建场景。Fragment Bounding VolumePlane CenterSurfaceOccupied Voxel62220平均0位移0平面分支0
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 李兴华Java基础教程:从入门到精通
- U盘与硬盘启动安装教程:从菜鸟到专家
- C++面试宝典:动态内存管理与继承解析
- C++ STL源码深度解析:专家级剖析与关键技术
- C/C++调用DOS命令实战指南
- 神经网络补偿的多传感器航迹融合技术
- GIS中的大地坐标系与椭球体解析
- 海思Hi3515 H.264编解码处理器用户手册
- Oracle基础练习题与解答
- 谷歌地球3D建筑筛选新流程详解
- CFO与CIO携手:数据管理与企业增值的战略
- Eclipse IDE基础教程:从入门到精通
- Shell脚本专家宝典:全面学习与资源指南
- Tomcat安装指南:附带JDK配置步骤
- NA3003A电子水准仪数据格式解析与转换研究
- 自动化专业英语词汇精华:必备术语集锦
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功