没有合适的资源?快使用搜索试试~ 我知道了~
26570用于无监督视频分解的可变形精灵0Vickie Ye 1 Zhengqi Li 2 Richard Tucker 2 Angjoo Kanazawa 1 Noah Snavely 201 加州大学伯克利分校 2 谷歌0输入:0带有流传播编辑的视频0输出:可变形精灵0逐帧掩码和变换 全局精灵0第2层0第1层0编辑0第1层 第2层0图1.使用可变形精灵进行视频分解。给定一个RGB视频及其光流(左图),我们提出了一种方法,将视频分解为持久运动组的层。我们将每个组表示为一个可变形精灵(中间图),它由一个RGB精灵图像、将精灵映射到每个帧的掩码和非刚性变换组成。我们独立地将可变形精灵拟合到每个输入视频中,无需任何预训练或用户输入。所得到的分解捕捉了精灵随时间的长期对应关系,使得可以在整个视频上传播精灵的编辑效果(右图)。我们在项目网站上展示了我们结果的完整视频。0摘要0我们描述了一种从输入视频中提取动态场景的持久元素的方法。我们将每个场景元素表示为一个可变形精灵,它由三个组件组成:1)整个视频的2D纹理图像,2)元素的逐帧掩码,以及3)将纹理图像映射到每个视频帧的非刚性变形。所得到的分解允许应用于一致的视频编辑等应用。可变形精灵是一种视频自编码器模型,它在单个视频上进行优化,不需要在大型数据集上进行训练,也不依赖于预训练模型。此外,我们的方法不需要对象掩码或其他用户输入,并且能够发现比以前的工作更多样的移动对象。我们在标准视频数据集上评估了我们的方法,并展示了在各种互联网视频上的定性结果。01. 引言0当我们观察一个动态场景的视频时,例如图1中的熊视频,我们看到的不是一组不连续的像素,而是一只在动物园里行走的熊。然而,计算机视觉方法通常将视频表示为3D光栅像素网格。0像素网格。虽然这种低级表示在硬件上处理方便,但它不能捕捉到我们对通过3D场景移动的高级对象的直观概念。0移动层是Wang和Adelson的开创性工作中提出的另一种表示方法,其中场景元素被建模为随时间变换的持久图像层,以组成每个视频帧[34]。这种分层表示捕捉了在场景中平滑移动的持久运动组的概念,同时还考虑到由遮挡引起的锐利边缘。然而,这些经典方法受到当时的机械设备的限制,只能处理相对简单的运动和场景。0受到这些经典思想的启发[10, 26,34],我们提出了一种新的方法,将复杂动态场景的视频分解为一组持久运动组。我们通过引入可变形精灵(图1,中间)来实现这一目标,它是整个视频中运动组的表示。运动组的可变形精灵由三个关键组成部分组成:1)一个规范纹理图像或精灵,描述了组在所有输入帧上的外观,2)在每个输入帧中定位组的掩码,以及3)将每个精灵映射到每个帧的非刚性几何变换。所得到的分解捕捉了整个视频中每个运动组的对应关系,使得对精灵的修改能够传播到整个视频中。26580精灵可以在整个视频中一致地传播(图1,右图)。我们通过将可变形精灵表示拟合到视频中来实现这种分解,而无需任何用户输入,甚至无需先验地知道将出现什么类型的对象。相反,分解仅从视频中存在的图像和运动线索中派生。我们的方法独立地为每个视频优化可变形精灵,并不需要在数据集上进行训练。这种不需要训练数据的自由使得我们的方法能够处理未标记在标准分割基准中的新对象和类别的视频。我们的方法可以处理具有移动相机和关节或可变形对象的视频。为了捕捉这种非刚性运动,我们将变换建模为由2D空间样条组成的单应性的组合,这些样条随时间平滑演化。这种显式参数化具有相对较少的参数来建模非刚性变形,并且是连续的。精灵和掩码通过卷积神经网络进行优化。我们的方法比最近的视频分解方法具有几个优点,这些方法不能恢复持久层的外观[21,38],或者需要用户以分割掩码的形式进行输入[20]。尽管我们的方法输出了丰富的视频分解,而不仅仅是对象掩码,但我们在标准视频对象分割基准上进行了评估,获得了竞争性的结果。在DAVIS[25]上,我们获得了与需要用户掩码初始化的最近方法相似的分解结果,但由于我们的变形模型的低维度,优化速度更快(30分钟对比10小时)。我们进一步在各种互联网剪辑上展示了我们的方法,在这些剪辑中,现成的分割方法无法推广到发现有意义的分组。据我们所知,我们是第一个在无用户监督下,在野外视频上展示了具有全局纹理模型的视频分解的工作。02. 相关工作0基于层的视频分解。我们的工作受到了将视频帧表示为移动层或精灵组合的丰富历史工作的启发。Wang&Adelson在1990年代将这个概念引入计算机视觉[34],在早期对图像序列中的多个运动估计的工作[2,5]的基础上进行了构建。Wang&Adelson使用光流作为运动线索,使用有序的RGBα层和相关的仿射变换来求解,随后出现了许多其他基于层的分解方法[3,10,15,35]。这些方法通常根据不同的运动模型(例如刚性、仿射)将图像序列分解为外观和运动。与之密切相关的是拆开马赛克[26],它使用单个全局纹理加上每个图像的0扭曲场和遮挡掩模。最近,分层视频分解方法扩展了这些公式以处理更复杂、更逼真的视频。例如,Lao等人[16]将分层模型扩展到明确处理3D运动。更现代的方法以各种方式利用神经网络,例如增强对象掩模[21]或使用基于坐标的神经网络计算多层的纹理图集和uv坐标[11]。这些作品的一个共同点是它们需要一个合理的感兴趣对象的输入掩模,通常由用户提供或由在预定义对象类别上训练的分割网络提供。相比之下,我们在完全无监督的环境中探索这个问题。我们的工作也与MarioNette[31]密切相关,它将视频分解为一组静态精灵,并像我们一样以无监督的方式操作。然而,他们学到的精灵是静态的,不可变形的,所以他们主要在视频游戏图像上展示他们的工作,即使是动画精灵也只是几个离散帧的重复。他们必须学习一个对象的多个表示来解释这种运动。相比之下,我们可以学习一个全局的对象精灵,并使用非刚性变换来建模复杂的对象运动。0运动分割。作为计算我们的视频表示的一个方面,我们还解决了一个运动分组问题。运动分割的方法包括将问题视为时空图像聚类的问题[30],或者从光流或点轨迹形式的运动估计开始,解决将像素关联到多个运动簇的分组问题[4,12,13,22,24]。最近的方法还探索了优化神经网络将图像和/或流输入映射到分割掩模[6,36]。Yang等人认识到前景对象的运动不应该可以从背景运动中预测出来(反之亦然),提出了一种对抗性方法来计算相互不相关的分割[39]。尽管这些作品将运动和外观线索结合起来进行分割,但它们设计用于逐帧预测。相比之下,我们的工作为每个场景元素计算了明确的全局纹理图像,并在视频的所有帧上共享。因此,我们的结果表示给我们提供了整个视频的长期对应关系。0无监督视频对象分割。虽然运动分割可能或可能不会导致与语义对象相对应的组;视频对象分割(VOS)方法旨在检测视频中的对象。这些方法通常在视频上进行预先训练 - 在像DAVIS[25]这样的数据集上以完全监督的方式或通过自我监督 -以学习视频中的对象构成。与我们的工作相关的方法是不考虑完全监督的方法。这些方法包括Koh等人的方法[14]和Hu等人的方法[9],它们利用低级和中级线索,如流量。AAB/HicbZDLSsNAFIYn9VbjLdqlm8FSaEVKUoq6LpxWcFeoI1lMp20QycXZiZCDPFV3LhQxK0P4s63cdJmoa0/DHz85xzOmd8JGRXSNL+1wtr6xuZWcVvf2d3bPzAOj7oiDgmHRywgPcdJAijPulIKhnph5wgz2Gk58yus3rvgXBA/9OxiGxPTxqUsxksoaGaXK431StWrpGcygUv105FRNuvmXHAVrBzKIFd7ZHwNxwGOPOJLzJAQA8sMpZ0gLilmJNWHkSAhwjM0IQOFPvKIsJP58SmsKGcM3YCr50s4d39PJMgTIvYc1ekhORXLtcz8rzaIpHtpJ9QPI0l8vFjkRgzKAGZJwDHlBEsWK0CYU3UrxFPEZYqL12FYC1/eRW6jbp1Xm/eNsutqzyOIjgGJ6AKLHABWuAGtEHYBCDZ/AK3rQn7UV71z4WrQUtnymBP9I+fwB8a5K8 ⇤Mt(2)AAB9XicbVBNS8NAEN3Ur1q/qh69BItQLyWRoh6LXjxWsB/QpmWznbRLN5uwO1FK6P/w4kERr/4Xb/4bt20O2vpg4PHeDPz/FhwjY7zbeXW1jc2t/LbhZ3dvf2D4uFRU0eJYtBgkYhU26caBJfQI4C2rECGvoCWv74dua3HkFpHskHnMTghXQoecAZRSP1ujgCpH3spWX3fNovlpyKM4e9StyMlEiGer/41R1ELAlBIhNU647rxOilVCFnAqaFbqIhpmxMh9AxVNIQtJfOr57aZ0YZ2EGkTEm05+rviZSGWk9C3SGFEd62ZuJ/3mdBINrL+UyThAkWywKEmFjZM8isAdcAUMxMYQyxc2tNhtRmaoAomBHf5VXSvKi4l5XqfbVUu8niyJMTckrKxCVXpEbuSJ0CCOKPJNX8mY9WS/Wu/WxaM1Z2cwx+QPr8wf3qpIs AB9XicbVBNT8JAEN3iF+IX6tFLIzHBC2kJUY9ELx4xETCBQrbLFDZst83uVEMa/ocXDxrj1f/izX/jAj0o+JJXt6bycw8PxZco+N8W7m19Y3Nrfx2YWd3b/+geHjU0lGiGDRZJCL14FMNgktoIkcBD7ECGvoC2v74Zua3H0FpHsl7nMTghXQoecAZRSP1ujgCpH3speXq+bRfLDkVZw57lbgZKZEMjX7xqzuIWBKCRCao1h3XidFLqULOBEwL3URDTNmYDqFjqKQhaC+dXz21z4wysINImZJoz9XfEykNtZ6EvukMKY70sjcT/M6CQZXsplnCBItlgUJMLGyJ5FYA+4AoZiYghliptbTaijI0QRVMCO7y6ukVa24F5XaXa1Uv87iyJMTckrKxCWXpE5uSYM0CSOKPJNX8mY9WS/Wu/WxaM1Z2cwx+QPr8wf5MJIt AB+XicbZDLSsNAFIZPvNZ6i7p0M1iEFqQkpajLohuXFewF2lgm00k7dHJhZlKoIW/ixoUibn0Td76NkzYLbf1h4OM/53DO/G7EmVSW9W2srW9sbm0Xdoq7e/sHh+bRcVuGsSC0RUIeiq6LJeUsoC3FKfdSFDsu5x23MltVu9MqZAsDB7ULKOj0cB8xjBSlsD03x6TMp2Jb1AGdQq6cAsWVrLrQKdg4lyNUcmF/9YUhinwaKcCxlz7Yi5SRYKEY4TYv9WNIkwke0Z7GAPtUOsn8hSda2eIvFDoFyg0d39PJNiXcua7utPHaiyXa5n5X60XK+/aSVgQxYoGZLHIizlSIcpiQEMmKFF8pgETwfStiIyxwETpsIo6BHv5y6vQrlXty2r9vl5q3ORxFOAUzqAMNlxBA+6gCS0gMIVneIU3IzFejHfjY9G6ZuQzJ/BHxucPeYmSRQ= AB+XicbZDLSsNAFIZPvNZ6i7p0M1iEFqQkpajLohuXFewF2lgm0k7dHJhZlKoIW/ixoUibn0Td76NkzYLbf1h4OM/53DO/G7EmVSW9W2srW9sbm0Xdoq7e/sHh+bRcVuGsSC0RUIeiq6LJeUsoC3FKfdSFDsu5x23MltVu9MqZAsDB7ULKOj0cB8xjBSlsD03x6TMp2Jb1AGdQq6cAsWVrLrQKdg4lyNUcmF/9YUhinwaKcCxlz7Yi5SRYKEY4TYv9WNIkwke0Z7GAPtUOsn8hSda2eIvFDoFyg0d39PJNiXcua7utPHaiyXa5n5X60XK+/aSVgQxYoGZLHIizlSIcpiQEMmKF8pgETwfStiIyxwETpsIo6BHv5y6vQrlXty2r9vl5q3ORxFOAUzqAMNlxBA+6gCS0gMIVneIU3IzFejHfjY9G6ZuQzJ/BHxucPeYmSRQ= z(1), z(2)AB7nicbVBNSwMxEJ2tX7V+VT16CRahXspuKeqx6sVjBfsB7VqyabYNTbJLkhXK0h/hxYMiXv093vw3pu0etPXBwO9GWbmBTFn2rjut5NbW9/Y3MpvF3Z29/YPiodHLR0litAmiXikOgHWlDNJm4YZTjuxolgEnLaD8e3Mbz9RpVkH8wkpr7AQ8lCRrCxUv6MS1Xz6f9YsmtuHOgVeJlpAQZGv3iV28QkURQaQjHWnc9NzZ+ipVhNNpoZdoGmMyxkPatVRiQbWfzs+dojOrDFAYKVvSoLn6eyLFQuJCGynwGakl72Z+J/XTUx45adMxomhkiwWhQlHJkKz39GAKUoMn1iCiWL2VkRGWGFibEIFG4K3/PIqaVUr3kWldl8r1W+yOPJwAqdQBg8uoQ530IAmEBjDM7zCmxM7L86787FozTnZzDH8gfP5A0aujuM= A(2)AB7nicbVDLSgNBEOz1GeMr6tHLYBDiJexKUI9RLx4jmAcka5idJIhs7PLzKwQlnyEFw+KePV7vPk3TpI9aGJBQ1HVTXdXEAujet+Oyura+sbm7mt/PbO7t5+4eCwoaNEMayzSESqFVCNgkusG24EtmKFNAwENoPR7dRvPqHSPJIPZhyjH9KB5H3OqLFS8/oxLXlnk26h6JbdGcgy8TJShAy1buGr04tYEqI0TFCt254bGz+lynAmcJLvJBpjykZ0gG1LJQ1R+ns3Ak5tUqP9CNlSxoyU39PpDTUehwGtjOkZqgXvan4n9dOTP/KT7mME4OSzRf1E0FMRKa/kx5XyIwYW0KZ4vZWwoZUWZsQnkbgrf48jJpnJe9i3LlvlKs3mRx5OAYTqAEHlxCFe6gBnVgMIJneIU3J3ZenHfnY964mQzR/AHzucPRSiO4g= A(1)AAB8HicbVBNSwMxEJ2tX7V+VT16CRahXsquFPVY9OKxQr+kXUs2zbahSXZJskJZ+iu8eFDEqz/Hm/GtN2Dtj4YeLw3w8y8IOZMG9f9dnJr6xubW/ntws7u3v5B8fCopaNEdokEY9UJ8CaciZp0zDaSdWFIuA03Ywvp357SeqNItkw0xi6gs8lCxkBsrPTQe07J3Pu2bfrHkVtw50CrxMlKCDPV+8as3iEgiqDSEY627nhsbP8XKMLptNBLNI0xGeMh7VoqsaDaT+cHT9GZVQYojJQtadBc/T2RYqH1RAS2U2Az0sveTPzP6yYmvPZTJuPEUEkWi8KEIxOh2fdowBQlhk8swUQxeysiI6wMTajg3BW35lbQuKt5lpXpfLdVusjycAKnUAYPrqAGd1CHJhAQ8Ayv8OYo58V5dz4WrTknmzmGP3A+fwDw2o/c T (1)tAB8HicbVBNSwMxEJ31s9avqkcvwSLUS9ktRT0WvXis0C9p15JNs21okl2SrFCW/govHhTx6s/x5r8xbfegrQ8GHu/NMDMviDnTxnW/nbX1jc2t7dxOfndv/+CwcHTc0lGiCG2SiEeqE2BNOZO0aZjhtBMrikXAaTsY38789hNVmkWyYSYx9QUeShYygo2VHhqPalyMe2bfqHolt050CrxMlKEDPV+4as3iEgiqDSEY627nhsbP8XKMLpN9LNI0xGeMh7VoqsaDaT+cHT9G5VQYojJQtadBc/T2RYqH1RAS2U2Az0sveTPzP6yYmvPZTJuPEUEkWi8KEIxOh2fdowBQlhk8swUQxeysiI6wMTajvA3BW35lbQqZe+yXL2vFms3WRw5OIUzKIEHV1CDO6hDEwgIeIZXeHOU8+K8Ox+L1jUnmzmBP3A+fwDyYo/d T (2)tAB8HicbVBNSwMxEJ2tX7V+VT16CRahXsquFPVY9OJFqGA/pF1LNs2oUl2SbJCWforvHhQxKs/x5v/xrTdg7Y+GHi8N8PMvCDmTBvX/XZyK6tr6xv5zcLW9s7uXnH/oKmjRBHaIBGPVDvAmnImacMw2k7VhSLgNWMLqe+q0nqjSL5L0Zx9QXeCBZyAg2Vnq4fUzL3umkZ3rFkltxZ0DLxMtICTLUe8Wvbj8iaDSEI617nhubPwUK8MIp5NCN9E0xmSEB7RjqcSCaj+dHTxBJ1bpozBStqRBM/X3RIqF1mMR2E6BzVAvelPxP6+TmPDST5mME0MlmS8KE45MhKbfoz5TlBg+tgQTxeytiAyxwsTYjAo2BG/x5WXSPKt45XqXbVUu8riyMRHEMZPLiAGtxAHRpAQMAzvMKbo5wX5935mLfmnGzmEP7A+fwB5gaP1Q= M (1)tAB8HicbVBNSwMxEM36WetX1aOXYBHqpeyWoh6LXrwIFeyHtGvJptk2NMkuyaxQlv4KLx4U8erP8ea/MW3oK0PBh7vzTAzL4gFN+C6387K6tr6xmZuK7+9s7u3Xzg4bJo0ZQ1aCQi3Q6IYIr1gAOgrVjzYgMBGsFo+up3pi2vBI3cM4Zr4kA8VDTglY6eH2MS1VziY96BWKbtmdAS8TLyNFlKHeK3x1+xFNJFNABTGm47kx+CnRwKlgk3w3MSwmdEQGrGOpIpIZP50dPMGnVunjMNK2FOCZ+nsiJdKYsQxspyQwNIveVPzP6yQXvopV3ECTNH5ojARGCI8/R73uWYUxNgSQjW3t2I6JpQsBnlbQje4svLpFkpe+fl6l21WLvK4sihY3SCSshDF6iGblAdNRBFEj2jV/TmaOfFeXc+5q0rTjZzhP7A+fwB546P1g= M (2)tAB6nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE1GPRi94q2g9oQ9lsN+3SzSbsToQS+hO8eFDEq7/Im/GbZuDtj4YeLw3w8y8IJHCoOt+O4WV1bX1jeJmaWt7Z3evH/QNHGqGW+wWMa6HVDpVC8gQIlbyea0yiQvBWMbqZ+64lrI2L1iOE+xEdKBEKRtFKD3c97JUrbtWdgSwTLycVyFHvlb+6/ZilEVfIJDWm47kJ+hnVKJjk1I3NTyhbEQHvGOpohE3fjY7dUJOrNInYaxtKSQz9fdERiNjxlFgOyOKQ7PoTcX/vE6K4ZWfCZWkyBWbLwpTSTAm079JX2jOUI4toUwLeythQ6opQ5tOyYbgLb68TJpnVe+i6t2fV2rXeRxFOIJjOAUPLqEGt1CHBjAYwDO8wpsjnRfn3fmYtxacfOYQ/sD5/AErmo26 ItAB8HicbVBNS8NAEJ3Ur1q/qh69BIvgqSQi6rHoRW8V7Ie0oWy2m3bp7ibsToQS+iu8eFDEqz/Hm/GbZuDtj4YeLw3w8y8MBHcoOd9O4WV1bX1jeJmaWt7Z3evH/QNHGqKWvQWMS6HRLDBFesgRwFayeaERkK1gpHN1O/9cS04bF6wHCAkGikecErTSY3dIMLub9LBXrnhVbwZ3mfg5qUCOeq/81e3HNJVMIRXEmI7vJRhkRCOngk1K3dSwhNARGbCOpYpIZoJsdvDEPbFK341ibUuhO1N/T2REGjOWoe2UBIdm0ZuK/3mdFKOrIOMqSZEpOl8UpcLF2J1+7/a5ZhTF2BJCNbe3unRINKFoMyrZEPzFl5dJ86zqX1T9+/NK7TqPowhHcAyn4Ml1OAW6tAChKe4RXeHO28O/Ox7y14OQzh/AHzucP+pmQhw= ˆItAB8HicbVDLSgNBEOz1GeMr6tHLYBDiJeyKqMdgLh4jmIckMcxOZpMhM7vLTK8QlnyFw+KePVzvPk3TpI9aGJBQ1HVTXeXH0th0HW/nZXVtfWNzdxWfntnd2+/cHDYMFGiGa+zSEa65VPDpQh5HQVK3o1p8qXvOmPqlO/+cS1EVF4j+OYdxUdhCIQjKVHqPack7m/SwVyi6ZXcGsky8jBQhQ61X+Or0I5YoHiKT1Ji258bYTalGwSf5DuJ4TFlIzrgbUtDqrjprODJ+TUKn0SRNpWiGSm/p5IqTJmrHzbqSgOzaI3Ff/z2gkG191UhHGCPGTzRUEiCUZk+j3pC80ZyrElGlhbyVsSDVlaDPK2xC8xZeXSeO87F2WvbuLYuUmiyMHx3ACJfDgCipwCzWoAwMFz/AKb452Xpx352PeuJkM0fwB87nD9WYj8g= C(1)tAB8HicbVBNSwMxEM3Wr1q/qh69BItQL2W3iHos9uKxgv2Qdi3ZNuGJtklmRXK0l/hxYMiXv053vw3pu0etPXBwO9GWbmBbHgBlz328mtrW9sbuW3Czu7e/sHxcOjlokSTVmTRiLSnYAYJrhiTeAgWCfWjMhAsHYwrs/89hPThkfqHiYx8yUZKh5ySsBKD/XHtFw9n/ahXy5FXcOvEq8jJRQhka/+NUbRDSRTAEVxJiu58bgp0QDp4JNC73EsJjQMRmyrqWKSGb8dH7wFJ9ZYDSNtSgOfq74mUSGMmMrCdksDILHsz8T+vm0B47adcxQkwReLwkRgiPDsezgmlEQE0sI1dzeiumIaELBZlSwIXjL6+SVrXiXVa8u4tS7SaLI49O0CkqIw9doRq6RQ3URBRJ9Ixe0ZujnRfn3flYtOacbOY/YHz+QPXI/J C(2)tAB6nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE1GPVgx4r2g9oQ9lsJ+3SzSbsboQS+hO8eFDEq7/Im/GbZuDVh8MPN6bYWZekAiujet+OYWl5ZXVteJ6aWNza3unvLvX1HGqGDZYLGLVDqhGwSU2DcC24lCGgUCW8Hoeuq3HlFpHsHM07Qj+hA8pAzaqx0f9O7JUrbtWdgfwlXk4qkKPeK392+zFLI5SGCap1x3MT42dUGc4ETkrdVGNC2YgOsGOpBFqP5udOiFHVumTMFa2pCEz9edERiOtx1FgOyNqhnrRm4r/eZ3UhBd+xmWSGpRsvihMBTExmf5N+lwhM2JsCWK21sJG1JFmbHplGwI3uLf0nzpOqdVb270rtKo+jCAdwCMfgwTnU4Bbq0AGA3iCF3h1hPsvDnv89aCk8/swy84H9/bM42F GAAB6nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE1GPRg16EivYD2lA20m7dLMJuxuhP4ELx4U8eov8ua/cdvmoNUHA4/3ZpiZFySCa+O6X05haXlda24XtrY3NreKe/uNXWcKoYNFotYtQOqUXCJDcONwHaikEaBwFYwupr6rUdUmsfywYwT9CM6kDzkjBor3V/3bnvlilt1ZyB/iZeTCuSo98qf3X7M0gilYJq3fHcxPgZVYzgZNSN9WYUDaiA+xYKmE2s9mp07IkVX6JIyVLWnITP05kdFI63EU2M6ImqFe9Kbif14nNeGFn3GZpAYlmy8KU0FMTKZ/kz5XyIwYW0KZ4vZWwoZUWZsOiUbgrf48l/SPKl6Z1Xv7rRSu8zjKMIBHMIxeHAONbiBOjSAwQCe4AVeHeE8O2/O+7y14OQz+/ALzsc37WONkQ= GMAB+nicbVBNS8NAEN34WetXqkcvwSLUS0lE1GPRi8cK/YI2hs120i7dfLA7UrsT/HiQRGv/hJv/hu3bQ7a+mDg8d4M/P8RHCFtv1trKyurW9sFraK2zu7e/tm6aCl4lQyaLJYxLjUwWCR9BEjgI6iQa+gLa/uhm6rcfQCoeRw0cJ+CGdBDxgDOKWvLMUq8xBKQe3meVHghxOvHMsl21Z7CWiZOTMslR98yvXj9maQgRMkGV6jp2gm5GJXImYFLspQoSykZ0AF1NIxqCcrPZ6RPrRCt9K4ilrgitmfp7IqOhUuPQ150hxaFa9Kbif143xeDKzXiUpAgRmy8KUmFhbE1zsPpcAkMx1oQyfWtFhtSRnqtIo6BGfx5WXSOqs6F1Xn7rxcu87jKJAjckwqxCGXpEZuSZ0CSOP5Jm8kjfjyXgx3o2PeuKkc8ckj8wPn8A3wCTwA= ACEnicbVDLSgMxFM34rONr1KWbYCm0IGWmFHVZdONGqNAXtGPJpGkbmnmQ3BHK0G9w46+4caGIW1fu/BvTdha19UDg5JxzSe7xIsEV2PaPsba+sbm1ndkxd/f2Dw6to+OGCmNJWZ2GIpQtjygmeMDqwEGwViQZ8T3Bmt7oZuo3H5lUPAxqMI6Y65NBwPucEtBS1yrk7h6SfKkw6YLZqQ0ZkC5owSlMzvHCfRqwsnbRngGvEiclWZSi2rW+O72Qxj4LgAqiVNuxI3ATIoFTwSZmJ1YsInREBqytaUB8ptxktIE57TSw/1Q6hMAnqmLEwnxlRr7nk76BIZq2ZuK/3ntGPpXbsKDKAYW0PlD/VhgCPG0H9zjklEQY0IlVz/FdMhkYSCbtHUJTjLK6+SRqnoXBTL9+Vs5TqtI4NO0RnKIwdogq6RVURxQ9oRf0ht6NZ+PV+DA+59E1I505QX9gfP0C3JybvQ= ⇥(1)t , ⇥(2)tACXicbVHBbhMxEPUuFNpQ2lAOHLhYREhFVNEuQsCxwKE9FKlITVspDqtZ5JY9dore5YSWfuT3ODCr+CkOUCbJ4309N6MPH5T1lp5yrJfSXrv/saDh5tbnUfbj3d2u0/2zr1tnMSBtNq6yxI8amVwQIo0XtYOoSo1XpRXnxf+xXd0XlzRvMaRxVMjZoCRSlokuiUqYIR8WXA35UfDzgIoizGRKItqBvYV+g1q/alosKaCZBh5O2EIQ/KDiU1rT89Rpr6mxTr7euwdVt0e1l/WwJfpfkK9JjK5wW3Z9ibGVToSGpwfthntU0CuBISY1tRzQea5BXMVhpAYq9KOwTKflL6My5hPrYhniS/XfiQCV9/OqjJ2Ldf1tbyGu84YNT6MgjJ1Q2jkzUOTRnOyfBE1H6uYEel5JCdirtyOQMHkuJBOjGE/PaX75LzN/38XT/+rZ3+GkVxyZ7zl6wfZaz9+yQHbNTNmCS/U5YspV0kj/pRrqd7ty0pslq5in7D+mzv0+Qtog= minGM,GA,{⇥}(`)tLrecon + Lgroup + Lwarp26590共享精灵0帧输入0变形参数0图2. 可变形精灵是动态场景视频中持久运动群体的一种表示方法。这里我们表示 L = 2个运动群体:大象和背景。可变形精灵将视频分解为三个组件的群体:1)单个全局外观模型,以每层RGB纹理(精灵)的规范形式用于整个视频(表示为 A ( ℓ ) ),2)每帧掩模,指示每个群体(表示为 M ( ℓ ) t ),3)捕捉每帧中的变形和相机运动的时空非刚性变换(表示为 T (ℓ ) t )。对精灵进行变换和掩模处理会产生一组图层,这些图层被合成以重构输入帧 t,同时保留遮挡效果。可变形精灵通过在第4节中描述的重构、掩模和变换的每帧损失进行优化。0Yang等人使用边缘和光流计算前景对象(后者需要训练边缘检测器),并使用槽注意力和自监督学习来学习从光流中检测对象。DyStaB使用视频中的对象运动学习对象显著性模型,然后可以在测试时应用于分割对象,即使是静态图像。与这些方法不同,我们不是寻找语义对象类别,而是寻找最能解释场景运动及其结果外观的分解。如下所示,这使我们能够表示不属于传统对象类别的移动元素。03. 可变形精灵0我们方法的输入是动态场景的视频帧 { I t ∈ R H × W } N t=1 ,以及在连续帧之间计算得到的光流 { F t → t +1 } N −1 t =1 。从这些输入中,我们的目标是恢复动态场景中一组L个不同的运动群体。我们希望这些群体能够捕捉视频中的基本元素,并在场景中平滑移动。为了实现这一点,我们引入了可变形精灵(DeformableSprites),以一致地表示运动群体在视频中的演变。可变形精灵由规范化的外观模型组成,每个群体都有一个纹理图像或精灵,用于描述运动群体在所有视频帧中的外观,并且具有几何变换和掩模模型,用于将运动群体在每个输入帧中的位置和几何形状与精灵关联起来。我们展示了我们的表示方法以及我们拟合的方法。0将其应用于输入视频,在图2中。对于每一帧I t,我们预测每个L运动组的掩码,表示为{ M ( ℓ ) t } L ℓ=1。在图中,有两个掩码对应于两个运动组,大象和背景。每个运动组都有自己的RGB纹理精灵,描述了整个视频中该组的外观。我们将这些L纹理图像表示为{ A ( ℓ ) } L ℓ=1。最后,我们需要知道如何在每一帧中放置和变形每个精灵,例如与图中的大象的位置和姿态相匹配。为此,我们估计了一个基于时空样条的变换T ( ℓ ) t,它将规范纹理坐标与I t的帧坐标相对应,对于每个运动组ℓ和每个帧t。给定一组可变形精灵,我们可以通过使用相关的变换将全局纹理变形到给定的帧中,根据计算的掩码对每个层进行遮罩,然后将层组合成单个RGB图像来重建任何视频帧I t。这产生了一个重建的图像ˆ I t 。0设计动机。将任何类型的分层模型与图像配合的一种自然方法是通过优化层和变换来最小化重建损失。然而,这个视频分解问题严重不适定——大量的层分解可能完美地重现视频,但会产生无意义的分组分离。我们寻求一种自然的分解,其中发现的层对应于在帧内连贯且在时间上一致的对象。对于连贯分解的渴望表明,分解应该是紧凑和低维的,这是表示外观的一个关键动机M (ℓ)t= B(ℓ)t·L�i=ℓ+1(1 − B(i)t ).(1)Vi,j · B2dd,(2)26600对于每个运动层,我们必须表示每个固定精灵纹理的几何形状。因此,我们还必须表示每个精灵的几何形状——在哪里放置它,如何摆放它。我们采用时空样条来实现这种非刚性变换,它可以用少量的显式参数来参数化。03.1. 分组0从视频中计算我们的分层表示的一个关键问题是:对于每一帧,哪些像素属于哪个层?许多先前的工作使用光流线索来计算显式的运动组,可以通过鲁棒的参数模型拟合(例如[34,35]),或者使用鲁棒的聚类方法(例如[12,18,22-24])。然而,显式技术在处理具有多个运动和复杂轨迹的对象时很困难。此外,我们不仅仅关心每帧计算运动组,而是要表示组的外观
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 基于嵌入式ARMLinux的播放器的设计与实现 word格式.doc
- 经典:大学答辩通过_基于ARM微处理器的嵌入式指纹识别系统设计.pdf
- 嵌入式系统课程设计.doc
- 基于飞思卡尔控制器的智能寻迹车设计ARM基础课程课程设计.doc
- 下载基于ARM7的压电陶瓷换能器导纳圆测量仪的研制PDF格式可编辑.pdf
- 课程设计基于ARM的嵌入式家居监控系统的研究与设计.doc
- 论文基于嵌入式ARM的图像采集处理系统设计.doc
- 嵌入式基于ARM9的中断驱动程序设计—课程设计.doc
- 在Linux系统下基于ARM嵌入式的俄罗斯方块.doc
- STK-MirrorStore Product Release Notes(96130)-44
- STK-MirrorStore Storage Connectivity Guide for StorageTek Disk A
- 龙虾养殖远程监控系统的设计与实现数据采集上位-机软件模块-本科毕业设计.doc
- 龙虾养殖远程监控系统的设计与实现数据采集上位-机软件模块-.doc
- 龙虾养殖远程监控系统的设计与实现数据采集上位-机软件模块-本科生毕业论文.doc
- 麻阳风貌展示网站的设计与实现毕业论文.pdf
- 高速走丝气中电火花线切割精加工编程设计.doc
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功