城市场景视频转化为高质量电影动画

1将城市场景视频转化为电影素材汉仁华盛顿大学美国圣路易斯yanhang@wustl.edu清华大学中国北京liuyebin@mail.tsinghua.edu.cn美国圣路易斯华盛顿大学furukawa@wustl.edu摘要本文提出了一种算法，把一个规则的视频捕捉城市场景变成一个高质量的无尽的动画，被称为电影。电影摄影师的创作通常需要一个精心配置的场景中的静态摄像机。对于具有移动摄像机和对象的常规视频，该任务变得具有挑战性。我们的方法首先将输入视频扭曲到参考摄像机的视点。基于变形的视频，我们提出了有效的时间分析算法来检测静态几何和动态外观的区域最后，该算法应用一系列视频处理技术来产生Cinemagnetic电影。我们已经测试了所提出的方法在numer- ous具有挑战性的真实场景。据我们所知，这项工作是第一个自动生成电影院动画从普通电影在野外。1. 介绍我们的世界是动态的。想象一下，你正站在时代广场的中央，周围是持续的噪音，汽车驶过，或者每秒钟都在展示广告的华而不实的广告牌。计算机视觉的一个基本挑战是对动态环境进行建模和可视化。Cin-emagraphs，包含次要和重复动画的静态照片[1]，是捕捉这种场景动态的最成功的例子之一。他们微妙的动画是有效地捕捉“时刻”与惊人的到目前为止，高质量Cinemagraph的生成需要具有精心配置的场景的静态相机[1，2]或交互式工具[14]。没有令人信服的技术存在于自动转换的常规视频到Cin-emagraphs.在线照片存储服务，如谷歌照片，自动产生简短的动画，从用户不自然地向前和向后我们试图使第一步自动Cin-emagnets生成从普通电影与移动相机在野外。关键的见解是，即使是微妙的动画也会产生惊人的视觉效果，我们的方法是选择性地精确分割区域，从而获得高质量的动画。特别是，我们专注于城市环境或夜间设置，其中广告牌，显示器或华而不实的广告牌装饰风景。这样的几何体是静态的，使得建模任务明显更容易，而它们的外观为场景可视化添加了有效的动态形式上，本文通过三个步骤将一个捕捉城市场景的常规视频转换为Cinemagraph风格的动画。首先，我们利用现有的3D重建技术，将输入视频扭曲成参考帧的视点。其次，将新颖的时间分析算法应用于变形视频以识别可以产生高质量动画的区域这些区域具有外观变化的静态几何体。第三，我们执行一系列的视频处理技术，以生成高质量的动画分割区域，而固定的参考帧的其余像素。本文的贡献有两个方面。技术贡献在于对噪声扭曲视频进行有效的时间分析，以实现视觉上感兴趣的区域的分割和分类。该系统的贡献是事实，这是第一个有效的系统自动生成Cinemagnetic动画从定期电影1。2. 相关工作动态场景重建一直是计算机视觉的基本问题。实验室环境已经取得了重大进展，其中多个校准和同步的摄像机是输入。一个成功的系统已经被证明是用于人体[26]、人脸[4]或具有交互的多个人[13，8]。图像和电影。 然而，它们的动画要么是简单的图像幻灯片放映或修剪的电影片段循环-1项目页面：http://yanhangpublic.github.io/cinemagraph394395图1：系统概述。给定一个输入视频剪辑（左），系统首先通过计算相机姿态和参考深度图将所有帧扭曲到参考视图（左中）。选择视觉上有吸引力的区域，即具有静态几何形状和动态（循环或非循环）外观（右中）的区域。然后，系统通过只对这些区域进行动画处理，同时将其他像素固定到参考帧（右）来创建电影渲染。最近有人提出了从YouTube视频中进行动态场景重建[12]。它们共同重建静态背景和动态前景对象。然而，采用的可视化船体重建留下了明显的突出文物，他们的模型.动态融合从RGBD流重建非刚性变形的对象，但不关注动态外观[21]。更宏观尺度的动态（例如，数月或数年的场景变化）可以通过分析由标准相机[30]、固定监视相机[23]、车载相机[29]或社区照片共享网站[20，18]获取的一组图像来检测。特别是，时间推移重建[18]产生了令人印象深刻的空间时间4D模型。它们是随时间和空间变化的几何形状和外观的最令人印象深刻的例子之一。然而，它们需要大量的照片，限制了它们的应用程序在世界上的少数地标。相比之下，我们寻求从单个常规电影实现Cinemagrapha质量的动态场景可视化。此外，还研究了电影制片人的创作。通过半自动系统[14，2]或模板化输入视频[3]获得了令人印象深刻的结果。自动动态动态静图系统[28，32]通过运动分析为动画区域创建遮罩。然而，这些systems是成功的，只有当相机不移动，场景是静态的。数据驱动的单图像方法已经产生了令人印象深刻的动画[16]，但目前对数据库的依赖限制了它们的应用范围。有人提出了一个简单而吸引人的系统[24]，通过在相似的帧之间随机跳跃来创建无限循环。然而，他们的系统要求视频是循环的。与此相反，本文提出了一种自动匹配的方法，为定期电影与移动摄像机。3. 系统概述本文提出了一种新的系统，使我们能够将标准的电影与移动摄像机捕捉城市场景转换成电影动画。我们的系统由三个步骤组成：扭曲、分割和渲染（见图1）。首先，我们使用运动恢复结构（SfM）和多视点立体（MVS）算法，通过基于深度图的图像变形将其次，有效的时间分析和分割算法应用于扭曲的视频，以提供区域，导致良好的动画。最后，我们在每个分割区域中通过一系列视频处理技术来翘曲步骤是标准技术的应用，而最后两个步骤，特别是分割步骤，在本文中表现出技术贡献。4. 通过图像扭曲的空间对准视频扭曲是基于标准的3D repricing- tion技术，具有较小的修改，对场景动态鲁棒。首先，我们使用SfM软件TheiaSFM [27]来估计相机姿态。给定参考帧Ir，我们基于100个相邻帧来估计深度图（即，50帧之前和之后）。根据SfM提供的可见3D点估计Ir处的场景深度范围，为了鲁棒性而丢弃1%的最近和最远点。然后将逆深度空间均匀离散为128个子空间。遵循[15]中的思想，我们计算Ir和每个相邻图像之间的匹配分数，然后将这些分数的最佳一半作为总的一元项进行求和。396图2：循环动态像素的傅立叶分析。左：在参考帧中标记两个像素p1和p2左中：两个像素随时间的强度模式对强度进行预处理以具有零均值。右中：时间模式的频率幅度。由于p2具有循环动态外观，峰值出现在高频，而对于p1，峰值出现在低频。右：生成的周期性分数，编码在红色通道中。补偿遮挡和场景动态。匹配分数定义为1减去5 × 5图像块上的归一化交叉相关，截断为0。3为健壮。成对项是绝对标签差异的截断线性函数我们多-0.15的双项。给定估计的深度图，我们经由标准向后扭曲将所有相邻帧扭曲到Ir的视点，同时经由Z缓冲考虑遮挡。被遮挡的像素将在下一个分割过程中被忽略，并将在最后一个渲染过程中被补绘。5. 动态外观分割仔细选择要制作动画的区域是创造富有创意的电影素材的关键。我们的方法是对空间对齐的扭曲视频进行时间分析，同时关注城市场景中常见的两种外观。5.1. 非循环动态外观数字显示器或广告牌在城市商业区、夜总会或购物中心的店面中是流行的视觉吸引物。显示器的检测和分割对现有技术提出了挑战，因为它们可以显示任意内容。我们的系统通过以下方式检测这些区域：1）通过对特征外观变化进行编码的新特征向量将扭曲的视频分割成2D片段，以及2）通过从手动注释的视频剪辑训练的随机森林对这些区域进行分类。扭曲视频分割：我们执行变形视频的分层自下而上2D分割（参见图1B）。4）. 2我们的贡献在于新的距离满足-2该方法从像素开始，如果它们的特征向量的距离低于阈值，则对最近的对进行灰度它在合并和增加阈值之间迭代原始算法[10]对3D像素体积进行操作，而我们的系统通过将每个像素视为1D阵列来执行2D分割图3：我们的时间二进制模式通过在每一个α帧中检查一次β帧之后是否会有显著的颜色变化来编码像素（p）的时间特性。该图说明了α= 2和β= 7的情况。对于一对空间区域，定义为DT+ 0。1DA.该度量利用变形的视频来分析除了像素值DA的差异之外的时间外观变化DT的差异。DT的灵感来自于用于特征匹配的局部二进制模式[7，22]，我们在时域中采用该模式令Ip（f）是变形视频中帧f处的像素p（或合并后的区域）的平均颜色为了简单起见，我们将从下面的符号中删除p我们的二进制时间模式描述符在每一个α帧中检查一次，如果在前面的β帧中将有显著的颜色变化（参见图3）。更准确地说，二元模式的第i位被定义为：（i）=（一）θ表示指示器功能，并检查RGB空间中的色差是否大于θ= 100。为了捕获局部和长期外观变化，我们使用两组参数：α1= 4，β1= 4（对于α1（i）），α2= 2，β2=N/2（对于α2（i）），其中N是输入帧的数量。最后一个二进制描述符是这两个描述符的结合：T= [01（0），01（1），. . .，1992（0），1992（1）。. . ]中。两个二进制时间描述符之间的距离DT397由特征维数归一化的两个二进制向量的汉明距离计算。DA测量两个像素最终得分是在包含至少N/2帧的所有可能帧间隔上的最大值：通过计算一减去两个颜色直方图的归一化互相关来分割。每个人的直方图Ccyc= max（j−i）≥N/2cycc（i，j）。（二）段由来自所有帧的2D区域内的所有像素的LAB值构造，每个通道具有8个仓我们将初始合并阈值设置为0.2，并每次将其增加1.5倍。我们使用三个不同粒度级别的分割结果来生成（重叠）图像片段以实现鲁棒性，特别是在60%，70%和80%级别[10]。分类：我们建立了一个基于外观，时间变化，形状和位 置 特 征 的 二 元 随 机 森 林 分 类 器 。 我 们 通 过 从YouTube下载流行城市场景的固定视频片段然后，我们手动注释2D区域，如显示器和广告牌。详细的功能设计和培训过程请参考补充材料。在测试时，我们将来自三个粒度级别的所有片段传递到分类器中，并将所有阳性片段合并。我们忽略大多数不可见的片段，也就是说，如果超过一半的像素是不可见的（即，投影到视图之外或在扭曲期间的Z缓冲测试中失败）。5.2. 循环动力学现象重复的广告或闪烁的广告牌也是许多城市场景中的象征性结构，特别是在晚上。由于这些区域通常很小且孤立，标准运动分析和分割算法的性能很差。我们提 出 了 一 种 简 单 但 有 效 的 基 于 离 散 傅 立 叶 变 换（DFT）的时域分析算法来识别这些像素。对于变形视频的每个像素，我们计算其在所有帧上的强度的1D DFT，然后进行频率分析（见图1）。2）的情况。对于理想的周期性强度模式，我们应该在高频分量中观察到干净的峰，而在低频分量中观察到低幅度。为了对来自扭曲的错误具有鲁棒性，我们不是使用所有N个输入帧来计算单个分数，而是寻找至少N/2帧的最佳间隔。更准确地说，我们计算从帧i到j的像素的周期性得分为如果1）它的分数（2）大于2.5，2）其在所有帧上的强度的第80百分位大于127。6. 电影渲染我们的系统在检测区域中使用来自扭曲视频的帧呈现Cinemagnetic动画，同时保持剩余像素固定到参考帧。循环模式通常由小片段组成，并且由公式（2）计算的最佳间隔中的动画看起来自然，无需任何后处理。非循环外观段更具挑战性。我们首先通过在空间和时间上的拉普拉斯平滑来绘制可见性洞。接下来，我们使用静态特征点通过单应性变形来应用几何更具体地说，生成特征轨迹[25，6]，并通过以下约束进行过滤：1）轨迹必须持续至少10帧，2）所跟踪像素坐标的标准偏差使用线性最小二乘法计算从每帧到参考的单应性变形。与现有文献[5，18]一样，我们应用强度正则化。这对于我们的扭曲视频至关重要，它遭受严重的渲染伪影。标准技术，如时间中值滤波[5]或全局最小二乘优化[18]，已经为我们的许多示例产生了令人信服的然而，当一个片段表现出快速光流运动和/或突然的时间变化时，它们显示出两种典型的失效模式。首先，它们过度正则化高频时间信号。其次，由于缺乏空间正则化，像素之间出现不一致。我们的方法是重新排列整个帧的一个片段的像素值作为一个二维矩阵，并获得一个低秩近似。该方法实现了适度的时空正则化。RPCA [31]是我们机器的选择，它已成功用于各种图像和视频分析任务，但据我们所知，还没有用于更具体地说，我们将一个片段的像素连接在一起，ccyc（i，j）=maxk>τ|Fk|.最大k≤τ|F k|将单个帧转换为行向量，并将它们跨帧堆叠以形成矩阵P。我们使用加速近端|表示DFT分量的幅度。|denotesthemagnitudeofaDFTcomponent. 3τ是低频分量和高频分量之间的边界，其在整个实验中被设置为4。的3我们只使用DFT系数的前半部分，因为它们的幅度对于实值数组是对称的我们还通过在DFT之前减去平均强度来丢弃直接最小化标准RPCA公式的梯度[17]方法：AA+E = P。（三）核范数的最小化实现了空间和时间正则化。 我们解决的问题398图4：分层2D视频分割。左侧显示参考帧。右侧分别显示了0%（最低）、60%和80%层次级别的分割图5：由Yeh等人制作的Cinemagnetic动画的分割区域。[32]我们的方法。Yeh等人的方法。与任何其他Cinemagency创建方法一样，假定使用静态摄影机。它只是识别具有大光流运动的区域，而不能识别用于Cinemagnetic动画的有效区域。每个通道独立地并且重新排列A作为输出像素值。我们已经发现，根据视频内容自适应地调整标量权重λ是很重要的，视频内容在示例中变化很大直觉上，具有快速光流或时间变化的丰富视频内容仍然应该具有大的核范数。因此，我们将λ设置为与视频内容的“丰富度”成比例更精确地说，我们将λ设为0.005 + 0.015γ，其中γ是λ 1中“1”的个数为了创建无限循环，我们在优化（2）找到的间隔内一遍又一遍地渲染具有循环外观对于非循环动态片段，我们通过向前和向后播放视频来创建循环。每个片段都是独立循环的。7. 实验结果我们已经实现了建议的系统在C++和使用英特尔酷睿I7 CPU与32 GB RAM和NVIDIA Ti- tan X GPU（立体匹配评分评估）。我们从YouTube上下载了各种片段，例如城市场景的步行或驾车。我们还图6：自适应外观正则化。 左：λ= 0。02.请注意红色圆圈内的遮挡物。中间：λ r = 0时RPCA的输出。011，这是自动选择的。遮挡伪影得到缓解。右：λ r =0时RPCA的输出。005。框架过于平滑。我们自己录了一些视频大多数输入视频是10秒长（即，300输入帧），而有些持续2分钟。我们的电影收藏涵盖室内/室外，白天/夜晚，以及各种地方，如城市中心区，城市街道，赌场，购物中心或大学建筑。请注意，SfM处理所有输入帧，但我们的算法只需要一个参考帧和100个相邻帧。SfM步骤后，我们的系统的运行时间范围从30分钟到一个小时，这取决于帧分辨率和显示段的数量，其中瓶颈在于立体声计算和RPCA。我们的主要技术贡献，即分割，在几秒钟内完成。图10显示了四个输入视频、两种算法的分割结果以及输出Cinema- graphs。我们的系统使得能够从具有野外移动摄像机的视频中自动创建高质量的电影，据我们所知，其中所有现有的方法都需要具有干净场景的静态完整的实验结果和影片请参见补充材料和项目网站。图5显示了我们的细分过程，399图7：我们在两个例子中评估了五种不同的分割算法对于每个示例，分割结果在第一行中示出，并且对应的分类结果在第二行中示出时间和外观的组合（临时。+ app.）信息使我们能够有效地分割区域，从而产生良好的动画。Felzenszwalb等人的算法。[9]（阈值参数设置为500）和Grundmann et al.[10]缺乏时间外观信息，并且未能在顶部示例中对显示器中的像素进行分组。仅使用时间信息（仅时间）产生部分动态显示的不完整片段（底部示例左侧的黄色显示 仅使用外观信息（仅外观）无法捕获显示片段，如Felzenszwalb等人所述。和Grundmann et al.来自80%层级的分割结果显示在右侧四列中。图8：不同强度正则化算法的比较。左：输入帧。右：使用半径为5的时间中值滤波器，平滑权重为50的全局最小二乘优化以及我们的自适应RPCA进行渲染。前两种算法独立地调整每个像素，导致快速运动下像素之间的不一致。相比之下，我们的算法联合正则化区域内的所有像素。有效地识别导致高质量动画的区域。由于一般电影不存在自动的Cinemagentum生成方法，我们将我们的扭曲视频提供给现有的算法，假设静态摄像头，[32 ]第32话比较然而，他们的算法只是观察具有大的光流运动的矩形区域，并且不能处理我们的电影中的严重的渲染伪像或丰富的动态。图7显示了我们的新的像素距离度量分割非循环动态区域的有效性。400图9：失败案例。左：由于SfM和立体的中间：我们没有检测到这种显示，它主要是静态的，只有最小的外观动态。我们需要更多的训练数据。右：由分割和大封堵器引起的缺陷。虽然我们通过强度正则化来处理小而快的遮挡物，但是大而慢的遮挡物仍然会在最终渲染中造成视觉缺陷。特征向量允许我们提取具有相似时间变化模式的图像片段我们比较我们的算法与Felzenszwalb等人。[9]在参考图像和Grundmann et al.[10] I'm sorry.这两种方法都无法提取具有相似时间外观特征的片段。图6显示了自适应外观正则化的有效性，其中我们根据视频内容的丰富程度控制低秩图8显示了我们对两种标准强度正则化技术的渲染结果：时间中值滤波[5]和全局最小二乘优化[18]。这些方法没有空间正则化（即，每像素操作），从而在存在快速光流运动的情况下导致像素之间的不一致我们的低秩近似技术优于在这种情况下，适度的时空正则化。应用：将一般视频转换为电影动画的能力为新的应用开辟了潜力。例如，在场景可视化领域，基于图像的渲染导航已经成为黄金标准（例如，谷歌地图街景）[11，19]，其中用户在一个位置查看真实照片，并通过过渡渲染在位置之间跳转。然而，在这些系统中，照相机都是静态的，没有任何动态。 虽然直接提供视频可能是可视化场景动态的解决方案，但它们需要更多的数据空间/传输，并严格限制视频路径上的导航。用Cinemagraphs替换图像可以让你在每个位置体验场景动态，以及在场景中自由导航。Cinemagraphs只动画图像的一小部分，需要最小的额外数据空间。特别是，我们展示了这种下一代基于Cinemagraph的渲染导航，通过采取长的步行通过视频，生成Cinemagraph动画在子采样帧，然后形成一个导航图连接这些帧。此外，还可以很容易地将动画内容替换为另一种媒体的虚拟广告，这在不久的将来可能会流行，新兴的VR和AR。请访问项目网站观看演示视频。8. 局限性和今后的工作本文提出了第一个有效的系统，把定期电影与移动摄像机到高品质的Cin-emagnetic动画在城市环境。从常规视频自动创建Cinemagram仍然是一个非常棘手的问题，我们已经观察到一些主要的故障模式（见图9）。首先，我们的系统期望SfM利用场景的静态部分来产生相机姿势，并且MVS在动态区域上插入粗略的几何形状。这些假设可能会在高度动态的区域失败，导致动画内容出现不自然的扭曲。第二种失效模式是分类。我们的训练数据来自固定摄像机的电影剪辑，这些剪辑看起来与扭曲的视频不同我们需要更多的训练数据，潜在地，从我们的训练算法中注释扭曲的视频最后一种失效模式是在断裂中。虽然RPCA在抑制伪影方面非常强大，但在存在严重遮挡物的情况下，例如行人长时间出现在摄像机前，利用语义分割技术是我 们 未 来 的 工 作 ， 使 我 们 的 系 统 进 一 步 强 大 的occluders。本文为大众消费者从常规电影中自动生成高质量的动态场景可视化迈出了重要的第一步。我们希望这篇论文将推动一轮新的研究，解决我们世界中更多样化确认本研究得到了国家自然科学基金项目IIS 1540012和IIS 1618685、微软Azure研究奖和国家科学仪器探索重点基金项目No.2013YQ140517的部分资助。我们感谢NVIDIA慷慨捐赠GPU。401图10：每一列显示输入帧样本（中间帧作为参考）、循环动态段、非循环动态段和输出帧样本。循环动态像素和输出帧的分割被裁剪到红色和绿色边界框以更好地说明细节。请查看我们的补充视频，了解对我们结果的完整评估和更多示例。402引用[1] 电影记录。http://cinemagraphs.com/网站。1[2] J. Bai、A.Agarwala、M.Agrawala和R.Ramamoorthi 有选择性的去动画视频。 ACM Trans. Graph. ，31（4）：66一、二[3] J. Bai、A.Agarwala、M.Agrawala和R.Ramamoorthi 最好的电影肖像。在计算机图形格式，第32卷，第17-25页。Wiley Online Library，2013. 2[4] T. Beeler，F. Hahn，D. 布拉德利湾 比克尔，P.比尔兹利，C. 戈茨曼河W. Sumner和M.恶心高品质的被动面部性能捕捉使用锚帧。ACM事务处理图表，30：75：1-75：10，2011年8月。1[5] E. P. Bennett 和 L. 麦 克 米 兰 计 算 延 时 视 频ACMTransactions on Graphics（TOG），第26卷，第102页。ACM，2007年。四、七[6] J. - Y.布盖金字塔实现的仿射Lu-cas Kanade特征跟踪器的算法描述.Intel Corporation，5（1-10）：4，2001. 4[7] M.卡伦德，诉莱珀蒂M.奥祖伊萨尔，T.Trzcinski，C. Strecha，和P.呸简介：计算一个本地二进制描述符非常快. IEEE Transactions on Pattern Analysis and MachineIntelligence，34（7）：1281-1298，2012。3[8] A.科莱M. Chuang，P. Sweeney，D. Gillett，D. 叶夫谢耶夫，D.卡拉布雷斯湾Hoppe，A. Kirk和S.苏利文高质量的可流 式 传 输 的 自 由 视 点 视 频 。 ACM Transactions onGraphics（TOG），34（4）：69，2015. 1[9] P. F. Felzenszwalb和D. P. Huttenlocher。高效的基于图的图像分割。International Journal on Computer Vision，59（2）：167-181，2004. 六、七[10] M. Grundmann，V. Kwatra，M.汉和我艾萨高效的基于分 层 图 的 视 频 分 割 。 在 Computer Vision and PatternRecognition（CVPR），2010 IEEE Conference on，第2141-2148页中。IEEE，2010。三、四、六、七[11] G. Inc.谷歌地图。http://maps.google.com网站。7[12] D. Ji，E.邓恩和J M.弗拉姆众包数据中动态纹理的3D重建。在《欧洲法院判例汇编》第143- 149158. Springer，2014. 2[13] H.朱，H。S. Park和Y.酋长大规模动态三维重建中的地图可见性估计。计算机视觉与模式识别IEEE，2014。1[14] N. 乔希，S。 梅塔，S。 Drucker，E. Stollnitz，H. 霍普M. Uyttendaele和M.科恩剪贴画：并列静态和动态图像。在第25届ACM用户界面软件和技术，第251-260页。ACM，2012年。一、二[15] S. B. Kang和R.塞利斯基从图像集合中提取视图相关的International Journal of Computer Vision，58（2）：139-163，2004。2[16] N.霍尔木兹，T. Simon，A. Efros和Y.酋长使用库存3d模型在单个照片中的3d对象操纵。ACM Transactions on Graphics（TOG），33（4）：127，2014。2[17] Z. Lin，L. Ganesh，J. Wright，L. Wu，M. Chen和Y. MA.精确恢复低秩矩阵的快速凸优化算法。多传感器自适应处理的计算进展（CAMSAP），61，2009。4403[18] R. Martin-Brualla，D. Gallup和S. M.塞茨从互联网照片 中 延 时 挖 掘 ACM Transactions on Graphics（TOG），34（4）：62，2015。二四七[19] 马 特 波 特 Matterport ： 真 实 世 界 的 3D 。 得 双matterport.com值. 7[20] K. Matzen和N.很聪明场景年表。见ECCV，第615-630页。Springer，2014. 2[21] R. A. Newcombe，D. Fox和S. M.塞茨动态融合：非刚性场景的实时重建与跟踪。在IEEE计算机视觉和模式识别会议论文集，第343-352页2[22] T. Ojala，M. Pietikainen和D.哈伍德基于kullback分布判别分类的纹理测度性能评价。模式识别，1994年。第1卷-会议A：计算机视觉&与图像处理，第12届IAPR国际会议论文集，第1卷，第582-585页。IEEE，1994年。3[23] K. Sakurada，T.Okatani和K.出口从由车载相机捕获的多视角图像检测场景的3d结构的变化。在ComputerVision and Pattern Recognition（CVPR），2013 IEEEConference on，第137-144页中。IEEE，2013。2[24] A. 舍奥德 尔河Szeliski ，D. H. 销售，我。艾 萨视频纹理。在第27届计算机图形和交互技术年会的会议记录中，第489- 489页498. ACM出版社/Addison-Wesley出版公司2000. 2[25] J. Shi和C.托马西很好的跟踪功能 计算机视觉与模式识别，1994年。1994年CVPR会议录1994年IEEE计算机协会会议，第593- 600页。IEEE，1994年。4[26] Starck和A. Hilton.基于性能的动画的表面捕获. 计算机图形学与应用，IEEE，27（3）：21-31，2007. 1[27] C. 斯 威 尼 Theia 多 视 图 几 何 库 ： 教 程 & 参 考 。http://theia-sfm.org网站。2[28] J. Tompkin，F.Pece，K.Subr和J.考茨瞬间意象：自动电影摄影机在Visual Media Production（CVMP），2011年会议，第87-93页。IEEE，2011年。2[29] A. O. Ulusoy和J. L.芒迪使用三维变化检测的基于图像的四维计算机Springer，2014. 2[30] T. Y. Wang，P.Kohli和N.J. 米特拉动态sfm：检测-ING 场 景 的 变 化 ， 从 图 像 对 。 Comput. Graph.Forum，34（5）：177-189，2015. 2[31] J. Wright，A.加内什，S。拉奥，Y。Peng和Y. MA.稳健主成分分析：基于凸优化的低秩矩阵的精确恢复。 神经信息处理系统的进展，第2080-2088页，2009年4[32] M.- C. 叶和P。Y. 李一种自动生成动态静图的方法第20届ACM国际多媒体会议论文集，第1153ACM，2012年。二、五、六