基于环境结构约束的单目视频车辆轨迹重建

基于环境结构约束的单目视频SebastianBullinger1[0000−0002−1584−5319]、 Christoph Bodensteiner1、Michael Arens1和Rainer Stiefelhagen21Fraunhofer IOSB，埃特林根，德国{塞巴斯蒂安.布灵格，克里斯托弗.博登施泰纳，迈克尔.阿伦斯}电子iosb.fraunhofer.de2卡尔斯鲁厄理工学院，卡尔斯鲁厄，德国rainer. kit.edu抽象。 我们提出了一个框架来重建三维车辆轨迹使用单目视频数据。我们跟踪二维车辆形状的像素级利用实例感知的语义分割技术和光流线索。我们应用结构从运动技术的车辆和背景图像，以确定每帧相机构成相对于车辆实例和背景结构。通过结合车辆和背景摄像机的姿态信息，我们限制车辆轨迹的一个参数的家庭可能的解决方案。我们通过融合背景结构和相应的语义分割来计算地面表示。 我们提出了一种新的方法来确定车辆轨迹一致的图像观测和重建的环境结构，以及一个标准，以确定适合于比例估计帧。我们使用无人机图像以及驾驶序列的Cityscape数据集的定性结果由于缺乏合适的基准数据集，我们提出了一个新的数据集来评估重建的三维车辆轨迹的质量。 视频序列显示了城市地区的车辆，并使用路径跟踪渲染引擎Cycles进行渲染。与以前的工作相比，我们进行定量评估所提出的方法。 我们的算法实现了一个平均重建到地面的真实轨迹距离为0.31米，使用这个数据集。包括评估脚本在内的数据集将在我们的网站上公开3。关键词：车辆轨迹重建，实例感知语义分割，运动恢复结构1介绍1.1弹道重建三维车辆轨迹重建在自主系统和增强现实应用领域中具有许多相关的用例那里3项目页面：http://s.fhg.de/trajectory2S. 布林格角Bodensteiner、M.Arens和R.施蒂费尔哈根是不同的平台，如无人机或可穿戴系统，其中人们想要用最少数量的设备来实现该任务，以便减轻重量或降低生产成本。我们提出了一种新的方法来重建三维车辆运动轨迹使用一个单一的摄像机作为传感器。由移动相机捕获的单目视频数据中的对象运动轨迹的重建是一项具有挑战性的任务，因为通常不能单独利用图像观察来解决。每个观察到的对象运动轨迹是尺度模糊的。需要额外的约束来识别与环境结构一致的运动轨迹。[26，14，3]假设摄像机安装在行驶车辆上，即照相机具有特定的高度和已知的 [18，31，17，19]通过对对象和相机进行假设来解决尺度模糊性。我们遵循Ozden的n个非精确运动轨迹的概率分布[ 18]，并引入一个新的对象运动约束，利用语义分割和地形几何来计算一致的在许多场景中，对象仅覆盖视频帧中的少数像素这增加了使用图像数据重建对象运动轨迹的难度。在这种情况下，当前最先进的运动恢复结构（SfM）方法将车辆观察结果最有可能视为异常值，并替代地重建以前的作品，例如[12，13]，通过考虑多个视频帧来确定视频中的移动部分来解决这个问题。它们应用运动分割或关键点跟踪来检测移动对象。这些方法容易受到遮挡的影响，并且需要对象移动以将它们与背景结构分离。我们的方法利用最近的结果，在实例感知的语义分割和刚性结构从运动技术。因此，我们的方法自然延伸到静止的车辆。此外，我们不利用特定的相机姿态约束，如固定的相机地面角度或固定的相机地面距离。我们评估所提出的车辆轨迹重建算法在无人机sce- narios，这样的约束是无效的。1.2相关工作语义分割或场景解析是在像素级提供语义信息的任务。使用Con-vNets的早期语义分割方法，例如Farabet等人[6]，利用patchwise训练。Long等人[24]应用全卷积网络进行语义分割，这些网络是端到端训练的最近，[5，15，10]提出了实例感知的语义分割方法。运动恢复结构（SfM）的领域可以分为迭代和全局方法。迭代或顺序SfM方法[25，30，16，27，23]比全局SfM方法[16，27]更有可能找到合理的解决方案。然而，后者不太容易漂移。确定对象和背景重建之间的正确比例需要附加约束。Ozden等人[18]在独立移动物体的背景下利用非偶然性原则。Yuan et三维车辆轨迹重建3al. [31]建议通过假设对象运动垂直于地平面的法向量来重建3D对象轨迹Kundu等人[12]利用多体VSLAM的运动分割来重建移动汽车的轨迹。他们使用一个瞬时恒定速度模型结合轴承只有跟踪估计一致的对象规模。Park等人在[19]中提出了一种方法，通过使用轨迹基向量的线性组合来近似运动，来重建随时间跟踪的单个3D点的轨迹。以前的作品，如[18，31，12，19]只显示定性的结果。1.3贡献这项工作的核心贡献如下。（1）我们提出了一种新的框架，以利用最先进的语义分割和运动结构方法在单目视频数据中重建车辆的三维轨迹。(2)我们提出了一种新的方法来计算车辆的运动轨迹一致的图像观测和环境结构，包括一个标准，以确定适合的比例估计帧。(3)与以前的工作相比，我们定量评估重建的车辆运动轨迹。(4)我们创建了一个新的车辆轨迹基准数据集，由于缺乏公开的视频数据的车辆与合适的地面实况数据。数据集由城市环境的照片般逼真的渲染视频组成。它包括动画车辆以及一组预定义的相机和车辆运动轨迹。用于渲染的3D车辆和环境模型用作地面实况。(5)我们将发布数据集和评估脚本，以促进未来的对象运动重建相关研究。1.4论文概述本文的结构如下。第2节描述了拟议管道的结构和组件。在第2.1节中，我们推导出一个表达式的一个参数的家庭可能的车辆运动轨迹相结合的车辆和背景的重建结果。第2.2节描述了局部近似地面的方法在第2.3节中，我们描述了一种计算一致的车辆运动轨迹的方法在第4节中，我们使用驾驶序列、无人机图像和渲染视频数据对所提出的算法进行了定性和定量评估第五节是论文的总结。2物体运动轨迹重建图1示出了所提出的流水线的元件。我们使用[2]中提出的方法在像素级上跟踪输入视频中的二维车辆形状我们利用[15]中提出的实例感知语义分割方法检测车辆形状，并使用[11]中描述的光流方法关联后续帧的提取对象形状。不失4S. 布林格角Bodensteiner、M.Arens和R.施蒂费尔哈根JKKJ分割和车辆跟踪每对象SFMSFM背景SfM结果背景SfM结果轨迹家庭计算比例估计运动和轨迹计算地面代表-怨恨地面计算一致车辆轨迹溶剂SfM结果圆盖巴克Ima帧输入地面分段飞行器轨迹族车辆图像图1：轨迹重建流水线的概述。分别地，具有角的框表示计算结果，并且具有圆角的框表示计算步骤一般性地，我们描述单个对象的运动轨迹重建。我们将SfM [16，23]应用于对象和背景图像，如图所示。1.一、对象图像表示仅包含单个对象实例的颜色信息的图像类似地，背景图像仅示出背景结构。我们结合对象和背景重建，以确定可能的，视觉上相同的，对象的运动轨迹。我们计算一个一致的物体运动轨迹利用来自重建的地形地面几何形状的约束。2.1目标轨迹表示为了估计一致的对象运动轨迹，我们将SfM同时应用于车辆/对象和背景图像，如图2所示1.一、 我们表示关于DigSfMresultsfm（o）和Dsfm（b）的C或R e s p。Letoo（o）∈P（o）且b（b）∈P（b），则三维点集不一定是定义在sfm（o）或sfm（b）中的。o（o）中的上标o和b和db（b）描述相应的坐标，nate框架。变量j和k分别是对象或背景点云中我们将每个注册的输入图像的重建的内在和外在参数表示为虚拟相机。视频图像fm（o）和f m（b）c或表示从哪些对象和背景图像被提取的图像中提取的目标。 我们确定了定义向量机的一对对应点，作为定义在fm（o）和fm（b）中的对应点。在下面的例子中，我们只考虑虚拟摄像机包含在sfm（o）中的摄像机对三维车辆轨迹重建5我我Jj，ij，i并且dsfm（b）。由于缺少图像记录，因此对于所有虚拟摄像机而言，可能并非如此。结合相应虚拟摄像机的信息，重构出目标的运动轨迹.我们的方法是能够使用一个单一的相机对确定的比例。对于具有索引i的图像的任何虚拟相机对，对象SfM结果sfm（o）包含对象点位置的信息（o）J相对于具有相机中心c（o）的虚拟相机和旋转R（o）。我们将摄像机i的摄像机坐标o（i）中的每个物点o（o）表示为：J Jo（i）=R（o）·（o（o）−c（o））。B块组SfMreultsfm（b）构成了该相机我的我的centerrc（b）和corrpon drotionR（b），其中在形式上提供了一种可能我我相对于重建的背景的相机注意凸轮-虚拟机的结构形式如fm（o）和fm（b）是相同的。我们使用c（b）和R（b）来转换将数据点连接到数据库组中的格式我我s y s teu s ingo（b）=c（b）+R（b）T·o（i）. 一般来说，对象的空间映射和j，i i i j由于SfM重新的尺度模糊，背景重建不匹配建筑[9]。我们解决这个问题，通过处理的参考比例尺的背景的规模，并通过引入一个比例因子r调整对象点坐标的规模。在物体坐标o（o）中给出的物点到背景坐标系中的物点的整体变换相机的系统（b）被设计为根据等式（1）进行计算。o（b）= c（b）+r· R（b）T·R（o）·（o（o）−c（o））：= c（b）+r· v（b）（一）与j，ii我我我j，iv（b）= R（b）T·R（o）·（o（o）−c（o））= o（b）− c（b）。（二）j，i ii jij，i i给定缩放比r，我们可以恢复完整的对象运动轨迹com。将等式（2）代入虚拟相机组。Weuseo（b）所有摄像机和对象点作为对象运动轨迹表示。在第1节中提到的模糊度由未知的标度比r表示。2.2地形地面近似需要进一步的相机或对象运动约束来确定等式（2）中引入的比例比率r。与以前的工作[18，31，19，14，26，3]相比，我们假设感兴趣的对象类别在地形顶部移动。我们利用语义分割技术来估计场景的地面表面的近似。我们应用[24]中提出的ConvNet来确定像素级别上所有输入图像的地面类别，如街道或草地我们只考虑稳定的背景点，即至少观察四次的三维点。我们通过累积对应的关键点测量像素位置的语义标签来为每个3D点确定地面或非地面标签。这允许我们确定背景点的子集，其表示场景的地面我们使用以下公式局部地近似地面O6S. 布林格角Bodensteiner、M.Arens和R.施蒂费尔哈根j，ij，i平面表示。对于每个帧i，我们使用对应的估计的相机参数和对象点观测来确定接近对象的地面点的集合P1。我们构建包含当前帧的所有地面测量位置的kd树。对于每个物点观测，我们确定最接近的背景测量的数量。在我们的实验中，我们将numb设置为50。设卡i为Pi的基数。当卡片i小于numb时，我们添加每个点测量的下一个背景观察。这导致车辆周围的局部接地点的均匀分布我们应用RANSAC[7]使用Pi计算地面的局部近似。每个平面由相应的法向矢量ni和位于该平面上的任意点pi2.3基于环境结构约束的在第2.3节中，我们利用对象运动的先验来提高重建对象轨迹的鲁棒性。我们假设感兴趣的对象在一个平面上移动。在这种情况下，对于所有摄像机i，摄像头到地面的距离是恒定的。重建的轨迹显示出这种属性，只有真正的比例和非退化的相机运动。例如，当相机精确地平行于平面对象运动移动时，发生退化情况。有关退化相机运动的更详细讨论，请参见[18]。使用单个视图对的比例估计我们使用术语视图以表示摄像机和相应的局部地平面。o（b）到平面的有符号距离可以计算为dj，i=ni·（o（b）− p），其中p是位于局部平面上的一个任意点，并且nij，ii对应的法向量。如果对象在近似的地形地面距离dj，i独立于特定的摄像机i。因此，对于特定点和不同相机，等式（3）中所示的关系成立。（b）（b）n i·（oj，i−p i）=n i′·（oj，i′−p i′）。（三）将等式（1）代入等式（3）得到（4）（b）第（1）款（b）第（1）款（b）第（1）款（b）第（1）款ni·（ci+r·vj，i−pi）=ni′·（ci′+r·vj，i′−pi′）（4）针对r求解方程（4）得到方程（5）（b）（b）r=n i′·（ci′−p i′）− n i·（ci −p i）。（五）（b）（b）（ni·vj，i−ni′·vj，i′）等式（5）允许我们使用两个相机的外部参数和相应的地面近似来确定对象和背景重建之间的比例比率r三维车辆轨迹重建7（b）（b）j，ij，i等式（5）中估计的比例比率r的准确性取决于特定视图对的参数的条件。例如，如果分子或分母接近于零，则相机姿态或地面近似中的小误差可能导致负缩放比。另外，错误估计的局部平面法向量可能干扰相机平面距离。我们解决这些问题，结合两个不同的视图对排名。第一个排名使用每个视图对（b）（b）相机平面距离的差，即 |n i′·（ci′ −pi′）−ni·（ci −pi）|. 这种转换会影响本地应用程序的质量。我是一个测试。我在西。R. t. 物体重建。 单个视图对允许确定。P（o）。不同比例尺对于具有稳定摄像机配准和良好重建的视图对结构化局部平面对应的尺度比的方差较小。这允许我们确定病态视图对。第二个排序使用比例差对视图对进行排序我们通过对两个等级进行相等的加权来对视图对进行排序这种排名是至关重要的，以处理接近退化的情况下的运动轨迹。与其他方法相比，这种排名允许估计一致的车辆运动轨迹，即使大多数局部地平面重建得具体地，该方法允许使用单个合适的视图对来确定一致的令vp表示具有最低总体排名的视图对。通过使用最小二乘法w.r.t.根据等式（6）的Vp的所有等式。令i和i’表示对应于vp的图像索引。......n i·v− n i′·vn′（c（b）−p′）−n·（c（b）−p）j，ij，i′ii′iii ii...·r=...中文 （简体）（b）（b）（b）（b）n i·v j +1，i − n i ′·v j +1，i ′...ni′（ci′−pi′）−ni·（ci−pi）...2.4使用相交约束的尺度估计基线基线的动机是这样一个事实，即在车辆底部的一些重建点应该位于环境的地面表面附近。考虑例如在车辆的车轮处三角测量的3D点这种方法仅在至少一个相机对象点射线与局部地表面近似相交时才起作用对于每个相机，我们使用等式（2）存储方向向量或sv（b）。对于非正交方向矢量v（b）和正态矢量根据等式（7）计算部分r=（p-c（b））·n·（v（b）·n）−1。（七）j，iiiij，ii令ri表示图像i的最小射线平面相交参数。该参数对应于位于平面上的车辆底部的点8S. 布林格角Bodensteiner、M.Arens和R.施蒂费尔哈根地面的近似。用ri代替等式（1）中的r，结果是车辆点云在对应于图像i的局部地形近似的顶部。因此，ri表示接近于对象和背景重构的比例比的值。为了增加所计算的比例比率的鲁棒性，我们使用所有图像特定比例比率ri的中值r来确定最终比例比率。r= median（{min（{rj，i|j∈{1，. . . 、|P（o）|}）的情况|i∈I}），（8）这里，I表示图像索引的集合对于r的计算，不考虑不具有有效相交参数ri的相机。3虚拟物体运动轨迹数据集为了定量地评估重建的对象运动轨迹的质量，我们需要准确的对象和环境模型，以及在每个时间步长的对象和相机构成。难以实现以足够的质量同时捕获对应的地面实况数据例如，可以利用LIDAR传感器捕获环境几何形状，并且利用附加系统捕获相机/然而，所有这些不同模态的配准和同步是复杂且麻烦的过程。结果将包含噪声和其他伪影，如漂移。为了解决这些问题，我们利用虚拟模型。先前公开的虚拟生成和虚拟增强的数据集，如[20，21，8，28]，为不同的应用领域提供数据我们建立了一个虚拟世界，包括城市环境，动画车辆以及预定义的车辆和摄像机的运动轨迹。这使我们能够计算空间和时间误差自由地面实况数据。我们利用程序生成的纹理，以避免人为的重复。因此，我们的数据集适合于评估SfM算法。3.1轨迹数据集我们使用先前创建的虚拟世界来构建新的车辆轨迹数据集。该数据集由35个序列组成，在不同的城市场景中捕获五辆车图2示出了一些示例图像。虚拟视频序列覆盖多种多样的车辆和相机姿态。车辆轨迹反映了常见的车辆运动，包括车辆加速度，不同的曲线类型和变化的斜坡上的我们使用路径跟踪渲染引擎Cycles [1]来实现照片级真实感渲染结果。我们观察到，使用去噪去除人工路径跟踪伪影对于避免退化的SfM重建是至关重要的。该数据集包括每帧的6D车辆和相机姿态以及相应车辆模型的地面真实网格。与测量的地面实况数据相比，虚拟地面实况数据没有噪声，并且不显示空间配准或时间同步不准确性。数据集包含三维车辆轨迹重建9图2：来自包含在所呈现的虚拟车辆轨迹数据集中的序列的帧。车辆、地面和背景的语义分割，以将重建任务与特定的语义分割和跟踪方法分开。除了虚拟数据之外，数据集还包括计算的重构结果。我们将公开我们的评估脚本，以促进未来对车辆轨迹估计的分析。3.2虚拟世界我们使用Blender [1]创建了一个由农村包围的城市组成的虚拟世界。我们利用程序生成来计算大型表面的纹理，如街道和人行道，以避免退化的结构从运动的结果所造成的人工纹理重复。虚拟世界包括不同的资产，如树木，交通灯，路灯，电话亭，公共汽车站和长椅。我们收集了一组公开可用的车辆资产来填充场景。我们使用骨骼动画，也称为索具，用于车辆动画。这包括车轮旋转和w.r.t.转向。运动轨迹以及在不平坦的地面上一致的车辆放置。车轮的动画对于避免不切实际的车轮点三角剖分非常重要。我们调整了车辆的规模，并将虚拟环境用于Blind的单元系统。这使我们能够设置虚拟空间与现实世界的关系。所生成的虚拟世界的范围对应于一平方公里。我们利用一个新的虚拟机映射来实现虚拟现实。利用Blender的构建工具，我们定义了这使我们能够在每个时间步长确定摄像机和车辆的确切3D姿态。4实验与评价图3显示了使用来自Cityscapes数据集[4]的驾驶序列以及真实和虚拟无人机镜头的定性结果。对于具有多个10S. 布林格角Bodensteiner、M.Arens和R.施蒂费尔哈根(a) 输入帧。(b) 对象分割。(c) 背景分割。(d) 对象重建。(e) 背景重建。(f)轨迹重建（俯视图）。(g) 轨迹重建（侧视图）。图3：使用来自Cityscape数据集[4]的两个序列（前两列）、由无人机捕获的一个序列（第三列）以及我们的数据集的一个虚拟生成的序列（最后一列）的车辆轨迹重建针对场景中可见的车辆之一示出对象分割和对象重建。重建的相机以红色显示。飞行器轨迹用绿色、蓝色和粉红色表示。三维车辆轨迹重建11(a) 地面真实坐标系中的注册车辆轨迹示例(b) 在选定帧处具有相应地面真实车辆模型的车辆轨迹示例。图4：用于定量评估的车辆轨迹配准。在多个车辆实例中，仅示出了一个车辆分割和重建然而，轨迹重建结果包含多个重建的车辆轨迹。图4描绘了使用我们的数据集的定量评估。图4a示出了被变换到虚拟世界坐标系系统中的对象点云。车辆运动轨迹已经使用第4.2节中描述的方法与虚拟环境配准。图4b示出了变换点和对应的虚拟地面实况车辆模型的叠加。为了分割二维车辆形状，我们遵循[2]中提出的方法。与[2]相比，我们分别使用[15]和[11]来分割和跟踪可见对象。我们考虑了以下用于车辆和背景重建的SfM管线：Colmap [23]、OpenMVG [16]、Theia [27]和VisualSfM [30]。我们的车辆轨迹重建管道使用Colmap进行车辆重建，使用OpenMVG进行背景重建，因为Colmap和OpenMVG在我们的实验中创建了最可靠的车辆和背景重建。我们使用[22]增强了背景点云。4.1车辆轨迹的定量评估我们使用第3节中提出的数据集来定量评估所提出的车辆运动轨迹重建方法。 评估基于数据集中包括的车辆、背景和地面分割。这使我们能够显示独立于特定实例分割和跟踪方法的性能的结果我们使用数据集中包含的35个序列将所提出的方法与第2.4节中提出的基线进行比较我们使用第4.2节中描述的方法将重建的车辆轨迹自动配准到地面实况。 我们计算每个车辆轨迹点到地面真实坐标中的车辆网格的最短距离。对于每个序列，我们将轨迹误差定义为平均轨迹点网格距离。图5示出了每个序列的以米为单位的轨迹误差。使用完整数据集的每辆车的平均轨迹误差见表1. 总体而言，我们实现了0.31米的轨迹误差。车辆轨迹重建的误差反映了四种类型的计算不准确性：相机位姿相对于车辆和背景点云、错误的三角测量车辆点以及比例差异。图5比较12S. 布林格角Bodensteiner、M.Arens和R.施蒂费尔哈根21 .一、510的情况。50右曲线左曲线交叉接管桥陡街颠簸路面0的情况。40的情况。30的情况。20的情况。10右曲线左曲线跨越-以桥陡街颠簸路面图5：通过我们提出的方法计算的轨迹重建的定量评估（普通彩色条）和基线 （虚线 条）。我 们评估七种 不同的车辆轨 迹（右曲线，。. . ）和五种不同的车辆型号（Lancer、.. . ）的情况。上图显示了以米为单位的轨迹误差车辆和背景点云、错误的三角测量车辆点以及比例差异。圆圈表示最远点的轨迹误差。区间表示轨迹误差的标准偏差。在底部图中使用的参考比例尺比率仅经受背景重建和虚拟环境的配准。该图以彩色显示效果最佳。拟议方法和基线方法的估计比例尺w.r.t.参考比例。参考标度比计算在第4.3节中描述。总体估计的比例偏差w.r.t.每辆车的参考比例如表1所示。所提供的参考比例尺比率应符合第4.2节所述的配准要求。错误重建的背景相机姿态可能影响参考比例比率。厢式货车在过街、超车和陡峭街道上的重构仅部分成功。SfM算法分别配准了19%、60%和98%的图像智能模型的车辆重建包含74%的交叉输入车辆图像。在这里，我们使用的注册图像的子集进行评估。摄像机和车辆运动在颠簸的道路模拟-兰瑟林肯智能高尔夫球车兰瑟林肯智能高尔夫球车偏离w.r. t参考轨迹误差（单位：米）三维车辆轨迹重建13不缩放比率Est. 类型平均比例偏差Lancer Lincoln Smart Golf Van平均轨迹误差[m]Lancer Lincoln Smart Golf Van基线0.050.070.01 0.08 0.130.420.530.25 0.95 1.68我们0.040.040.04 0.06 0.08 0.200.230.33 0.33 0.47表1：所进行评价的总结。第二列示出了估计的标度比w.r.t与参考标度比的偏差。第三列包含完整数据集的平均距离（以米为单位）。总体而言，基线和我们的方法的轨迹误差为0.77m和0.31m。生成接近退化情况的序列，即等式（5）对于所有视图对都是病态的。4.2背景重建与虚拟环境的配准配准不同坐标系的常见方法是利用3D-3D对应关系。为了确定虚拟环境中对应于背景重建点的点，可以创建从每个相机中心到所有可见的重建背景点的一组射线。对应的环境点由这些光线与虚拟环境的网格的交点来定义由于我们的环境模型的复杂性，这种计算在内存和计算工作量方面非常昂贵。相反，我们使用[29]中提出的算法来估计背景重建中包含的相机与用于渲染对应视频序列的虚拟相机之间的相似性变换Ts。这允许我们执行背景重建和虚拟环境的3D-3D配准，以及定量地评估重建的对象运动轨迹的质量。我们使用摄像机中心作为[29]以计算初始重建到虚拟环境变换。取决于相机轨迹的形状，可以存在使用相机中心位置的多个有效相似性变换。为了找到语义上正确的解，我们用摄像机姿态增强了原始点集在Ion，I. e. 我们添加了p〇itsreflectigupvect或su（b）=R（b）·（0，1，0）T并且我我f（b）=R（b）T·（0，0，1）T. 对于要求取消的摄像头，我们将调整我我使用在初始SIMI期间计算的尺度来确定这些矢量的幅度。L ari tytransformat i on. 我们在上c（b）+m·u（b）的第二个点上加了一个cor我我以及将Vect或sc（b）+m·f （b）显示到相机位置。Here，m我我表示相应的幅度。4.3参考比例计算如第4.1节所解释的，图1中给出的平均轨迹误差。5受到四种不同误差源的影响。评价量表的质量14S. 布林格角Bodensteiner、M.Arens和R.施蒂费尔哈根JJ（ov）（ob）（ob）（ob）j jJI目标和背景重建之间的比率估计我们提供相应的参考比例比率。 通过关系r（ov）=r（ob）·r（bv）将物体重建、背景重建和虚拟环境之间的比例比率联系起来，其中r（ov）和r（bv）分别是物体重建、背景重建和虚拟环境之间的比例比率。在F i g中，尺度r为iosr（ob）。 5xprespalelatineveclee e和ba ckgre结构。在第4.2节中定义的相似性变换T隐含地基于backgroundreconstrucion和dvirualenvirnmt的相似性变换（bv）进行计算。 计算机（OV）使用对象重建和虚拟相机的确定对。我们使用物体重建相机的外部参数将物体重建中的所有3D点转换为相机坐标。类似地，具有对应帧的姿态的对象网格被变换成包含对应虚拟相机的外部相机参数的相机坐标对象网格的地面实况姿势和形状是数据集的一部分在相机坐标中，我们从相机中心（即，原点）到每个对象重建中的3D点o（i）。 我们确定每条射线与相机坐标中的对象网格的最短相交m（i）。这允许us来计算参考比例比率r_ref根据等式（9），参考比例尺比率rref根据rrefref（ov）·r（bv）-1。ref（ov） =med（{med（{m（i）·o（i）−1|j∈{1，. . . ，n}}|i∈{1，. . . ，n}}）。（九）参考比例rref取决于估计的相机的质量假设在备份组中重新执行，即：e. r（bv），并且可以从真实比例比率线性地偏离。5结论本文提出了一种流水线重建的三维轨迹的车辆使用单目视频数据。我们提出了一种新的约束来估计一致的对象运动轨迹，并证明了我们的方法的有效性，显示车辆轨迹重建使用无人机镜头和驾驶序列的城市景观数据集。由于缺乏具有合适的地面真实数据的3D对象运动轨迹基准数据集，我们提出了一种新的虚拟数据集来定量评估对象运动轨迹。该数据集包含城市环境的渲染视频和准确的地面实况数据，包括语义分割，对象网格以及每个帧的对象和相机姿势。该算法实现了平均重建地面实况距离为0.31米评估35 trajec-tory。在未来的工作中，我们将更详细地分析所提出的管道的性能此外，我们打算整合以前发表的规模估计方法。这些将与我们的数据集一起作为未来车辆/物体运动轨迹重建算法的基准参考。=rR三维车辆轨迹重建15引用1. Blender 在 线 社 区 ： Blender - a 3d modeling and rendering package（2016），http://www.blender.org8，92. Bullinger，S.，Bodensteiner，C. Arens，M.：基于实例流的在线多目标跟 踪 。 IEEE International Conference on Image Processing （ ICIP ） IEEE（2017）3，113. Chhaya，F.，Reddy，N.D. Upadhyay，S.，查里Zia，M.Z.，克里希纳，K.M.：车辆的单眼重建：将SLAM与形状先验组合。IEEE InternationalConference on Robotics and Automation（ICRA）IEEE（2016）2，54. Cordts，M.，Omran，M.，Ramos，S.，Rehfeld，T.，Enzweiler，M.，Benenson河弗兰克，美国，Roth，S.，Schiele，B.：用于语义城市场景理解的cityscapes数据集IEEE计算机视觉与模式识别会议IEEE（2016）9，105. Dai，J.，他，K.，孙杰：通过多任务网络级联的实例感知语义分割IEEE计算机视觉与模式识别会议IEEE（2016）26. 法拉贝特角库普利角Najman湖LeCun，Y.：学习用于场景标注的分层特征IEEE Transactions on Pattern Analysis and Machine Intelligence（PAMI）（2013）27. Fischler，文学硕士，Bolles，R.C.：随机样本一致性：图像分析和自动制图应用的模型ACM通信24（6）（1981）68. Gaidon，A.王建奎，Cabon，Y. Vig，E.：虚拟世界作为多目标跟踪分析的代理。IEEE计算机视觉与模式识别会议（CVPR）IEEE（2016）89. 哈特利，RI，齐瑟曼，A.：计算机视觉中的多视图几何。剑桥大学出版社，ISBN：0521540518，第二版。（2004年）510. 他，K.，Gkioxari，G.，Dollar，P.，Girshick，R.：面具R-CNN。IEEEInternational Conference on Computer Vision（ICCV）IEEE（2017）211. Ilg，E.，Mayer，N. Saikia，T.，Keuper，M.，Dosovitskiy，A.，Brox，T.：流动网络2.0：利用深度网络的光流估计的演进。IEEE计算机视觉与模式识别会议（CVPR）IEEE（2017）3，1112. Kundu，A.Krishna，K.M.，Jawahar，C.V.：用平滑移动的单目摄像机进行实时多体视觉猛击IEEE International Conference on Computer Vision（ICCV）.IEEE（2011）2、313. Lebeda，K.，Hadfield，S.，鲍登，R.：2D或非2D：弥合跟踪和运动结构之间的差距。在：Cremers，D.，里德岛Saito，H.，小杨，M.H. （ 编 辑 ） 亚 洲 计 算 机 视 觉 会 议 （ ACCV ） Springer InternationalPublishing（2015）214. Lee，B.Daniilidis，K.，Lee，D. D.：地面车辆在线自监督单目视觉IEEEInternational Conference on Robotics and Automa-tion（ICRA）IEEE（2015）2，515. 李，Y.，Qi，H.，Dai，J.，吉，X.，魏云：完全卷积的实例感知语义分割。IEEE计算机视觉与模式识别会议（CVPR）IEEE（2017）2，3，1116. Moulon，P. Monasse，P.马莱河其他：Openmvg。一个开放的多视图几何图形库。（2013）2、4、1116S. 布林格角Bodensteiner、M.Arens和R.施蒂费尔哈根17. Namdev，R.K.，Krishna，K.M.，Jawahar，C.V.：曲线运动重建之具相对 比 例 解 之 多 体 vslamIEEE International Conference on Robotics andAutomation（ICRA）IEEE（2013）218. Ozden，K.E.，Cornelis，K.，Eycken，L.V.，古尔，L.J.V.：使用通用约束重建独立移动对象的3d轨迹计算机视觉与图像理解96（3）（2004）2，3，5，619. Park，H.S.，Shiratori，T.，马修斯岛Sheikh，Y.：透视投影下的三维轨迹重建。International Journal of Computer Vision 115（2）（2015）2，3，520. Richter，S.R.，Vineet，V.，Roth，S.，Koltun，V.：玩数据：来自电脑游戏的地面真相在：Leibe，B.，Matas，J.，塞贝，N.，Welling，M.（编辑）欧洲计算机视觉会议（ECCV）LNCS，Springer InternationalPublishing（2016）821. Ros，G.，塞拉特湖Materzynska，J.，Vazquez，D.，洛佩兹：synthia数据集：大量合成图像用于城市场景的语义分割。IEEE计算机视觉与模式识别会议（CVPR）IEEE（2016）822. S cho¨nberger，J. L.， Z en g，E.， Frahm，J. M.， Polleefeys，M. Pixelw是用于非结构化多视图立体的视图选择。在：Leibe，B.，Matas，J.，塞贝，N.，Welling，M.（编辑）欧洲计算机视觉会议（ECCV）施普林格国际出版社（2016）1123. S cho¨nberger，J. L.， Frahm，J. M. ：从m-mot ionrevited开始执行。 在：IEEE计算机视觉与模式识别（CVPR）会议上。IEEE（2016）2，4，1124. Shelhamer，E.，朗J达雷尔，T.：用于语义分段的全卷积网络。IEEETransactions on Pattern Analysis and Machine Intelligence（PAMI）39（4）（2017）2，525. Snavely，N.Seitz，S.M.，Szeliski，R.：摄影旅游：探索3D照片收藏ACM Transactions on Graphics 25（3）（2006）226. Song，S.，Chandraker，M.，客人，抄送：用于自动驾驶的高精度单目SFM 和 IEEE Transactions on Pattern Analysis and Machine Intelligence（PAMI）38（4）（2016）2，527. Sweeney，C.：Theia多视图几何库：教程&参考。加州大学圣巴巴拉分校。（2014）2、1128. Tsirikoglou，A.，Kronander，J.，Wrenninge，M.，Unger，J.：汽车应用中合成数据生成的过程建模和基于物理的渲染。CoRR（2017）829. Umeyama，S.：两点模式间变换参数的最小二乘估计IEEE Transactionson Pattern Analysis and Machine Intelligence（PAMI）13（4）（1991）1330. Wu，C.：Visualsfm：A visual structure from motion system（2011）2，1131. Yuan，C.，Medioni，G.G.：从移动摄像机观察的背景和在地平面上移动的物体的3D重建IEEE Computer Society Conference on Computer Visionand Pattern Recognition（CVPR）.IEEE（2006）2、3、5