基于飞行动力学的地面摄像机无人机轨迹恢复

1基于飞行动力学的地面摄像机无人机轨迹恢复Artem Rozantseva Sudipta N.Sinhab Debadeepta Deyb Pascal Fua aaa计算机视觉实验室，EPFLb微软研究院{artem.rozantsev，pascal.fua}@ epfl.ch{sudipta.sinha，dedey}@ microsoft.com摘要本文提出了一种新的方法来估计飞行物体如四旋翼无人机在使用多个固定地面摄像机监视的三维空域它是基于一个新的结构，从运动制定的一个已知的运动动力学的单个移动点的三维重建。我们的主要贡献是一个新的光束法平差程序，除了优化相机的姿势，正则化的点轨迹使用之前的运动动力学（或特别是飞行动力学）的基础上。此外，我们可以推断出发送到无人机自动驾驶仪的基本控制输入我们的方法既不需要完美的单视图跟踪，也不需要跨视图的外观匹配为了鲁棒性，我们允许跟踪器在每个视频中每帧生成多个检测。真实的检测和跨视频的数据关联使用鲁棒的多视图三角测量进行估计，随后在我们的束调整过程中进行细化。仿真数据的定量评价和室内、室外场景的真实视频实验表明了该方法的有效性。1. 介绍无人驾驶飞行器（UAV）和民用无人机的快速采用将在不久的将来创造对低成本空中无人机监视技术的需求虽然声学[1]，雷达[2]和射频（RF）检测[3]已经显示出前景，但它们昂贵并且在检测小型自主无人机时通常无效[4]。动作捕捉系统如Vicon [5]和OptiTrack[6]适用于中等大小的场景。然而，主动传感和目标上的特殊标记的使用除了最近的一些作品[7，8]，使用无源摄像机的无人机的视觉检测和跟踪仍然是一个基本上未探索的主题。现有的单摄像机检测和跟踪方法大多不适合无人机监视，因为它们图1：一架四旋翼无人机在100×50m2的区域内手动飞行到农场上方45米的高度，地面上有[TOP]显示了两个输入帧以及无人机的检测和放大视图。[MIDDLE] 4分钟飞行的3D轨迹和摄像头-用我们的方法估计插图显示了自顶向下的视图。[BOTTOM]估计油门信号（发送到自动驾驶仪的控制输入之一）。有限的视场以及难以准确地估计在视频帧中占据非常少的像素的远离摄像机的物体的距离的事实。使用多个重叠的相机可以解决这些限制。然而，现有的多摄像机跟踪方法被设计为跟踪人、车辆以解决室内和室外监视任务，其中目标通常在地面上。相比之下，小型无人机必须在更大数量级的3D体积因此60306031其图像可以占用小于20平方。4K UHD分辨率视频流中的像素。大多数现有的多相机系统还依赖于精确的相机校准，这需要有人通过在场景中走动来收集校准数据无人机检测系统难以以这种方式校准，因为有效的3D工作体积很大并且在地面上方延伸很高。在 本 文 中 ， 我 们 提 出 了 一 种 新 的 结 构 从 运 动（SfM）制定恢复6自由度的运动轨迹的四旋翼机观察到的多个固定的相机如图1所示。我们将无人机建模为单个移动点，并假设其底层飞行动力学模型是已知的。我们的贡献有三个方面：• 我们提出了一种新的光束法平差（BA）过程，不仅优化了相机姿态和3D轨迹，而且还使用先验基于已知的飞行动力学模型。• 这种方法使我们能够明确地推断出发送给无人机自动驾驶仪的、决定其轨迹的基本控制输入这可以为无人机飞行员提供分析，从演示中学习控制器[9]。• 最后，我们的BA过程使用了一个新的成本函数。它是基于传统的图像重投影误差，但不依赖于显式的数据关联来自IM，年龄对应，这通常被认为是经典的基于点的SfM中的先决条件。简而言之，后者让我们保持每帧多个2D检测，而不是单个检测。使用每帧分配变量对真实检测进行这些变量使用基于RANSAC的多视图三角测量步骤进行初始化，并在我们的光束法平差过程中进一步优化。这使得估计不太依赖于完美的单视图跟踪或交叉视图外观匹配，这两者通常都是不准确的。我们的方法对所有视频进行批量优化，这可以被视为一种使用无人机作为校准对象的相机校准技术在这项工作中，我们假设视频是同步的，具有已知的帧速率，并且摄像机的固有参数和镜头参数也是最后，我们假设场景中只有一架无人机。我们评估我们的方法广泛的数据从一个现实的四旋翼飞行模拟器和真实的视频捕捉在室内和室外场景。我们证明，该方法是强大的噪声和不良的初始化和consistently优于基线方法的精度。2. 相关工作我们不知道任何现有的方法，可以准确地恢复无人机然而，我们回顾密切相关的工作，解决单相机和多相机跟踪、动态场景重建和约束光束法平差问题。单视图跟踪。这个问题在计算机视觉中已经得到了很好的研究[10]。然而，大多数跟踪器与微小物体（如飞鸟）斗争[11]，即使使用红外摄像机[12]，跟踪最近的一些作品[7，13]提出了使用无源摄像机的远程飞行物体的实用感测和避免系统，该无源摄像机可以处理低分辨率图像和移动摄像机。然而，这些方法不能恢复精确的3D UAV轨迹。多视图跟踪。同步的被动多相机系统在跟踪内部的对象时更加鲁棒。 3D场景[14，15]。传统上，它们被提议用于理解人类活动，分析体育场景以及室内，室外和交通监控[16，17，18，19，20，21]。这些方法需要校准的摄像机，通常假设目标在地面上，并通过提出有效的优化技术（如二分图匹配[20，16，19]，动态编程[17，18]和最小成本网络流[21]）来利用这一事实这些方法很少用于跟踪大3D体积中的微小物体此外，传统的校准方法不适合大场景，特别是当大部分场景高出地面时。多视图三维重建。 同步多相机系统也已流行用于动态场景重建。虽然大多数现有技术需要仔细的预校准，但一些技术使得可以在运行中校准相机[22，23，24，25，26，27，28，29，29]。30、31、32]。Avidan等人[22]提出了一种简单的线性或圆锥形物体运动的方法，后来扩展到弯曲和一般的平面轨迹[23，25]。最近的方法已经利用了其他几何约束用于联合跟踪和相机校准[24，26，27，28]。然而，这些方法需要跨视图的精确特征跟踪和匹配，并且不适合于微小物体。Sinha等人[29]使用轮廓对应和Puwein等人。[31]使用人类姿势估计来校准相机。它们不需要交叉视图特征匹配，只适用于有人类演员的小场景。Vo等人[32]需要精确的特征跟踪和匹配，但可以处理不同步和移动的摄像机。他们重建的运动目标上的三维轨迹使用的运动先验，有利于运动与恒定速度或恒定加速度。虽然我们的动机是相似的，但我们基于物理的运动动力学先验对于无人机来说更现实，并且能够显式恢复底层参数，例如飞行员给出的控制输入。约束束平差。 在传统的束调整[33]中，摄像机参数沿着6032通常表示为3D点云的3D结构。有时，正则化通过3D结构上的软几何约束（包括平面性[34]、3D对称性[35]、边界约束[36]和3D形状的先验知识[37]）并入光束法平差。这些先验可能会给Levenberg-Marquardt非线性最小二乘优化增加显著的开销[38]。在我们的问题设置中，基于动力学的先验的顺序性质在所有结构变量之间引入了依赖性，即，那些表示轨迹上的采样3D点。这导致了密集的雅可比矩阵，使得非线性最小二乘问题对于长轨迹是不可行的在本文中，我们提出了一种替代的方法，保留了稀疏结构的定期BA。我们的想法是基于生成一个中间轨迹，然后在优化过程中向与3D点相关的变量添加软约束我们将在第4节讨论它。3. 问题公式化考虑基于点的SfM的光束法平差（BA）问题[39]。给定 M 个静 态相机 中的T 个3D 点的 图像观 测值O={ojt}：ojt∈ N2，寻求估计3D点X={xt}：xt∈ N 2的坐标。n =3，t ∈ [1.. T]和相机姿态C ={cj}，j ∈ [1.. M]，其中每个cj=[Rj|tj]∈φ3×4。 对于我们的轨迹，让xt表示在时间t时轨迹上的每个3D点。 当我们在所有摄像机中具有xt的唯一观测值，其中x t是可见的（对于时间t的第j个摄像机，由ojt表示），可以通过基于2D图像重投影误差最小化目标来解决该问题到目前为止，我们将X视为独立的3D点云，忽略了这些点位于无人机飞行轨迹上的事实。由于轨迹上的连续点可以从合适的运动动力学模型（给定关于用户输入的附加信息）预测，因此我们建议在我们的BA公式中使用这样的正则化器，以提高对错误或噪声观测的鲁棒性。因此，我们的目标函数采用以下形式：argmin（E（C，X，O）+ λR（X，Γ））。（三）C、 X、 Γ这里，正则化器R（X，r）偏好可以由良好的运动模型解释的轨迹r：{γt}表示在时间t处的运动模型的潜在变量γt的集合，并且λ是标量权重。通常，结构变量{xt}相互依赖的这种正则化破坏了问题中的稀疏性，这是有效解决大型BA实例的关键。然而，在我们的工作中，我们通过使用以下类型的正则化器来避免这个问题。ΣTR（X，Γ）=（xt−x<$t（γt））2， （4）t=1其中{x∈t}是由运动模型预测的3D点。作为一个简单的示例，可以通过设置具有高斯核g和（·k·）卷积运算符的x=（g·x）来平滑来自BA的先前迭代的轨迹估计，以有利于当前迭代中的平滑轨迹。对于这个简单的情况，没有潜在变量，因此Γ=π。接下来，我们讨论一个更现实的案例，涉及一次飞行建立了某四旋翼无人机的动力学模型，ΣTEBA（C，X，O）=Σρ（π（cj，xt）−ojt），（1）一个适当的正则化子R（X，Γ）。t=1j∈t3.1. 飞行动力学模型其中，Xt是3D点xt是在时间t可见的，π（cj，xt）：π3 → π2是将xt投影到相机cj中的函数，并且函数ρ（·）：π2→ π2鲁棒地惩罚偏离oj t的x t的重新投影。现在，让我们放松假设，即xt的唯一观测在相机视图中可用，V：{vt}：速度m：质量U：{ut}：节流阀B：{bt}：角速度Ix，Iy，Iz ：转动惯量Φ：{φt}：滚动Θ：{θt}：间距：{Uφ：{uφ（t）} ：控制Uθ：{uθ（t）}可能。相反，我们将假设在时间t在每个相机中给出多个候选观测，其中JTP：螺旋桨惯性U：{u（t）}输入最多一个是真实的观察。为了处理这种情况，我们建议使用以下形式的新目标：表1：基于物理模型的符号[40]。虽然四旋翼的几个飞行动力学模型，ΣTE（C，X，O）=Σminρ（π（cj，xt）−ojtk），（2）K已知，我们使用Webb等人提出的一个。[40、41]。表1列出了相关的符号。在这里，我们只在-t=1j∈t其中，ojtk是在相机j中在时间t的K个tj候选2D观测中的6033第k个。这一目标的动机是，许多对象检测器自然产生多个假设，但准确地抑制在一个单一的视图中的所有错误的检测可能是相当困难的。包括推导先验或计算控制输入所需的方程的子集。（U，Φ，Θ）表示完整轨迹的推力和角度表1中的控制输入[U，Uφ，Uθ，U]表示RC控制器中的操纵杆位置在我们的例子中，我们需要假设偏航角为0，U=0。这6034p这意味着四旋翼总是在某个方向上 由于螺旋桨惯性Jtp通常很小（10−4），我们将其设置为零，以降低模型的复杂性，而不会损失太多的精度。从基本的运动方程，我们有xt+1=xt+vtdt，vt+1=vt+atdt，（5）其中at=（ax（t），ay（t），az（t））是四旋翼在时间t处的加速度。根据刚体动力学原理，我们得到以下方程。算法1具有运动动力学的光束平差1：输入：• 初始轨迹X0和摄像机参数C0• 相机视图中的观察O2：输出：最终估计值（Xθ，Cθ，Γθ）和（Uθ，Uφ）3：对于迭代s∈[1.. S] do4：Γs−1← G（Xs−1）5： Γs−1←H（Γs−1），h（·）定义在等式中。116：（Xs，Cs，Γs）←运行LM的一个步骤以求解等式3第七章： 端ax（t）0sinθt cosφtut8：（X，C，Γ）←（Xs，Cs，Γs）第九章： （Uθ，Uφ）←（Θ，Φ）8和9ay（t）-sinφt、（6）az（t）−gcosθtcosφtm其中g是标准重力加速度。从等式6我们得到（φt，θt，ut）的以下表达式：√ut=max（t）2+ay（t）2+（az（t）+g）2，正则化器的一般思想将是在光束法平差过程的中间步骤期间向潜变量（U，Φ，Θ）添加适当的约束。下面，我们用H来表示这样的函数。φt= arcsin（−ay（t）m/ut），θt=arcsin（（ax（t）m/ut）cosφt），（七）r=[Φ，θ，U]=H（[Φ，Θ，U]）=H（r），（11）φt∈ −π，π2 2，θt∈−π，π2 2换句话说，我们首先使用F恢复潜变量这里，ut必须大于零，这总是由飞行中的四旋翼最后，我们可以如下估计UAV然后对它们进行适当的平滑处理，求出Γπ。最后，我们将G应用于Γπ，以获得一个新的轨迹，然后在下一个过程中作为软约束。光束法平差迭代b（t）（φt-φt−1 ）/dt在我们的实验中，我们期望无人机缓慢<$bq（t）<$=<$（（θt−θt−1）/dt）（cosφt/sin2φt）<$，（8）而且很顺利因此，在我们当前的实现中，我们br（t）−θt/sinφt使用H（r）=（g<$r），其中g表示高斯核。H（·）的其他更复杂的形式值得探索其可用于如下计算控制输入：在未来我们现在可以写下基于动力学的先验或正则化器。u（t）=Ibp（t）−bp（t−1）−（I）-I）b（t）b（t）φ xdtyzqR.（九）⊺2u（t）=Ibq（t）−bq（t−1）−（I-I）b（t）b（t）1（X−F（Γ））θ ydtzx p rλR（X，Γ）=（12）接下来，我们描述基于飞行动力学的正则化器。3.2. 飞行动力学先验在本文的其余部分中，我们表示Γ=[Φ，Θ，U]τ。这些变量将作为飞行中的潜在变量4. 优化λ2λ3ρ2（Θ− θθθ）ρ3（U−U）6035基于动态的先验（我们互换使用术语正则化器和先验）。动力学模型为我们提供了两个变换，下面用F和G表示。G：X → Γ，F：Γ → X。（十）等式5和7用于从轨迹估计获得r。类似地，X的值可以通过递归地使用等式（1）从r=（U，Φ，Θ）导出。5和6. 这相当于相对于时间执行积分，其唯一地确定四旋翼的内部状态变量（位置、速度、加速度等）。直到常数未知，即四旋翼我们现在描述解决常规问题所需的步骤方程中所述的光束法平差问题。3和12。这是使用有效的非线性最小二乘求解器[42]和适当的初始化来完成的。在传统的SfM中，3D点被独立地处理，导致可以使用稀疏Levenberg- Marquardt（LM）方法解决的稀疏问题[38]。正如我们所讨论的，直接引入我们的基于动力学的正则化子将导致LM的每次迭代中的稠密线性系统[39]。在这里，我们描述了我们提出的间接施加正则化的技术。我们将使用来自先前BA迭代的轨迹估计来生成基于动力学的先验的软约束。正式这些6036不不01-02 -0算法2基于RANSAC的多视点三角剖分一曰： 输入：• 相机C：{cj}，j ∈ [1.. M]• 观测集合ojt：{ojtk}，k ∈ [1..在时间t，对于摄像机j，2：输出：3D点xt3：对于i ∈ [1.. N] do4：随机选取2个摄像机：cm，cn5：从omt中随机选取观测omtk6：从ont中随机选取ontl观测值7 ： xi←triangulate-2view （ omtk ， cm ，ontl，cn）8：e（xi）←使用等式（1）评估假设xi的分数29：结束10：xt= arg min（e（xi））Xi约束表示为Γs−1=H（Γs−1），因此我们重写Eq。12如：1图2：[对合成数据的评价]关于添加到初始点位置、摄像机参数和摄像机视图中的点观测的对于每种方法，上面的图显示了在我们算法的10次不同运行中所得到的轨迹与地面实况的平均值和标准偏差(best（见颜色）公司简介R（Xs，Γs）=-Φs−1）（十三）时间步长来计算初始轨迹X0。λ2λ3ρ2（Θs−θs−1）ρ3（Us−Us−1）实作详细数据。我们的方法实现了在C++中，使用Ceres非线性最小二乘极小化器[42]。为了探测无人机，我们使用了其中s是用于求解方程的LM技术中的迭代索引3，λi∈λ，i∈ {1，2，3}是标量权，ρi（·）：λ2→λ，i∈{1，2，3}是鲁棒代价函数。这使我们能够使点xs独立于每个在当前的迭代中。然而，对于前一次迭代x s −1的关联点存在间接依赖性。算法1描述了我们方法的确切步骤。到目前为止，我们还没有讨论相机姿态和参数的初始化。这将在下面描述。轨迹和摄像机姿势首先，我们使用传统的基于点的SfM流水线[43]来估计相机姿势C 0。由于相机通常相距很远，可见背景基本上不重叠，因此我们使用了额外的相机来恢复初始校准。 我们用一个额外的手持摄像机拍摄了一段在场景中行走的视频。从该视频中提取关键帧，并添加到从固定地面摄像机选择的帧中。在这些帧上运行SfM之后，我们提取固定相机的姿势给定C0，我们从背景减除获得的检测中 我们提出了一个强大的基于RANSAC的三角测量方法来获得X0（见算法2）。 这涉及随机挑选一对相机，并使用快速三角测量例程[44]对这些相机中的两个随机检测进行三角测量，以获得3D点假设。在所有的假设中，我们选择在所有视图中具有最低总残余误差的3D点（如等式中所定义）二、 我们使用算法2对所有OpenCV [45]实现基于高斯混合模型（GMM）的背景减除[46]。简单地说，它为背景创建一个GMM模型，并使用每个传入帧更新它。此外，与模型不一致的图像区域被认为是前景，并且我们使用它们作为检测。然而，这会导致户外视频的大量误报，因此我们使用具有恒定加速度模型的卡尔曼滤波器（KF）[47]处理了由此产生从所得到的轨道检测用于我们的BA优化。为了减少误报的数量，我们只考虑了长于3个时间步长的轨迹。因此，我们最终在所有摄像机视图中每帧检测0-8（七）.5. 实验我们首先评估了我们提出的方法从一个现实的四旋翼飞行模拟器获得的合成数据，以分析的准确性和鲁棒性，我们估计的轨迹和控制输入的存在图像噪声，异常值跟踪和错误的初始相机姿态参数。我们还提出了几个结果，在室内捕获的真实数据和一个大型室外场景，我们可以访问地面真实轨迹信息。我们通过稳健地将我们的轨迹估计与地面真实轨迹对齐来测量我们估计轨迹的准确性[48]。在地面真实坐标系中，我们计算均方根误差（RMSE）。我们6037图3：四旋翼的预测位置和真实位置以及内部参数之间的比较。在左在图的一部分，你可以看到轨迹点位置的可视化。在右侧，我们可以看到四旋翼的3D坐标（X）与其内部参数（U，Φ，Θ）之间的差异。(best（见颜色）已经比较了BA的许多变体下面的后缀• No-Opt：没有光束法平差优化。• BA：不进行正则化的基于点的常规BA。• BA-pGS：使用基于高斯平滑的正则化器。• BA-pSS：使用基于样条平滑的正则化器。• BA-pKF：这表示具有基于卡尔曼滤波器的运动正则化器的方法。• BA-pDM：这表示我们提出的基于飞行动力学的正则化方法。数据集。我们在三组数据上评估了我们的方法。我们使用现有的四旋翼模拟器1来生成具有随机航路点的轨迹。每个模拟轨迹包含510个点或时间步长，用于模拟来自10台摄像机的30 Hz的17秒视频。相机位置随机产生的飞行体积周围，相机的方向朝向飞行体积的中心。我们生成了100个序列-摄像机姿态、初始轨迹以及图像噪声和离群值中的噪声程度我们评估了我们的方法在真实场景中捕获的两个数据集在这两种情况下，六个GoPro三脚架安装的摄像头都指向飞行的方向音量. 我们以2704×1536像素分辨率和30 fps录制视频LAB-SCENE约为6×8米，包含OptiTrack运动捕捉系统[6]其用于收集地面实况四旋翼轨迹和相机姿态。在这种情况下，我们飞了一个现成的四旋翼（44.5厘米直径）35秒。为了实现精确的跟踪精度，我们为无人机配备了一个明亮的LED和一个OptiTrack标记，它们彼此靠近放置。LED帮助我们促进检测过程，因为现在它被缩小到搜索最亮点1github.com/OMARI1988/Quadrotor_MATLAB_simulation图4：定性结果（LAB数据集）：[TOP]两个六个摄像机视角。[MIDDLE]从所有摄像机视图中放大轨 迹 点 的 补 丁 ， 并 具 有 相 应 的 背 景 分 割 结 果 。[BOTTOM]估计轨迹（黑色）和地面实况轨迹（红色）的3D可视化。(best（见颜色）在相框里尽管情况很简单，但在房间里走动的人和墙壁的反射经常被检测为移动物体。FARM数据集是在一个大型户外场景中捕获的（见图1），使用的是一个更大的无人机（直径1.5米）。一段4分钟的飞行录像是用六个摄像头记录的年代，放置在相隔20米。这些视频是以15FPS的帧速率捕获的，这导致3600个轨迹点。 我们还收集了无人机GPS数据，作为评估的基础事实。6038方法位置误差（m）无选择.2045±.015BA.1165±.014BA-pGS0.0760 ±0.007BA-pSS0.0761 ±0.007BA-pKF.1141±.009图5：比较LAB数据集上的各种方法初始相机姿态随着位置和方向噪声的增加而扰动图显示了平均值和标准差。dev.各种方法10次运行的最终误差。下表列出了误差统计量（平均值和标准差）。dev.）所有不同运行的所有方法。(best（见颜色）3D轨迹点位置的阳离子。该图的右侧部分描绘了环境中四旋翼的预测位置和地面实况（x，y，z）位置之间的差异以及四旋翼的预测内部参数与地面实况的比较。图图3示出了四旋翼的3D位置被相当好地预测，与地面实况的偏差非常小关于内部参数，我们的方法能够很好地预测序列的部分图6：LAB数据集的敏感性分析。 [左]三-成角结果。[MIDDLE]标准BA [43]的结果，无任何先验信息。[RIGHT]我们的方法与基于动力学的先验的结果。这些图中的每一个都显示了10次运行中的平均位置误差，对于添加到相机位置（σp）和方向（σo）的不同量的噪声误差量用颜色编码，图下方的颜色条显示颜色与实际值（以米为单位）之间的对应关系。(best（见颜色）5.1. 合成数据实验在这里，我们首先描述了噪声对我们的方法的性能的影响。然后，我们表明，我们的方法是能够推断的基本控制输入，定义的运动的无人机。敏感性分析。图2总结了合成数据集的结果。我们看到，先验信息主要有助于提高重建精度。在所有先验中，基于运动的先验比传统的平滑方法有显着的改进。总的来说，基于动力学的先验是最准确的.这可能是因为四旋翼模拟器生成的轨迹与用于开发基于动力学的先验知识的相同模型（第3.2节）。推断控制输入。我们已经在合成数据集上评估了四旋翼的内部参数（U，Φ，Θ）的预测质量，因为它提供了收集这些参数的地面实况信息的图3总结了这种比较。在图的左边部分，我们可以看到预测和地面真相低-其中这些参数平滑地变化。该行为由算法1引入，其中我们约束（U，Φ，Θ）的值随时间平滑地变化。在我们未来的研究中，我们希望调查内部四旋翼参数的其他约束，这将使我们能够恢复他们的急剧变化。5.2. LAB数据集上的结果图4描绘了我们的室内实验的示例。图4（顶部）描绘了样本相机视图。图4（中间）示出了被跟踪对象周围 的 裁 剪 和 放 大 的 补 丁 。 图4 （ 底 部 ） 显 示 了 与OptiTrack地面实况相比的轨迹的3D重建。我们还对我们的方法进行了定量评估。在LAB数据集中，单个帧中的检测非常可靠。因此，为了执行噪声敏感性分析，我们在运行优化之前将噪声添加到我们的初始图5和图6显示了定量评价结果。请注意，当我们增加添加到初始相机姿势的噪声时，三角测量精度会稳步下降。这是因为不同相机视图之间的点对应逐渐变得不准确。采用标准光束法平差，提高了重建精度.然而，四旋翼动力学为基础的优先生产甚至更高的精度，特别是当噪音是相当显着的（见图。（六）。在图5中，由于非常相似的性能，BA-pDM、BA-pGS和BA-pSS方法的图几乎无法彼此区分。这是因为在室内实验中，无人机始终清晰可见，不太6039图7：定性结果（FARM数据集）：黑色和红色曲线分别表示估计和地面实况（GPS）轨迹。在三角测量步骤之后进行轨迹估计[RIGHT]光束法平差（BA-pDM）后获得的结果与初始轨迹相比，轨迹更平滑，更准确。[BOTTOM] 3个视频的每帧候选检测的数量中间和右边的图显示了跟踪困难的远离所有的摄像头这导致高质量的检测，很少有误报，甚至允许BA与简单的平滑为基础的先验，以实现良好的准确性。我们在这些实验中注意到的一般趋势是，当初始相机参数相对准确时，即使是简单的三角测量也可以产生相当可靠的轨迹。然而，初始相机姿态中的较大误差会迅速降低标准三角测量和光束法平差的性能，而我们的方法该方法对于相对大量的相机姿态是鲁棒的由于四旋翼动力学的有效使用而产生的误差。5.3. FARM数据集上的结果最后，我们在室外数据集上评估了我们的方法。图1描述了我们的户外实验室的一个例子。我们可以看到，与室内情况相比，无人机距离摄像头更远，这不仅对优化带来了一些挑战，而且对背景减除算法的检测也带来了挑战。对于该实验，我们使用算法2来设置相机参数和轨迹点位置的初始值。图7（左）显示了使用Al-出租m2获得的结果，我们将其用作初始化。图7（右）显示了我们方法的最终结果。图7（底部）描绘了六个相机视图中的三个的每帧检测的数量。我们可以看到，由于无人机进入环境的复杂区域，在序列的末尾出现了更多的尽管如此，我们的方法可以成功地跟踪无人机。图8总结了各种方法的准确性。与其他实验类似，先验信息有助于恢复更准确的轨迹。此外，使用适当的动力学模型先验产生最准确的结果之间的所有先验。在这种情况下，由于初始轨迹中的噪声，基于卡尔曼 滤 波 器 的 先 验 知 识 不 是 很 有 效 （ 见 图 1 ） 。 7（左））。无选择BA BA-pGS BA-pSS BA-pKF BA-pDM2.551 1.910 1.785 1.781 2.2751.636图8：在FARM数据集上比较各种方法对于阈值范围，显示了位置误差小于阈值的3D点的百分比。表中报告了所有方法的RMSE误差（单位：米）初始化噪声导致卡尔曼滤波器不稳定，并且它不能恢复正确的运动模型参数，不像其他先验更鲁棒。6. 结论本文提出了一种新的方法来精确地重建从多个摄像机观测到的四旋翼无人机三维轨迹我们已经表明，使用运动信息显着提高了重建的三维环境中的对象的轨迹Fur-100方法允许推断四旋翼的内部参数，例如由操作员命令的滚转、桨距角和推力。推断这些参数具有广泛的应用，从强化学习到为飞行员提供分析，以及在大型室外和室内空间对无人机进行可行的研究，而无需依赖昂贵的运动捕捉系统。6040引用[1] J. Busset，F. Perrodin，P. 韦利格湾Ott，K. Heutschi，T. Ruhl和T. Nussbaumer，国际光学与光子学学会，2015年，pp。 96 470 F-96 470 F。1[2] D. K.巴顿，雷达系统分析和建模。Artech House，2004，vol. 1. 1[3] P. 阮，M。Ravindranatha，A. 阮河，巴西-地Han 和T.Vu，DroNet '16，2016，pp. 17-22. 1[4] 联合 波尼格河，B. 奥特角 Wellig，U. Aulenbache r，J.克拉夫，T. Nussbaumer和Y. Leblebici，“在地形起伏较大的情况下探测微型无人机：多传感器视角”，SPIE，2016年。1[5] http://www.vicon.com/“Vicon Motion Systems,”1[6] http://optitrack.com/“OptiTrackMotionCaptureSystems,”1、6[7] A.罗赞采夫河谷Lepetit和P. Fua，“Flying objects detec- tionfrom a single moving camera， ”in Conference on ComputerVision and Pattern Recognition，2015，pp. 4128-4136 一、二[8] C. 马尔泰内兹岛F. 蒙德拉，M.A. Oliv ares-Méndez，以及P. Campoy，&“无人机控制的机载和地面视觉姿态估计技术”，智能机器人系统杂志，第61卷，第2003 - 2004页。第1页。301-320，2011年。1[9] P. Abbeel，A. Coates和A. Y. Ng，2[10] W. Luo，J. Xing，X. Zhang，X. Zhao和T.- K. Kim，“多对象跟踪：A Literature Review，”in arXiv Preprint，no.212，2015. 2[11] Y. Huang，H.郑惠南Ling、黄毛菊E. Blasch和H. Yang，2[12] M. Betke，D.E. Hirsh，A.Bagchi，N.I. Hristov，N.C.Makris和T.H. Kunz，1-8. 2[13] D.戴角，澳-地盖耶尔，S。Singh和M. Digioia，2[14] R. T. Collins，A.J. Lipton，T.Kanade，H.Fujiyoshi，D.杜金斯，Y。Tsin，D.Tolliver，N.本岛长谷川山口 Burt等人，卡内基梅隆大学代表：两千2[15] R. Collins，A. Lipton，H. Fujiyoshi和T. Kanade，“Algo-rithmsforcooperativemultisensorsurveillance，”Proc. 的IEEE，第89卷，no.第10页。1456-1477，2001. 2[16] M. Breiiffel，F.赖希林湾Leibe，E. Koller-Meier和L.VanGool，1515-1522. 2[17] J. Berclaz，F. Fleuret，E. T ué ret k en和P. Fua，“MultipleOb-jectTrackingUsingK-ShortestPathsOptimization ， ”IEEE Transactions on Pattern Analysisand Machine Intelligence ， vol.33 ， no. 第 11 页 。 1806-1819年，2011年9月。2[18] A. Andriyenko和K.Schindler，2[19] Z. Qin和C. Shelton，2[20] G. Shu、紫菀A.代汉岛Oreifej，E. Hand和M. Shah，2[21] A. A. Butt和R. T. Collins，1846-1853. 2[22] S. Avidan 和 A. Shashua ， “ 轨 迹 三 角 测 量 ： 3D re-construction of moving points from a monocular imagesequence ， ”IEEE Transactions on Pattern Analysis andMachine Intelligence ， vol.22 ， no. 第 4 页 。 348-357 ，2000。2[23] J. Kaminski和M. Teicher，“轨迹三角测量的一般框架”，《数学成像与视觉杂志》，第21卷，第21期。第1页。2004年第27-41号。2[24] D. Wedge，D.Huynh和P.Kovesi，832-841. 2[25] C. Yuan和G.Medioni，2261-2268. 2[26] Y. Caspi，D. Simakov和M. Irani，“基于序列的序列间匹配”，国际计算机视觉杂志，第68卷，第2007 - 2009年。第1页。53-64，2006. 2[27] F.帕多瓦河Carceroni，G. Santos和K. Kutulakos，304-320，2010年。2[28] J. Valmadre和S.Lucey，1394-1401. 2[29] S. N. Sinha和M. Pollefeys，“Camera network calibrationand synchronization from silhouettes in archived video”，In-international Journal of Computer Vision，vol.87，no.第3页。266-283，2010。2[30] S. N. Sinha和M. Pollefeys，IEEE，2004，pp. 349-356. 26041[31] 普韦因湖巴兰河Ziegler和M. Pollefeys，施普林格，2014年，第473-487. 2[32] M. Vo，S.Narasimhan和Y.Sheikh，2[33] B. Triggs，P.F. 麦克劳克伦河I. Hartley和A.W. Fitzgib-bon ，Bundle Adjustment - A Modern Synthesis. SpringerBerlin Heidelberg，2000，pp. 298-372. 2[34] A. Bartoli和P. Sturm，“从分段平面场景的多个未校准视图中的约束结构和运动”，国际计算机视觉杂志，第52卷，第100期。第1页。45-64，2003年。3[35] A.科恩角Zach，S. N. Sinha和M. Pollefeys，3[36] Y. 龚氏D.Meng和E.J. Seibel，“用于可靠3D重建的约束束调整”，Opt. 《快报》，第23卷，没有。第8页。10 771-10 785，2015年4月。3[37] P. Fua，“从没有校准数据的图像序列对模型头进行正则化的调整”，《国际计算机视觉杂志》，第38卷，第2页。153 3[38] D. W. Marquardt，“非线性参数最小二乘估计的算法”，SIAM Journal on Applied Mathematics，第11卷，第11号。第2页。431-441，1963年。三、四[39] R. Hartley和A. Zisserman，《计算机视觉中的多视图几何》。 剑桥大学出版社，2000年。 三、四[40] D. Webb 和 J. van den Berg ， “Kinodynamic RRT* ：OptimalMotionPlanningforSystemswithLinearDifferentialConstraints ， ”arXivPreprint ， vol.abs/1205.5088，2012. 3[41] J. Li和Y. Li，“动态分析和PID控制，2011年IEEE机电一体化和自动化国际会议，2011年8月，第110573-578. 3[42] S. Agarwal，K. Mierle等人，ceres-solver.org四、五[43] S. Agarwal，N. Snavely，S. Seitz和R. Szeliski，29-42.五、七[44] P. Lindstrom，1554 5[45] http://opencv.org“OpenSourceComputerVisionLibrary,”5[46] P. KaewTraKulPong和R. Bowden，A Improved AdaptiveBackground Mixture Model for Real-time Tracking withShadow Detection. Springer US，2002年。5[47] G. Welch和G.毕晓普，“卡尔曼滤波器介绍”，北卡罗来纳大学计算机科学系，技术报告，1995年。5[48] B. Horn，“使用单位四元数的绝对方位的闭合形式解”，美国光学学会杂志A，第4卷，第110号。第4页。629-642，1987年。