相机模型参数优于常用参数模型校准的研究及应用

2535为什么相机模型中有10，000个参数比12个参数更好ThomasSch？ ps1ViktorLarsson1MarcPollefe ys1，2TorstenSattler31计算机科学系，ETH苏黎世3ChalmersUni versityofTechnology2微软混合现实AI苏黎世实验室摘要相机校准是设置3D计算机视觉系统的重要第一步。通常使用的参数相机模型被限制到几个自由度，因此通常不能最佳地适合复杂的真实镜头畸变。相比之下，通用相机模型由于其灵活性而允许非常准确的校准。尽管如此，它们在实践中几乎没有用处在本文中，我们认为这种情况应该改变。我们提出了一个通用模型的校准管道，该管道是完全自动化的，易于使用，并且可以作为参数校准的直接替代品，重点是准确性。我们比较我们的结果参数校准。考虑立体深度估计和相机姿态估计为例，我们表明，校准误差作为一个偏差的结果。因此，我们认为，在目前的普遍做法相比，一般模型应优于参数的时候-以往任何时候都可 能 。 为 了 促 进 这 一 点 ， 我 们 在https://github.com/puzzlepaint/camera_calibration上发布了我们的校准管道，使每个人都可以使用易于使用和准确的相机校准。1. 介绍几何相机校准是确定相机的每个像素记录的光来自何处的过程它是三维计算机视觉系统的必要前提。常见的参数相机模型仅允许几个自由度，因此不太可能最佳地适合复杂的现实世界镜头失真（参见图1）。图1）。例如，将摄像头放置在挡风玻璃后面进行自动驾驶会加剧这种情况[1]。然而，准确的校准是非常重要的，因为校准误差影响所有进一步的计算。即使由例如最终应用中的特征提取引入的噪声可能比相机校准中的误差大得多，后者仍然可以是高度相关的，因为它可以充当不能被平均的偏差通用相机模型[15]分别将像素及其3D观察线关联起来。光线以外的相机光学系统在一个纯粹的数学方式，而不提供一个物理间，图1.将两个参数相机模型（左，中）和通用模型（右）拟合到移动电话相机的残余失真模式。虽然一般模型主要显示随机噪声，但参数模型显示出强烈的系统建模误差。(a)(b)（c）第（1）款图2. 本文中考虑的两种通用相机模型的2D草图（a）在图像空间（黑色矩形）中，定义了一个控制点网格，该网格与校准区域（粉色虚线矩形）对齐一个点（红色）是不投影的B样条曲面插值的值存储为周围的4x4点（蓝色）。对于中心模型（b），插值发生在从投影中心（黑点）开始的方向（灰色和蓝色箭头）之间，对于非中心模型（c），插值发生在任意线（灰色和蓝色箭头）之间。相机几何形状的描述。它们密集地将像素与观察线或射线相关联;在极端的情况下，为照相机图像中的每个像素存储单独的行。由于它们的许多自由度，它们可以适合所有类型的相机，允许获得准确的、无偏置的校准。图2显示了本文中考虑的模型。先前的通用校准方法（参见秒（2）在实践中使用有限。一方面，这可能是因为任何现有方法都没有现成可用的实现。另一方面，社会人士似乎并不了解这做法的实际好处参数模型上的通用校准方法。因此，我们的贡献是：1）我们提出了改进相机校准，特别是校准模式和特征提取，以提高精度。2)我们展示了精确的通用校准参数模型的好处，特别是立体深度和相机姿态估计的例子。3)我们将易于使用的校准管道和通用相机模型作为开源发布。25362. 相关工作在本节中，我们将介绍与通用相机模型校准相关的工作。我们不审查校准初始化，因为我们采用了[26]，它对此很有效图案设计和特征检测。传统上，棋盘[5，6]和点[19]图案已用于相机校准。然而，点图案中的特征检测容易受到透视和镜头失真的影响[21]。最近的研究包括用于棋盘图案的更鲁棒的检测器[11，24]，使用脊线以提高对散焦的鲁棒性[10]，以及使用低秩纹理进行校准[48]。Ha等人[16]建议使用三角形图案，其比棋盘图案提供更多的用于角细化的梯度信息。我们提出的校准模式类似地增加了可用的梯度，但允许改变黑/白段数，使我们能够设计比[16]更好的功能。非中心通用模型。Grossberg和Nayar [15]首先介绍了一种通用相机模型，该模型将每个像素与3D观察线相关联，该观察线由线方向和线上的点定义这允许对中心摄像机进行建模，即，具有单个唯一投影中心的相机以及非中心相机。[26，39]提出了一种用于[15]中的通用模型的几何校准方法，该方法不需要图像之间的已知相对姿态[26]侧重于初始化，而不是完整的校准管道。我们的方法扩展了[26]，改进了校准模式/探测器，并增加了全光束法平差。中央通用模型。非中心照相机可以包括应用，例如，在不知道像素深度的情况下，不可能对针孔图像进行无失真处理[41]。因此，还提出了将校准约束为中心的模型[1，3，13，23]。对于中心相机，所有观察线在投影中心相交，将观察线简化为观察射线/方向。每像素模型与插值 对每个像素使用观察线/射线[13，15]提供了最大的灵活性。然而，这引入了极端数量的参数，使得校准更加困难。特别是，经典稀疏校准模式不提供足够的测量。因此，使用这些模型的作品使用可以对其像素位置进行编码的显示器来获得密集匹配[2，3，13，15]，或者在稀疏特征之间进行插值[26]。由于使用印刷图案有时可能比显示器更实用，并且内插功能会导致不准确[13]，因此已提出了具有较低校准数据要求的模型。它们分别在稀疏存储的观测线之间插值。射线例如，[22]提出用径向基函数插值任意布置的控制点。其他作品使用规则的网格更方便的插值。[1]使用B样条曲面从像素映射到[32，33]使用两个样条表面以类似地也定义非中心模型。在这项工作中，我们遵循这些方法。以上工作是我们在相机模型和标定方面最相似的工作。除了在实际应用环境中进行评估外，我们还致力于获得更准确的结果。因此，我们的校准过程有以下不同：1）我们专门设计了我们的校准图案和特征检测，以确保准确性（参见秒3.1、3.2）。2)[1，33]近似光束法平差中的重投影误差。我们避免这种近似，因为给定特征上的高斯噪声，这将导致更好的解决方案。3)[1，33]假设平面校准模式，这对于不完美的模式将是有问题的。我们优化光束法平差中的图案几何形状，考虑到现实世界的缺陷[37]。4)我们使用比[1，33]更密集的控制点网格，使我们能够观察和建模有趣的细节（参见。图7）。摄影测量。有理多项式系数（RPC）模型[20]通过3D坐标的多项式比率将3D点映射到像素。它有80个参数，通常用于航空摄影测量中的通用相机建模。与上述模型相比，其参数全局地影响校准，使得难以使用更多参数。此外，只有当所有观察到的3D点都在已知的有界区域中时，该模型才能发挥最佳评价和比较。 Dunne等人 [12]将Ramalingam和Sturm系列作品[ 25 - 28，38，39 ]的早期变体[38他们得出结论，通用方法对高失真相机效果更好，但对中低失真相机效果更差相反，Bergamascoet al. [2]对于他们的方法得出结论，即使是准针孔相机也受益于非中心通用模型。我们的结果还表明，通用模型通常比典型的参数模型表现得更好，此外，我们还评估了这是如何导致在应用中的实际优势。3. 精确的通用相机校准我们的流程中的第一步是记录一个或多个校准模式的许多照片或视频，以获得足够的数据进行密集校准（第二节）。第3.1节）。我们提出了一种模式，使非常准确的特征检测。下一步是检测图像中的特征（Sec.3.2）。在决定中央或非中央摄像机型号后（第3.3），摄像机校准：首先，使用[ 26 ]获得密集的每像素初始化。然后，最终模型与此拟合，并使用捆绑调整进行细化（第12节）。第3.4段）。所有组件都相对紧密地建立在以前的工作上，如下所示;我们的贡献是关注整个管道的准确性，并使用它来显示参数模型在详细实验中的局限性。请注意，我们的方法假设观察射线/线变化在相邻像素之间平滑，没有不连续性。2537图3. 左：我们的（缩小的）校准模式，允许使用AprilTag进行独特的定位，并实现非常精确的fea。由显示器或打印设备和照相机解析的图案;如第4.1，我们使用16段。图案可以简单地打印在一张纸上或显示在计算机显示器上。如果需要，可以同时使用多个图案，使得非常容易产生更大的校准几何形状。不需要严格的平面性，因为我们稍后执行包括校准图案然而，我们假设初始化近似平面性和刚性。使用星形特征点的真实检测。 注意一个应该理想地使星形正方形的密度适应于要校准的照相机的分辨率。右：不同星段计数的重复阵列元素。从上到下，从左到右：4（棋盘）、8、12、16、24、32段。3.1. 校准模式数据采集对于数据收集，我们记录已知校准图案的图像。这允许对图案上的特征点进行几乎无离群值和准确的定位。因此，与使用自然特征相比，需要更少的数据来平均误差。此外，图案的已知（近平面）几何形状有助于初始化。如第2、点图案使得特征检测难以对失真具有鲁棒性[21]。因此，我们使用基于相交线的图案，例如棋盘。然而，纸板具有几个缺点。首先，每个角落周围几乎没有图像信息来定位它：只有在特征处相交的两条线的梯度提供信息。如[16]所示，使用3条线而不是2条线可以提高精度。这就提出了是否应进一步增加线路数量的问题。其次，棋盘格角改变他们的外观强烈时，在不同的旋转。这可能使得特征检测器容易根据特征的取向产生不同的偏置结果，在存在色差的情况下。为了解决这些缺点，我们建议使用基于星的模式（cf.西门子明星，例如，[31]作为棋盘的一般化。这种模式中的每一个特征都是一个恒星的中心，具有给定数量的交替的黑色和白色部分。对于s=4，图案对应于棋盘。对于s=6，特征类似于deltille图案[16]的特征（然而，特征布置不同于[16]）。我们将每颗星的面积限制在一个正方形内，并将这些正方形以重复的模式排列在一起。额外的角特征出现在这些正方形的边界处，然而我们忽略了这些特征，因为它们的段数通常低于中心特征的段数。我们还在模式的中心包含一个AprilTag [45]，以促进其明确的本地化（参见。[1，16]）。见图3的图像的模式，和广场与不同数量的部分。段的数量需要平衡所提供的梯度信息的量和用于确定梯度信息的能力。在数据收集期间，我们实时检测特征（参见秒3.2），并可视化已经检测到特征的像素这有助于在整个图像区域中提供检测。没有检测的图像区域需要正则化以填充估计的校准，或者需要从使用中排除。对于全局快门相机，我们记录视频而不是图像，以实现更快的记录。3.2. 特征提取给出我们的“星”校准图案的图像（图11）。3）、必须准确定位图像中的星中心特征。我们首先近似地检测它们，然后改进结果。对于检测，我们建立近似的图像和模式之间的局部单应性，从检测到的AprilTag角。检测到的功能添加额外的匹配点，从而允许扩大检测区域。有关详细信息，请参阅补充材料。在下文中，我们只详细介绍了细化，这决定了最终的准确性，因为这是本文的重点细化步骤接收近似特征位置作为输入，并且需要确定特征为此，我们定义了一个基于对称性的成本函数（类似于[35]的补充材料），参见。图4：在图案空间中，镜像特征点处的任何点必须产生与原始点相同的图像强度。这通常适用于对称图案。我们定义了一个局部窗口的功能细化，必须包括足够的梯度，但不应该包括太多的镜头失真。最佳尺寸取决于诸如离焦成像的模糊、相机中的内部图像处理以及校准图案的清晰度等因素。因此，它应该适合于每种情况;在本文中，我们通常使用21×21像素。这不是一个问题，窗口覆盖多个“星”，因为图案是对称的超越一颗恒星的度量在这个窗口中，我们采样的随机点是窗口中像素的八倍，以保持由于随机采样而导致的方差较低。初始特征检测（cf.公告补充PDF）提供了一个单应性，在图案和图像之间进行局部映射。这样，我们将所有n个随机样本转换到模式空间中，假设局部窗口集中在特征位置上。然后定义成本函数Csym以比较在图案空间中镜像的点25381) 镜2) H变换3) 样本比较图4.基于对称的特征细化：样本及其镜像位置（橙色圆圈）都从图案转换到具有单应性H的图像空间。H被优化以最小化采样两个结果位置之间的差异。中央摄像头可能需要调整。我们考虑了一个中心和一个非中心模型（参见。见图2）。中央摄像头模型。对于中心模型，我们在每个网格点存储单位长度的观测方向对于非投影给定图像像素，使用三次B样条[9]曲面将这些方向然后将插值点重新归一化以获得观测值。ΣnC（H）=. I（H（s））− I（H（−s））<$2.（一）vation方向 我们还考虑了双三次插值使用Catmull-Rom样条[8]，然而，所得到的表面，sym我我i=1面倾向于包含作为伪像的小摆动。这里，H是通过齐次乘法将模式空间点带入图像空间的局部单应性估计。对于每个特征，我们定义它，使得模式空间中的原点对应于特征位置。si表示样本i的模式空间位置，使用上面的原点定义，−si在特征处镜像样本I是图像，使用双线性插值访问我们优化H与Levenberg-Marquardt方法，以尽量减少Csym。我们将系数H2，2固定为1，以获得8个剩余参数进行优化，对应于单应性的8个自由度。在收敛之后，我们得到估计的特征位置为（H0，2，H1，2）T。样本随机化减少了双线性插值：对于这种类型的插值，插值的极值几乎总是出现在整数像素位置。这也使得在双线性插值像素值的规则网格上定义的成本函数可能在那里具有极值，这将在可能的子像素特征位置上引入不合理的先验。此外，请注意，双线性插值不考虑相机响应函数中可能的非线性3.3. 相机模型准确的摄像机标定需要一个灵活的模型，避免限制可表示的失真。为每个像素存储单独的观察光线，指示观察到的光来自哪里，将是最一般的模型（假设光线充分接近原点方向）。这样的模型需要对每个像素进行多个特征观测或正则化，以充分约束。对于点特征，获得全密集观测值非常繁琐。使用密集方法[17，29，30]将更可行，我们认为这超出了本文的范围，并且可以使用显示模式[2，3，13，15]，我们不想要求。因此，我们通过将观察射线存储在图像空间中的规则网格中并在它们之间进行插值来减少参数计数（如[1，32，33]）。这适用于具有平滑变化的观察方向的所有相机。非中心模型虽然可能更准确，但可能会使最终应用复杂化;图像通常不能不失真到针孔模型，并且算法非中心摄像头模型。当使用非中心模型时，每个网格点存储单位长度方向和观测线上的3D点p。在非投影中，两个点都用三次B样条曲面插值，然后重新归一化方向结果是一条以计算的方向穿过插值3D点的直线。请注意，如果p沿着线移动，则内插线可能会改变由于与方向相反，点p没有明显的归一化可能性，因此我们保留了这个额外的自由度。投影所提出的相机模型定义了如何从图像中分别以闭合形式将像素投影到方向线。对于许多应用和随后的光束法平差步骤（参见秒3.4），也需要相反的情况，即，将3D点投影到像素，我们使用优化过程找到这些像素。注意，这与许多参数模型不同，这些参数模型以封闭形式定义投影，并且如果它们不是直接可逆的，则可能需要针对非投影的优化为了投影3D点，我们在校准图像区域的中心初始化投影位置。然后，类似于[33]，我们使用Levenberg-Marquardt方法对其进行优化，使其非投影尽可能接近地像素位置被约束到校准区域，并且只有当最终成本低于非常小的阈值时，我们才接受收敛结果。为了加速，如果相同的点之前以类似的姿势和内在函数被投影，则先前的结果可以用于初始化。这种方法适用于所有测试的相机，只要记录足够的校准数据来约束所有网格参数。对于程序可能会遇到局部最小值的摄像机，可以在摄像机的所有观察方向/线上搜索与输入点最佳匹配的方向/线[33]。如果需要知道点可能投影到多个像素的情况下的所有投影，这也很有帮助，这对于我们的两种相机模型都是可能的。性能诸如点（非）投影的任务是在应用中可能经常执行的低级操作，因此它们的性能可能是关键的。因此，我们简短地讨论我们的相机模型的性能。对于中央摄像机，图像可以这图像空间模式空间2539g+xt+xt可以为校准的相机缓存变换;一旦计算出用于执行它的查找表，则原始相机模型的选择不再对运行时间有影响。对于高视场照相机，例如，鱼眼照相机（其中不失真到针孔模型是不实际的）可以使用从像素到方向的查找表，反之亦然。因此，通过优化的实现，当使用通用模型用于中央相机时，应该存在零或非常小的性能开销。对于非中心摄像机，图像不失真一般是不可能的可以直接计算非投影（并缓存在整个图像的查找表中）。因此，它不应该是一个性能问题。然而，预测可能是缓慢的;理想情况下，首先使用快速近似方法（例如近似参数模型或查找表），然后执行几次优化迭代以获得精确结果。其性能可能高度依赖于快速获得具体相机的良好初始投影估计的能力。我们认为，如果选择适当的网格分辨率，初始校准时间不应超过30分钟，以达到当前消费者硬件的足够精度。参数选择。网格分辨率是用户必须设置的唯一参数。最小的感兴趣的单元大小类似于特征细化窗口的大小（参见图1）。秒3.2），因为这个窗口通常会用这个大小的内核“模糊”细节。由于我们使用21×21px或更大的窗口进行特征提取，因此我们使用低至10px/cell的网格分辨率，我们预计几乎不会留下基于网格的建模错误。如果没有足够的数据，则应限制分辨率以避免过拟合。3.4. 校准给定具有所提取特征的图像以及所选择的中心或非中心相机模型，必须校准模型我们的方法是首先使用[26]在插值模式匹配上初始化每像素模型。然后我们拟合最终模型，丢弃插值匹配，并使用光束法平差获得最终结果。见[26]，又见[27]。材料的细节。在下文中，我们将重点关注负责最终准确性的细化步骤束调整。束调整联合细化相机模型参数、图像姿势（可能在固定的多相机装备内）和图案特征的3D位置。我们优化了重投影误差，这是光束法平差中的标准成本函数[43]：Σ ΣΣvation，0和di，0是图像i中该点的2D检测。Ti是图像i的姿态，其将全局3D点变换到局部装备框架中，并且Mc将局部装备框架内的点变换到相机c的框架中。 π c然后使用其校准的当前估计将局部点投影到摄像机c的图像。ρ是残差平方上的损失函数;我们使用参数为1的鲁棒Huber损失通常，我们使用Levenberg- Marquardt方法优化成本C，并使用局部更新进行定向。我们还对相机模型网格内的方向使用局部更新（x1，x2）：我们计算两个任意的，每一个方向g的每一个切线t1，t2，并通过增加每个切线向量的倍数来更新它，然后重新归一化：g+ x1t1+ x2t2。因此，每个网格点具有2D中心模型中的5D更新和非中心模型中的5D更新（两个用于方向，三个用于线上的3D点，参见秒3.3）。投影π涉及一个优化过程，反函数定理不能直接应用.因此，我们使用有限差分来计算雅可比矩阵的相应部分。在我们的设置中的优化过程具有比典型的束平差问题更多的规范自由度我们尝试了Gauge固定，但没有注意到明确固定Gauge方向的优势; Levenberg-Marquardt对角线的添加应该已经使得Hessian近似可逆。Levenberg-Marquardt方法比较不同状态的成本然而，我们不能总是计算每个状态的所有残差在优化期间，3D点的投影可以进入和离开校准的图像区域，并且由于相机模型仅在该区域内定义，因此不能针对未投影到该区域中的点计算残差。如果在一个州定义了一个residual，而在另一个州没有定义，那么应该如何公平地比较这些州？一种简单的解决方案是分配一个常数值（例如，零）到残差（如果它无效的话）。这导致使残差变为有效的状态更新被高估，而使残差变为有效的更新将被低估。因此，优化可能会停止。相反，我们建议通过仅对在两个状态下都有效的残差求和来比较状态。这样，成本比较总是公平的;然而，一些残差可能不被考虑在内。从理论上讲，这可能导致振荡。然而，我们在实践中没有观察到这一点，我们认为，如果发生这种情况，它将很可能非常接近最优，因为否则，其余C（π，M，T，p）=c∈Ci ∈Ico∈Oi不c，i，orc，i，o）（2）残差可能超过了改变有效性的少数几个因素。在这种情况下，停止优化似乎是安全的。rc，i，o =πc（Mc Ti po）−di，o这里，C表示所有相机的集合，Ic表示由相机c拍摄的所有图像的集合，并且Oi表示图像i中的特征观测。是对应于观察者的3D图案点。4. 评价选项卡. 1列出了用于评估的相机。本表中的摄像机标签将在整个评价过程中使用ρ（r2540标签分辨率视场（FOV）描述表1.评估中使用的相机规格（补充材料中评估了更多相机）。FOV0的情况。100的情况。050的情况。00X/Y梯度梯度幅度强度OpenCV cornerSubPix（）无细化D435-CD435-I SC-C SC-I在图像中心水平和垂直测量图6.中位重现性校准摄像机在x轴上具有不同的特征细化方案（颜色）。0的情况。040的情况。015对于SC-C，cornerSubPix（）结果太不一致。0的情况。030的情况。024 8 12 16 20 24 2832段0的情况。010错误我们分别校准一个单一模式的每组图像，并计算其中值重投影误差。这些图5.用于校准凸轮的中值重投影误差（y轴）-时期D435-C和D435-I，其图案具有不同数量的星形片段（x轴） 。D435-C的特 征细化 窗口为 31×31像素 ， D435-I为21×21Deltille结果是通过[16]中的特征细化获得的。我们对两个参数模型进行了评估，两个参数模型都有12个参数，这对于参数模型来说是一个很高的数字。第一个是使用所有失真项在OpenCV [6]中实现的模型。第二种是具有3个径向失真项的薄棱镜鱼眼模型[46] ， 其 用 于 立 体 基 准 [36] 。 我 们 还 考 虑 了 基 于OpenCV模型的有了这个，我们评估有多少改善是通过更好的径向失真建模获得的。请注意，不幸的是，在编写时似乎没有完整的通用校准管道的实现。 这使得它很难与其他通用校准管道进行比较;我们以开源的形式发布了我们的方法来改变这一点。此外，由于我们的目标是获得尽可能准确的结果，并且由于我们避免合成实验，因为它们通常不反映现实条件，因此没有基础事实可供评估。然而，我们的主要兴趣是与常用的参数模型进行比较，以说明为什么应该（如果可能的话）避免使用它们。4.1. 校准模式评估我们验证了我们对模式的选择（参见秒3.1）通过改变星段的数量从4到32（参见图3）。对于4段棋盘和6段[16]我们也比较了[16]中对于每个图案变体，我们用相同的相机从相同的姿势记录校准图像我们把相机放在三脚架上，然后在监视器上显示图案。对于我们使用的每个三脚架姿势，我们在监视器上循环所有评估的模式，以记录一组具有相同姿势的图像。由于不是所有的特征都在所有的模式中被检测到，为了公平起见，我们只保留那些对所有模式变体都成功的特征检测。由于特征检测没有地面实况，我们通过实现的重投影er比较不同的模式结果如图所示。五、 增加隔离区的数量-从4开始，期望精度首先提高（因为更多的梯度变得可用于特征细化），然后恶化（因为监视器和照相机不能再分辨图案）。这两个图都符合这一预期，最佳分段数分别为12。20.实验表明，常用的棋盘图案和“deltille”图案[ 16 ]对于任何一个相机都不是因此，在本文中，我们默认16段作为一个好的平均值。对棋盘格和三角形两种模式，文[164.2. 特征细化评估我们比较了我们的特征细化的几个变体（参见。秒（1）原始版本的Eq。（1），以及其中我们用ii）梯度幅度或iii）梯度（2-向量）替换原始强度值的版本。此外，我们还评估了OpenCV在所有情况下，我们的特征检测方案给出了细化的初始特征位置。对于每个相机，我们取一个校准数据集，对其应用每个特征细化方案，并比较所获得的中值重投影误差。与前面的实验类似，我们只使用所有方法都能找到的特征结果如图所示。六、强度和X/Y梯度提供最佳效果，X/Y梯度对于单色相机表现稍好，强度对于彩色相机表现稍好。4.3. 通用模型的验证我们验证了我们使用的通用模型（参见秒 3.3）可以通过验证相机实现无偏差校准来非常准确地校准相机：最终重投影误差的方向应该是随机的，而不是在图像的部分中具有相同的方向，这将指示模型无法拟合这些区域中的实际失真。图7示出了不同相机的这些方向，用每个测试模型校准。我们还列出了中值重投影误差，包括校准数据和未用于校准的测试集。后者用于确认模型没有过拟合。作为偏置性的度量，我们计算2DD435-C（31×31）D435-C（Deltille）D435-I中位误差[px]D435-C1920×1080约70◦×42◦Intel D435D435-I1280×800约90◦×64◦Intel D435SC-C640×480约71◦×56◦结构芯体SC-I1216×928约57◦×45◦结构芯部中位误差[px]2541OpenCV Thin-Prism Fisheye Central Radial Central Generic Central Generic Noncentral Generic（12 parameters）（12parameters）（258 parameters）ca.30 px/cell ca.20 px/cell ca.10 px/cell ca.20 px/细胞错误10.092 / 0.091 / 0.748 0.163 / 0.161 / 1.379 0.068 / 0.070 / 0.968 0.030/ 0.039 / 0.264 0.030 /0.039 / 0.265 0.029 / 0.040 / 0.2520.024/0.032/0.184错误10.042 / 0.036 / 0.488 0.032 / 0.026 / 0.365 0.042 / 0.037 / 0.490 0.023 / 0.018 / 0.199 0.023 /0.018 / 0.198 0.023 / 0.018/0.1890.022/0.017/0.1790.7k1.5k5.9k3.8k错误10.083 / 0.085 / 0.217 0.083 / 0.084 / 0.215 0.082 / 0.084 / 0.200 0.069/0.072/0.055 0.069 / 0.072/0.0540.068/ 0.072 / 0.0532.5k5.6k21.8k14.0k错误10.069 / 0.064 / 0.5890.053 / 0.046 /0.440.069 / 0.064 / 0.5850.035 / 0.030 / 0.1330.035 / 0.030 / 0.1390.034 / 0.030 / 0.1370.030/0.026/0.120图7.用列给出的模型校准行给出的相机的每个像素显示来自所有图像的最近重投影误差的方向理想情况下，结果不受任何系统模式的影响。模式表示由于无法模拟真实相机几何形状而产生的偏倚结果。通用模型的参数计数在图像中给出。1中值训练误差[px] /测试误差[px] /偏倚。正态分布，以及重投影误差向量的经验分布（缩放以具有相同的平均误差范数），在放置在图像上的规则50×50我们在图中报告了这些细胞的中值7 .第一次会议。通用模型实现了较低的误差比参数的整个，而几乎没有任何迹象表明过拟合。这是预期的，因为-有趣的是，尽管所有相机都是标准的近针孔相机，但非中心模型在每个度量中对于所有相机一致地表现最好所有参数模型在误差方向上都显示出较强的偏倚模式。对于某些相机，通用型号还显示具有较低网格分辨率的高频图案，这些图案随着分辨率的提高而消失。这些将很难与任何参数模型拟合。中心径向模型仅改进了一个相机的两个参数模型，表明单独改进的径向失真模型通常不足以显著改进。4.4. 不同模型我们现在仔细看看精确校准和典型参数模型校准之间的差异。我们将薄棱镜鱼眼模型拟合到我们的校准中，优化模型参数以最小化两个模型同时，我们优化了应用于一个模型的观察方向的3D旋转，因为相机的所有图像姿势的一致旋转可以D435-C D435-I SC-C SC-I图8.中心通用模型校准与拟合薄棱镜鱼眼校准之间的差异，测量为重新投影误差。顶部：中等灰色对应于零误差，而饱和的颜色如图。7对应于0.2像素的差异。底部：仅显示误差幅度的替代可视化，黑色表示零误差，白色表示0.2像素误差。被视为内在校准的一部分。在收敛之后，我们可视化观察方向上的剩余差异。虽然这些可视化将自然地类似于图1B的那些。7考虑到我们的模型是非常准确的，我们可以避免在这里显示特征检测噪声。在这里，我们将差异的方向和大小都可视化，而图1。7只看方向结果示于图8，并确认这些模型的不同之处在于难以用标准参数模型进行建模。根据相机和图像区域的不同，重投影差异通常高达0.2像素，对于高分辨率相机D435-C甚至更高。4.5. 示例应用：立体深度估计到目前为止，我们表明，通用模型产生更好的calibrations比常见的参数。然而，Dif-推论可能看起来很小，因此可能不清楚4.8k10.4k40.9k25.9k2.5k5.3k20.5k13.3kSC-C（1849年图像）SC-I（2434）图像）D435-C（968）图像）D435-I（1347图像）2542X应该避免这种偏差，以获得准确的结果。图9.距离（黑色：0cm，白色：1cm），在大约2米深度处，通过密集立体声估计的对应点之间，具有通用和参数校准。它们在实践中的价值因此，我们现在来看看小校准误差在示例应用中的作用。具体来说，我们认为密集的深度估计的英特尔D435和枕骨结构核心主动立体摄像机。这些设备包含具有相对小的基线的红外相机对，以及提供用于立体匹配的纹理投影机的表现就像外部光源，因此不需要校准;只有立体摄像机的校准是相关的。基于先前的实验，我们保守地假设参数模型的校准误差至少为0。0.05像素。两个立体图像中的误差可以根据它们的方向而相加或相互抵消。一个合理的假设是，校准误差将导致类似幅度的dispar- ity误差。注意，对于典型的立体声系统，可以假设容易匹配的表面的立体声匹配误差低至0。1像素[35];在这种情况下，校准误差甚至可能接近噪声水平。视差x和深度d之间的众所周知的关系是：d=bf，具有基线b和焦距f。让我们考虑b=5cm和f=650px（大致匹配D435）。例如，对于d=2m，视差误差为±0。05px导致深度误差约为0。6厘米。这个误差随着深度成二次方增长，由于它保持不变，随着时间的推移，它会成为一种偏差，不容易平衡。为了进行经验验证，我们使用中央通用和薄棱镜鱼眼模型（其比OpenCV模型更适合D435-I和SC-I相机，参见图2）来校准D435和Structure Core设备的立体对。（七）. 每台设备，我们记录了一个大致平面的墙壁立体图像约2m距离，并估计了具有两种校准的左相机的深度图像。标准PatchMatch Stereo [4]具有零均值归一化互相关成本，在给定主动投影纹理的情况下工作良好。使用Umeyama方法[44]将所得点云与相似性变换对齐，因为不同的校准可能会引入尺度和方向差异。图9示出了对准的云中的对应点的距离。根据图像区域的不同，误差通常约为半厘米，两台相机的误差都超过1厘米。这与上面的理论结果很好地吻合，并表明4.6. 示例应用：相机姿态估计为了提供更广泛的图片，我们还考虑相机姿态估计作为一个应用程序。 对于这个实验，我们将中心通用校准视为地面实况，并对图像中的15个随机像素位置进行采样。我们将每个像素反投影到相机的随机距离，1.5到2.5米。然后，我们改变到薄棱镜鱼眼模型，并定位相机与2D-3D对应定义以上。D435-C、D435-I、SC-C和SC-I的估计相机中心的中位误差分别为2.15 mm、0.25 mm此类误差可在视觉里程计或SLAM期间累积。为了测试这一点，我们在几个视频上使用Colmap [34]，并使用我们的Thin-Prism-Fisheye和非中心通用校准来调整生成的稀疏重建。对于每个重建对，我们对齐视频的比例和初始相机姿态，并计算最终图像与轨迹长度的相对平移误差。 对于相机D435-I，我们获得1。3%±0. 3%的误差，而对于SC-C，我们得到5。6%±2。百分之二。这些误差很大程度上取决于相机，重建系统，场景和轨迹，所以我们的结果只代表例子。然而，它们清楚地表明，即使是小的校准改进在实践中也是重要的。5. 结论我们提出了一个通用的相机校准管道，专注于精度，同时易于使用。与使用参数模型相比，它实现了几乎无偏差的结果;对于所有测试的摄像机，非中心通用模型表现最好。我们还表明，即使是很小的校准改进在实践中也是有价值的，因为它们避免了可能难以平均的偏差。因此，我们认为，通用模型应取代参数作为相机校准的默认解决方案。如果使用中心模型，这甚至可能不会引入性能损失，因为通过查找的图像去失真的运行时 我们通过将校准管道作为开源发布来促进通用模型的使用。然而，通用模型可能不适合所有用例，特别是如果投影到失真图像的性能至关重要，如果需要自校准，或者如果没有足够的数据用于密集校准。感 谢 您 的 支 持 。ThomasSchoéps部 分 得 到 了 Google PhDFellowship的支持。Viktor Larsson获得了苏黎世联邦理工学院博士后奖学金计划的支持。这项工作得到了瑞典战略研究基金会（智能机器人的语义映射和视觉导航）的支持。D435结构芯2543引用[1] 约翰内斯·贝克和克里斯托夫·斯蒂勒。广义B样条相机模型智能汽车研讨会，2018年。一、二、三、四[2] FilippoBerg amasco，AndreaAlbarelli，EmanueleRodola'，and Andrea Torsello.完全无约束的成像模型能否有效地应用于中央摄像机？CVPR，2013。二、四[3] 菲利普·贝加马斯科，卢卡·科斯莫，安德里亚·加斯帕雷托，安德里亚·阿尔巴雷利，安德里亚·托塞洛.中心摄像机镜头畸变的无参数 InICCV，2017. 二、 4[4] Michael Bleyer Christoph Rhemann 和 Carsten Rother 。PatchMatch stereo - 支 持 倾 斜 窗 口 的 立 体 匹 配 。 在BMVC，2011年。8[5] 让-伊夫·布盖Matlab的摄像机校准工具箱，2004年。2[6] 加里·布拉德斯基OpenCV库。Dobb博士二、六[7] Federico Camposeco，Torsten Sattler和Marc Pollefeys。径向对称相机的基于非参数结构的校准。在ICCV，2015年。6[8] 埃德温·卡特穆尔和拉斐尔·罗姆。一类局部插值样条。计算机辅助几何设计，第317-326页。爱思唯尔，1974年。4[9] 卡尔·德·布尔。实用指南样条，第27卷。Springer-Verlag，1978. 4[10] 丁文东，刘喜龙，徐德，张大鹏，张正涛。一种用于离焦图 像标 定和测 量的 控制点 鲁棒 检测方 法。 IEEETransactions on Instrumentation and Measurement ， 66（10）：2725-2735，2017。2[11] 亚历山大·杜达和乌多·弗雷塞。棋盘格角点的精确检测和定位，用于校准.在BMVC，2018年。2[12] 奥布里·KDunne，John Mallon，and Paul F.惠兰一种新的通用摄像机标定与标准参数化方法的比较。在2007年IAPR机器视觉应用会议2[13] 奥布里·K Dunne，John Mallon，and Paul F.惠兰单投影中心通用摄像机的有效通用标定方法。CVIU，114（2）：220-233，2010. 二、四[14] Wolf g angFoürstnerandEberhardGuülch. 用于检测和精确定位圆形特征的不同点、角和中心的快速操作器1987年，ISPRS关于摄影测量数据快速处理的委员会间会议。6[15] Micha