光编码校准相机的简单全自动方法

1一种利用方向编码光进行加州大学欧文分校mabbaspo@ics.uci.eduThabo BeelerDisneyResearchthabo@disneyresearch.comAnselmGrundhüferDisney Researchanselm@disneyresearch.com摘要标定相机的固有特性是各种计算机视觉和图像处理任务所需的基本任务之一焦距的精确测量、主点的位置以及透镜的畸变参数对于例如3D重建是至关重要的[27]。虽然存在各种方法来实现这一目标，但它们通常执行起来很麻烦，需要大量的人工交互、专业知识和大量的操作量。我们提出了一种新的校准方法的基础上使用的定向编码光线估计的内参数。它可以通过安装在前镜头元件附近的小型设备实现全自动校准，即使在镜头聚焦到无限远时，仍然可以实现与标准方法相当的精度。我们的方法克服了上述限制，因为它保证了准确的校准，而无需任何人为干预，同时只需要有限的空间。除此之外，该方法还允许估计焦平面的距离以及孔径的大小。我们证明了所提出的方法的优点，通过评估几个相机/镜头配置使用原型典型的设备。1. 介绍准确的摄像机内部校准是众多计算机视觉任务的核心要求之一。尽管存在可靠的方法，但大多数方法需要大量的人工交互和精心配置的设置，以成功计算准确的校准参数。特别地，如果用户没有充分地覆盖图像传感器的整个区域，则这对于需要覆盖大体积的广角镜头或者对于校准体积在一定距离处的远距离镜头来说是特别具有挑战性的。克服这些问题是这项工作的主要目标，因此，我们提出了一种简单的，全自动的校准方法，估计相机的内在参数可靠， 我们提出了一种实用的校准装置，它只需要在镜头前面的最小工作体积，并且只需按下按钮，就可以在几分钟内以重复可靠的精度进行整个过程。与大多数现有的校准方法不同，我们采用定向编码光，允许校准额外的内在参数，如焦距或光圈大小。所提出的算法并非专门针对科学家或工程师使用，而是为了简化维护人员或想要使用需要校准相机的特定软件应用的业余爱好者的校准根据实践经验，实现可接受的相机校准对于这些非专家来说是非常困难的任务。总之，我们提出的方法包括以下新的贡献：• 一个可靠的和全自动的内在摄像机校准算法。• 一个原型硬件设置，只需要一个最小的工作体积直接在镜头前。• 不需要任何系统预校准的算法• 使用定向编码光来校准自适应透镜特性，例如焦距和孔径大小• 基于各种不同镜头和相机的系统评估，包括与Zhang方法的比较本文的其余部分将从相关工作的简短讨论（2）开始，然后描述拟议的设置（3）和校准方法（4）。在第5节中，我们将介绍我们的硬件原型，用于评估第6节中的系统。2. 背景及相关工作下面我们将简要介绍摄像机的基本模型和标定方法11061107使用，并且将给出关于照相机校准以及所提出的显示配置的最相关的相关工作的概述。针孔摄像机模型我们的工作是基于广泛使用的摄像机标定介绍了张等。[31]使用针孔相机模型。假设（X，Y，Z）是3D空间中的点的坐标，并且（x，y）是该点在相机传感器的2D图像平面上的投影的坐标。然后，这两个坐标之间的关系由下式给出：XxY现有方法中的一种使用平面图案进行校准，并提供广泛可用的工具箱[4，22]，其需要专业知识来可靠地产生精确的校准。[31]中描述的方法是最常用的方法之一，其使用从未知方向捕获的平面的多个图像许多现有的工作使用这种方法作为参考，以比较他们的结果的精度。另一种方法是在[8]它使用图像中的平行线找到消失点来校准相机。这些方法的性能在很大程度上取决于对应点提取的精度[21]提出了一种高精度的特征检测方法用于使用棋盘图案的相机校准[29日]sy=KR|t（一）Z11其中s是任意比例因子。R和t是摄像机相对于世界坐标系的旋转和平移矩阵。K是凸轮fxα xp定义为K=100f y 其中f x和f y是0 0 1照相机在水平和垂直方向上的焦距（xp，yp）是摄像机主点在图像平面上的坐标。α是两个图像轴之间的偏斜，在我们的工作中，假设其等于零，这对于绝大多数现有的现代相机是合理的假设。为了也考虑径向和切向透镜畸变，使用最常见的模型之一[6，5，9]，其中几个系数k描述了取决于到系统光轴的距离的径向和切向畸变多层显示添加光衰减或- 将层引导到发射型显示器上已经被广泛地探索用于多视图立体[28]或近眼显示器[19]的自动立体显示器的生成。这些方法基于生成空间变化的光场的原理，使得对于变化的观察者位置，呈现不同的内容。我们在固有校准的上下文中应用这样的显示：定向光由高分辨率屏幕前面的光衰减层产生，由照相机捕获，并且该信息用于校准。 Bokode系统[20]使用类似的光学设计方法，但在不同的背景下。相机校准方法有大量的研究论文集中在准确校准的任务，ING相机的内在属性。它们通过采用不同的优化方法、相机模型、校准目标或用户界面而彼此不同。许多使用圆形控制标记来精确地找到特征的位置。[10]提出了平面正方形、圆形和环形图案的校准算法。在这里，一个迭代细化的方法去扭曲和unprojection的校准模式的正则平面被用来提高定位的准确性。大多数现有的工作集中在开发新的相机模型和提高校准精度，但校准过程可能是耗时的，部分甚至是手动引导的过程，用于识别控制点。有一个机构的工作重点是自动化这些步骤。由于这些方法大多使用平面标记，如棋盘格，其鲁棒检测是非常重要的：[3]提出了一种自动棋盘格检测方法在[11]、[12]、[1]和[24]中，使用了用于基于平面的校准的自识别模式，其也可以被部分遮挡。在[23]中提出了使用基于随机点的标记而不是2D标签或棋盘，这是基于可以在焦点外图像区域中更可靠地检测这些标记的优点。[18]提出了一种网格角点提取的自动技术。Ha et.al.[13]提出了一种方法，该方法通过在靠近透镜的小显示器上显示一系列结构光图案来处理失焦输入图像，以从各种不同的视图生成显示平面到相机的对应关系。所有这些方法都使用由用户捕获的不同取向图案的图像。因此，校准可以针对不同的图像集而变化，并且不良的图像收集可以导致不良的质量。特别是对于估计准确的失真系数，至关重要的是要有一个集，覆盖所有地区的图像平面。因此，准确的校准通常需要专家用户。[24]提出了一种迭代方法，该方法使用当前校准状态向用户建议下一个最有帮助的图案位置。他们表明，他们的系统比使用预先捕获的图像集的现有工具产生更好的校准1108显示掩模层传感器在[2]中，提出了单个图像校准，但由于其专注于内窥镜摄像机的校准，因此尚不清楚其他摄像机和镜头配置是否也可以实现所声称的质量。最近提出了另一种使用透镜阵列的单图像方法[26]。虽然该方法能够估计相机的焦距，但它不足以准确地估计失真参数，并且只能使用居中的主点以及彩色相机来应用。以根据照相机孔径的大小来散焦模糊。此外，背景层的像素可能在相机传感器上出现偏移为了获得准确的校准结果，必须考虑这些影响，如下所示。透镜显示B掩模层透镜传感器B'图1. 建议设置的草图。 左：最小配置-D使用两个层的操作：第一层是发射平面显示器。播放面板和第二层，一个薄的不透明片与网格，usv孔，放置在前面稍微倾斜。中心：使用两个倾斜的孔平面可以更好地覆盖广角镜头和额外的校准平面。右：由黄色、青色和品红色滤光片组成的三层孔平面允许用一种配置捕获3. 设备设置所提出的校准方法的主要目标是使用直接安装在镜头前面的小型设备来简化和完全自动化内在相机校准所提出的硬件可以由低成本的现成组件组装而成与大多数现有的校准方法不同，我们利用方向编码的光线，这允许我们校准附加的固有特性，例如透镜的孔径直径和焦距。为了产生这样的定向光线，我们设计了一种多层装置，其中一个背景层是发射性高分辨率显示器。其他层是一个或多个薄平面片（d<0. 2mm），其对于至少部分可见光谱是不透明的，但包含小孔网格（r<0.1mm）。利用这种配置，源自显示器的光可以在穿过掩模层的同时被定向编码（参见图1）。图①的人。这种设置会导致一些独特的影响，在校准过程中必须考虑这些影响：掩模层中的每个孔近似于针孔投影，因此背景层的像素将被照相机聚焦成像，而与透镜的实际焦平面无关。这是有益的，因为它允许在校准期间将校准设备放置得非常靠近透镜。然而，这些洞本身将受到图2.点光源的散焦模糊的尺寸和形状CoC取决于镜头的光圈大小和形状。上图：闭合的物理光圈可以创建较小的孔图像。底部：大孔径尺寸创建更大的孔图像，并且通过孔可以看到更大的显示面板区域。3.1. 散焦模糊如果相机聚焦在掩蔽层上，则该层的每个孔的图像将相当于相机传感器上的单个照明点。然而，由于该设备旨在紧密地安装在镜头的前面，镜头可能会聚焦在更远的距离处，因此孔的投影将相当于传感器上的圆盘而不是点，称为混淆圈（CoC）[16]。圆盘的大小和形状一方面取决于孔到传感器和焦平面的距离，另一方面取决于照相机光圈的形状和大小，如图所示。2，可以在图中观察到。3 .第三章。图3. 关闭（左）和打开光圈（右）时拍摄的图像。孔的CoC受孔径的影响，但也受其形状以及图像平面上的空间位置的3.2. 像素偏移如上所述，在光学路径内使用针孔导致相机传感器上的圆盘。这些圆盘的内容是背景层的许多像素的清晰图像，因为孔本质上是1109图4. 捕获的遮罩层图像。格雷码图案的两个不同的频率（左，右）显示在背景层.请注意，如何像素移位中描述的节。当通过不同的孔观察时，3.2导致轻微移动的线，最好在左边的绿线处看到。计算摄像机像素，并生成摄像机和显示器像素之间的映射。由于背景层和掩蔽层都是平面的，因此我们可以使用计算的对应关系来建立平面之间的单应性，并采用[31]的方法来校准相机的内在矩阵和失真特性然后可以通过利用定向编码的光线来估计诸如焦平面或孔径大小的其他透镜属性算法1显示了我们方法的概述。在接下来的部分中，我们将详细解释每个步骤。算法1校准方法显示显示掩模层掩模层透镜透镜传感器传感器1：选择相机的最小光圈（如果可能，ble）2：显示层3：拍摄孔层4：查找遮罩层与相机像素的对应关系5：增加光圈尺寸，以避免CoC重叠（如果可能）6：在显示层上显示一系列灰度代码图案，并通过摄像头7.通过对灰度码图像的解码，生成摄像头与显示器像素之间的映射。8：使用[31]9：使用方向编码光线估计焦距和光圈大小。图5.上图：来自显示屏上一个（散焦）像素的不同光线只有通过透镜光学中心的光线（蓝色光线）位于同一条线上。下图：我们只考虑通过镜头光学中心的光线进行校准。针孔投影，如图所示。4.第一章每个像素对应于行进通过相机的光学器件的定向射线。没有通过镜头光学中心的光线将被扭曲，这相当于传感器上的平移位移，我们称之为像素位移。这一现象在图1中示出。5，可以在图中看到。4，其中相邻圆盘中的线略有偏移。因此，为了精确校准，我们仅依赖于通过镜头光学中心的光线，因此不会产生失真如何提取这些将在第2节中描述。四点三。4. 拟定校准方法考虑到上述光学效应，所提出的装置不仅可用于估计标准的固有特性，如焦距和畸变参数，而且可用于估计焦距和孔径大小。在将装置安装在相机前面之后，掩蔽层的孔与照相机的孔之间的对应关系被确定4.1. 对应于掩蔽层为了建立掩模层中的孔与它们在成像传感器上的投影之间的对应关系，我们需要确定它们在传感器上的投影位置并识别它们在掩模层上的坐标。孔像素位置：为了计算图像传感器上孔的投影位置，背景显示完全打开，产生均匀填充的圆圈传感器上的混乱如图孔径的大小孔径越小越好，但至少磁盘不应该重叠。如果不能充分控制或关闭孔径，则必须调整掩模层上的孔的间距以防止重叠CoC。即使具有小的孔径、场曲、光学像差伪影，孔径形状以及透镜畸变也可能影响CoC的形状，使得其偏离完美的圆（参见图1）。图6）。为了以最通用的方式说明这一点，通过将2D高斯函数拟合到每个孔的图像来估计孔的投影位置。图6示出了拟合的高斯函数和估计的孔中心的样本。由于可以假设孔具有无限小的尺寸，因此1110不会遭受已知的对使用诸如圆形特征点的空间基准点的位置估计造成挑战的透视缩短效应[17]。图6. 阻挡层的捕获图像之一的样品孔的颜色编码高度场图（左）和通过拟合2D高斯函数找到的中心（右）。孔层坐标：掩蔽层包含一个规则的孔网格，我们需要确定层上所有检测到的孔的局部因此，选择其中一个孔作为坐标系的原点，并且通过检测网格，我们可以基于该原点找到其他孔的坐标其他方法，例如自动检测随机图案[30]也是可能的，但是网格布置保证了规则图案，其更容易处理并且对于潜在的重叠圆更鲁棒。如果镜头包含强烈的失真，直接的网格搜索可能会失败。然而，如图3的底行所示。在掩模层上的孔的2D坐标与显示面板上的对应像素的坐标之间存在线性投影。这描述了独立于相机的两个平面之间的关系图7示出了通过显示面板上的孔的可见像素的位置。由于在这些平面层之间仅存在相对小的角度并且没有非线性失真，因此仅发生少量梯形失真，这可以使用仿射变换来中和。因此，一旦我们知道孔和显示像素之间的对应关系，我们就可以很容易地检测到网格。如何实现这一点将在下一节中描述。4.2. 与背景层对应在相机层和遮罩层之间建立了对应关系之后，仍然必须估计背景层的对应关系。尽管相机失焦，但通过每个孔可以观察到显示器像素的清晰和放大的图像，因为它们非常小，以至于它们像针孔投影一样显示器的放大图像有助于找到与相机对应的准确像素。为此，互补黑色和图7. 彩色编码的像素坐标由摄像头通过显示器上的孔感测。请注意，显示器上的孔投影没有失真，仅包含少量梯形失真。显示并捕获白色格雷码图案[7]1。根据显示器的分辨率，这个过程需要捕获大约40-50张图像，以实现可靠的在该步骤中，如果可能的话，用更大的孔径尺寸捕获图像，因为这增加了光通量并且允许通过每个孔观察更多的显示像素。为了避免由于在孔的边界处衍射的光的显著量而导致的失真接着，通过对格雷码图案的图像进行解码，生成相机和显示器之间的像素对应关系。为了计算平面单应性，我们仅选择背景显示器上的那些像素，其光线穿过透镜的光学中心，以避免像素偏移的问题，如在第2.2节中所描述的3.2.这些可以容易地确定，因为它们对应于其在图像传感器上的投影与孔的检测到的像素位置一致的像素。其他对应关系将在稍后用于校准透镜的焦平面。4.3. 摄像机和镜头参数估计在计算了摄像机像素点与掩膜层和背景层的对应关系后，采用了Zhang等人提出的基于标准单应性的标定方法。[31]可用于计算固有校准矩阵以及失真参数。此外，在估计了该校准之后，到焦平面的距离以及当前孔径尺寸也可以由我们的系统估计。固有矩阵和失真参数最后一节描述了如何收集一组点之 间 的 显 示 和 掩 蔽 层 的 相 机 的 图 像 平 面 的correspondences。这些对应关系直接用于相机校准，使用由1感兴趣的读者可以参考[25]了解有关结构光扫描的1111B图8.左：具有两个掩蔽层的原型设置背景层是一个发光的LCD面板，其他层由薄的不透明片组成，片上有网格状的孔。右：三种不同的孔层配置：（a）V形平面，用于在校准广角镜头时获得更好的覆盖范围，如左图所示，（b）青色，品红色和黄色层，用于使用颜色传感器生成叠加的对应关系，以及（c）最小的单平面配置。Zhang等人[31 ]第30段。由于平行平面不为该校准方法提供额外的约束，因此应避免平行平面，因此将掩模层旋转sev-x。孔的图像到透镜的距离。基于薄透镜模型方程[15]，我们有普通学位（cf.图1）。首先是对摄像头的1 11=+.（四）通过求解封闭形式的解来估计参数利用平面和摄像机之间的单应性。 该结果在非线性优化中得到进一步改进。fu v使用上面的等式，从3中去掉v，我们有如图所示[14]。虽然该方法用于内部校准，但外部信息，即，摄像机和个人之间的旋转和平移b′= （fu-su+ fs）a.（五）傅平面也被计算出来，可以用来估计透镜的放大倍率为M=b′。 所以使用镜头光圈直径以及焦距，在下文中列出。孔径尺寸如第2节所述。3.1由于散焦模糊，每个孔的图像在2和5，我们有b′M=Bfu−su+fs=fd.（六）相机结果，显示面板的几个像素几何关系如图所示。2，可以描述如下：让我们将孔与背景层的距离表示为d，将孔与照相机传感器的距离表示为u，将照相机的孔径尺寸表示为a。基于三角形的相似性[20]，显示面板的可见部分的尺寸（b）通过该孔，adb=.（二）u此关系可用于估计当前镜头的光圈设置。改变照相机光圈的效果如图所示。3 .第三章。Mohan等[20]显示每个孔的CoC的大小是b′=（v-s）a，（3）v其中s是传感器与镜头的距离，b'是相机的图像平面上的CoC的尺寸，并且v是相机的图像平面上的CoC的尺寸1112上述等式可用于估计s，其描述传感器到镜头的距离，这也允许我们计算焦平面到相机的距离。在Equ. 图2示出了显示器的可见部分的尺寸取决于相机的孔径尺寸以及孔与透镜和显示面板的距离。已经校准了内在和外在参数允许计算每个孔距透镜和显示面板的距离。通过估计相机的图像平面与显示器之间的像素有了这些信息，Equ。2可以用来计算镜头焦平面此外，使用我们的方法，我们可以找到焦平面到相机的距离。正如我们在上一节中讨论的，方程中的放大倍率缩放。6可以用于找到传感器与透镜的距离，其可以由等式6使用4求距离1113显示掩模层镜头传感器使用激光切割装置3形成小孔网格。为了确保它们是平面的，它们被集成到定制的3D打印的4个框架中，并放置在显示器上方1-3厘米我们还实现了一种彩色多路复用设置，其中三个孔平面彼此倾斜堆叠。每个平面由一个青色、洋红色或黄色的颜色文件组成图9. 延伸在相机的传感器上相交的光线焦平面。但是，由于b（通过每个孔的显示器可见部分的尺寸）和b′（CoC的尺寸）的计算误差，最终结果不够准确。为此，我们找到了一种更强大的替代解决方案。如前所述，每个孔的图像创建一个称为CoC的磁盘。假设这些孔的图像彼此重叠，如图所示。3.第三章。在这种情况下，来自不同孔的多条射线在相机的图像平面上的同一位置相交（图1）。第9段）。通过延伸这些光线，我们可以找到它们在相机焦平面上的交点。为了产生这些光线，需要知道显示器上的孔和像素但是不可能直接查找摄像机的图像平面和重叠区域中的显示器之间的对应关系，因为当显示格雷码图案时必须预先避免这种重叠效应，为了解决这个问题，首先假设孔的混淆圆彼此不重叠。通过显示格雷码图案（参见图1），秒4.2）检测通过每个孔的可见像素在图像平面上的位置。代替仅使用每个孔的中心对应关系，使用针对每个单独孔的相机与显示器之间的所有生成的对应关系来估计针对每个特定孔的显示器与相机像素之间的单应性。该单应性现在可以用于虚拟地扩展每个单独孔的图像。结果，可以产生孔的图像之间的虚拟重叠由于平面的旋转和平移在校准步骤期间是已知的，因此可以生成用于焦平面估计的所有所需光线表2）。5. 硬件原型该算法的评估使用三个硬件原型类型的基础上提出的设计在第3节。三个原型如图所示。（八）。发射背景层由通过HDMI 2控制的6每个像素的大小近似为0。051毫米。阻挡层是使用黑色纸张实现的，该纸张上穿孔有2Topfoison TF60010ATER5，使得照相机从不同层捕获红、绿和蓝色点。这具有的优点是，它能够生成具有固定的、未改变的设置的叠加平面。6. 评价和讨论通过将其与[31]的方法进行比较，评价了拟定校准的准确度。以不同方向捕获棋盘的30个图像，并使用Bouget [4]实现的工具箱进行校准。用样机对所提出的方法进行了测试(a)（参见图8）使用多个镜头和相机（参见表1）：佳能1100D与三个不同的镜头范围从14毫米到40毫米，一个行动相机（GoPro英雄2），和智能手机相机（LGV10）.在所有设置中，两种方法的结果相当。还评估了100 mm DSLR镜头（Canon EF 100 mm f/2.8）。对于后者，得到的焦距也与参考相当（fx 22252.54 vs.21802.86，fy：22262.68与21801.98），然而，通过这种组合，达到了当前原型的极限，因为即使具有最小孔径尺寸，由于大CoC所需的相对宽的孔间距，其仅能够产生少量的对应。为了解决这个问题，需要一个更大的背板来更可靠地校准这样为了估计第12节中所述孔径尺寸计算的准确性，4.3，安装在佳能数码单反相机上的24mm镜头被用来比较手动设置的光圈直径与一系列f制光圈的估计直径。如图10，所有评估的孔径直径都与地面真值密切匹配。使用相同的硬件来估计焦平面距离估计的准确性。表2中给出了结果与实测地面真值的比较在下文中，我们将解释如何通过我们的方法获得用于评估计算的孔径尺寸和焦平面的地面实况数据光圈大小首先，我们使用传统的棋盘校准来计算相机的焦距，如果可以的话，从相机和镜头信息中获得f数。因此，我们可以使用以下公式来计算相机的光圈大小：光圈大小=焦距/光圈数。结果3Epilog HELIX 24x18，60W4 Stratasys Connex 350，材料：数字ABS5柯达Wratten彩色滤光片#44A、#32、#121114表1. 使用所提出的方法的原型的校准结果的比较（参见图8）和张提出的算法：fx和fy是相机在水平和垂直方向上的焦距。（cx，cy）是相机的主点的坐标，并且k1. k4是四个估计的失真参数Canon EF-S 24mm f/2.8Canon EF 40mm f/2.8Samyang 14mm f/2.8LGV10 4.4mm f/1.8GoPro英雄2窄原型（a）棋盘原型（c）棋盘原型（b）棋盘原型（b）棋盘原型（b）棋盘FX4871.864766.927654.277521.662821.822839.234027.873996.921964.381903.76FY4875.974748.657654.697498.102822.462828.434026.393977.371980.311924.59CX2172.702161.982073.932147.742147.652144.772689.622626.58975.03945.47Cy1396.461419.371393.931429.391411.671404.271480.871502.02583.19588.38K1-0.16321-0.12474-0.05305-0.03691-0.13445-0.11572-0.006180.02290-0.38539-0.3713K20.069610.12403-0.02518-0.080910.049710.032800.07026-0.060920.193800.2103K30.00137-0.000160.000780.00157-0.00038-0.00043-0.00052-0.001020.000910.00085K4-0.001140.000600.001060.001120.00174-0.001320.00092-0.00218-0.00232-0.001754.543.532.521.510.505.6 6.3 7.1 8 9 101113.3314表3.重投影误差比较[像素]该方法棋盘法24mm f/2.8[0.85979 0.74322][0.40055 0.46826]40mm f/2.8[0.51382 0.58675][0.36577 0.49497]14mm f/2.8[0.36540 0.34291][0.21734 0.25747]4.4mm f/1.8[2.06272 1.42654][1.81404 1.40415]GoPro Hero[0.35966 0.37716][0.20676 0.22861]我们的结果4.3363.83843.43922.92172.78562.5032.26791.88221.7423真实数据4.42353.9323.4893.09652.75242.47722.2521.85831.7694f数图10. 与地面真实值相比的估计孔径大小。表2. 相机焦平面的估计距离实际上，即测量，距离。拟定方法（cm）31.841.4150.7657.0265.55地面实况（cm）3040506070这个方程的计算孔径大小来自我们的方法进行比较。以及繁琐和冗长的手动校准过程。我们展示了从广角镜头到远距光学系统的各种不同配置的精确和可重复的校准，这与专家棋盘校准不相上下。除了可以用以前的方法校准的本征函数之外，我们还可以估计焦平面以及孔径的大小，因为我们采用定向编码光进行校准。焦平面首先，我们在离相机任意距离处放置一个棋盘，然后调整相机使其聚焦到棋盘上并对其拍照。我们还从不同的方向拍摄棋盘的几个其他图像，允许我们使用传统的棋盘校准方法来校准相机，并且还找到平面相对于相机的位置。然后我们可以在第一幅图像中找到飞机到相机的距离。然后，在不改变相机焦点的情况下，我们使用我们的校准方法来估计焦平面的距离。重投影误差我们的方法的重投影误差也进行了比较张的方法。为此，我们使用我们的方法的结果，在15个不同的图像中重新投影棋盘的角平均误差见表3。7. 结论在本文中，我们提出了一种新的，全自动的方法，使用一个小的设备直接安装在镜头前的这大大简化了校准，否则需要专业知识图11. 左：3D打印的样品一体机原型，带有镜头接口和智能手机作为显示面板。右：根据CAD图像。由于所提出的方法除了作为现有技术智能电话的标准组件的高分辨率显示器之外不需要任何专用硬件，因此可以通过使用嵌入到保持孔层的框架中的高分辨率显示器来实现。 我们3D打印了这样一个带有智能手机的样品校准设备，以及使用过滤器线程的镜头安装，如图所示。11个国家。我们设想，我们提出的方法可以成为一个标准的校准工具。在未来，我们计划研究如何使用这种方法提取进一步的信息，如镜头像差伪影，确切的光圈形状，以及光谱波长相关的问题。孔径（mm）1115引用[1] B. Atcheson，F. Heide和W.海德里希Caltag：用于相机校准的高精度基准标记。In R. 科赫A. Kolb，和C.Rezk-Salama，editors，VMV，pages 41欧洲制图协会，2010年。2[2] J. P. Barreto，J.罗凯特山口Sturm和F.丰塞卡应用于医学内窥镜的摄像机标定。2009年英国机器视觉会议论文集，（20091000069650）：52.1-52.10，2009。3[3] Y. Bok，H.哈，我也是。S.奎恩使用圆形边界的自动棋盘检测和索引。模式识别Lett. ，71（C）：66-72，Feb.2016. 2[4] J. Y. 布盖Matlab的相机校准工具箱，2008年。二、七[5] D. C.布朗米制照相机的偏心畸变和确定校准美国摄影测量工程学会年会，1965年。2[6] D. C.布朗近距离摄像机校准。 摄影测量工程，37（8）：855-866，1971. 2[7] O. 崔，H。Lim和S.C. 安用于智能投影仪的灰度编码图案图像的鲁棒二值化2016年国际电子、信息和通信会议（ICEIC），第1-4页，2016年1月。5[8] R. Cipolla，T. Drummond和D.罗伯森从建筑场景图像中的消失点进行摄像机校准，1999年。2[9] A. E.康拉迪偏心透镜系统。皇家天文学会每月通知，卷。79，第384 -390页，1919年。2[10] A. Datta，J. Kim和T.卡纳德利用控制点迭代重定实现摄像机精确标定。2009年视觉监视研讨会（与ICCV联合举办）。，October 2009. 2[11] M. Fiala和C.蜀用于平面摄像机标定的自识别模式。Machine Vision and Applications，19（4）：209-216，2008. 2[12] S. 加里多-茹拉多河M. noz Salinas，F.马德里-奎瓦斯，以及M. 吉 姆 妈妈的 鼻子。在遮挡情况下自动生成和检测Pattern Recognition，47（6）：2280- 2292，2014. 2[13] H.哈，Y。Bok，K. Joo J. Jung和我S.奎恩基于智能手机的相机离焦精确标定. 2015年IEEE计算机视觉国际会议（ICCV），第828-836页，2015年。2[14] R. Hartley和A.齐瑟曼。计算机视觉中的多视图几何。剑桥大学出版社，剑桥，2003年。选择附件中的文件。6[15] E. Hecht和A.扎雅克光学.艾迪生-韦斯利世界学生系列赛。Addison-Wesley，1987年。6[16] R. Jacobson，S. Ray，G. Atenum和N.阿克斯福德摄影手册。泰勒·弗朗西斯2000年3[17] K. Kanatani，Y.Sugaya和Y.金泽计算机视觉的椭圆拟合 ： 实 现 和 应 用 。 计 算 机 视 觉 综 合 讲 座 。 MorganClaypool Pub- lishers，2016. 5[18] V. A. V.Lixia Yang，Chao Tian and A. R.瑞布曼一种用于摄像机标定的网格角点自动提取技术。2012年第19届IEEE图像处理国际会议，第349 - 352页，2012年。2[19] A. Maimone，D. Lanman，K. Rathinavel，K. Keller，D.Lue- bke和H.福克斯Pinlight显示：使用散焦点光源的宽视野增强现实眼镜。ACM事务处理图表，33（4）：89：1-89：11，2014年7月。2[20] A. Mohan，G.吴，S。Hiura，Q. Smithwick和R.拉斯卡Bokode：用于基于相机的远距离交互的不可感知的视觉标签。ACM事务处理图表，28（3）：98：12009年7月 二、六[21] M. Mühlich和T. 啊 用于相机校准的高精度特征检测：一种多方向可控的方法。在F. A. 汉普雷希特角 Sch no？r和B. Jaehne，编辑，Pat-tern Recognition：29th DAGM Symposium，Heidelberg，Ger- many，September 12-14，2007。会议记录，第284-293页，柏林，海德堡，2007年。施普林格柏林海德堡。2[22] OpenCV。开 源 计 算 机 视 觉 库 。 https ：//github.com/itseez/opencv，2015. 2[23] Y. Oyamada，P. Fallavollita，and N.纳瓦布基于随机点标记跟踪算法的部分可见标定物单摄像机标定。在ISMAR，亚特兰大，美国，2012年11月。2[24] A. Richardson，J. Strom和E.奥尔森 AprilCal：按需和可重复的相机校准.在IEEE/RSJ智能机器人和系统国际会议（IROS）上，2013年11月。2[25] J. Salvi，S. Fernandez，T. Pribanic和X.利亚多用于表面轮廓术的结构光图案的技术状态模式识别，43（8）：2666-2680，Aug. 2010. 5[26] I. Schillebeeckx，S.路易河Pless和S. Louis.用于增强现实的透镜阵列单图像摄像机标定。2016. 3[27] N. Snavely，S.M. Seitz和R.塞利斯基从互联网照片集中模 拟 International Journal of Computer Vision ， 80（2）：189-210，2008. 1[28] H. Urey，K. V. Chellappan，E. Erden和P.苏尔曼立体显示器和自动立体显示器的技术IEEE的Pro-CENTRAL，99（4）：540-555，2011年4月。2[29] Y. Xiao和B.费雪。单镜头摄像机标定中的精确特征提取和飞机目标。2010. 2[30] L. Yang，J. M. Normand和G.莫罗局部几何一致性：一种通用的基于点模式的跟踪算法。IEEE Transactions onVisualization and Computer Graphics，21（11）：1299-1308，2015年11月。5[31] Z.张某通过从未知方向查看平面进行灵活的相机校准。ICCV，第666-673页，1999年。一、二、四、五、六、七