基于机器学习的摄像机标定方法的评价和应用

沙特国王大学学报基于机器学习Safouane El Ghazoualia，Alain Vissierea，Louis-Ferdinand Lafona，Mohamed-Lamjed Bouazizib，Hichem Nouiraa，aMateratoire Commun de Métrologie（LCM），Materatoire National de Métrologie etb沙特阿拉伯，Alkharj 16273，萨塔姆·本·阿卜杜勒阿齐兹王子大学，机械工程系，工程学院。阿提奇莱因福奥文章历史记录：接收日期：2022年2022年5月25日修订2022年6月17日接受2022年6月24日在线提供关键词：机器视觉摄像机标定机器学习多项式回归摄影测量光学测量尺寸测量3D扫描A B S T R A C T在工业4.0中，越来越多地采用基于摄像头的扫描系统对大型机械零件进行实时检测它导致在制造过程中采取预防措施，然后根据指定的公差第一时间正确制造机械零件因此，使用基于相机的扫描仪需要初步校准过程。它包括估计所需的内部和外部参数的3D世界点，其在图像平面上的投影由于标定网格位姿的选择影响标定质量，提出了一种基于机器学习的方法（ML-方法），包括6自由度（DoF）的拒绝误差函数的多项式逼近和粒子群优化（PSO）。合成和实验评估已进行，同时评估所提出的ML方法的性能。综合评价表明，与最近发表的Wizard（CW-方法）和Rojtberg（R-方法）校准方法相比，本征和外征参数的收敛性更好ML方法的实验评估显示平均误差RE12lm和亚微米重复性，证实了使用机器视觉的好处-基于扫描系统的大体积零件实时检测©2022作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍机器视觉是一个不断发展的工业领域，基于部署用于扫描应用的相机，包括先进的制造过程、质量控制操作、装配过程等。特别是，机器视觉系统（相机）具有实时扫描大型复杂机械部件的优势。因此，其导致不期望的异常的过程中检测（Malamas等人，2003年），如在未来工业中采用的零缺陷制造和零废物概念中所述，并得到欧洲委员会的支持（Psarom et al.， 2021年）。*通讯作者。电子邮件地址：safouane. lne.fr（S.El Ghazouali），hichem.nouir-a@lne.fr（H.Nouira）。沙特国王大学负责同行审查根据Matthews（2018）的说法，相机可以用于两种应用：近距离或大范围（航空）摄影测量。每个应用程序都有其特定的校准方法。因此，Fraser（1997）研究了一种用于与无人机摄影测量城市制图相关的中、大范围应用的通过场景的非结构化图像估计相机的内部参数。虽然，Luhmann et al. （2013）和Ruther et al.（2013）提出了一种用于近距离摄影测量的几何相机校准方法，该方法基于对校准棋盘的观察，以提供针孔参数的准确估计。因此，几何相机校准是估计在成像传感器上形成场景的图像所必需的相机参数的过程这些参数可以分类为：（1）描述相机内部几何形状的内部参数，如焦距，主点和镜头失真（2）定义相机相对于真实世界坐标系的位置和方向的外部参数（Burger，2016）。研究了用于大型复杂结构精密检测的近景摄影测量标定方法https://doi.org/10.1016/j.jksuci.2022.06.0111319-1578/©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comS. El Ghazouali，A.维西埃湖F. Lafon等人沙特国王大学学报7407YY.Σ.Σ.ΣAB@ZCAB@ZCM.Σ机械零件实施的校准技术通常应用透视模型（也称为针孔模型）（Sturm，2014年），表示为等式（一）.0u1 0fu s cu1 0r11r 12t110X1 0X1B@vCA¼B@0fvcvCA：B@r21R2210 01R32R31t2CBC¼£：PBC不311其中：ð1Þ- fufv分别是水平和垂直像素单元中的焦距，- cu;cv是主点- s是偏度系数- u;v是投影在图像平面- X;Y;Z是点的真实世界坐标- P分别是从世界坐标系到摄像机坐标系的固有矩阵和刚性变换一种灵活且准确的实现技术是Zhang校准方法“Z方法”（Burger，2016; Feng等人，2008;Ricolfe-Viala和Sanchez-Salmeron，2007），通常用于校准机器视觉系统。Z方法基于利用具有称为校准网格（棋盘、圆板等）的已知图案的平坦表面。校准过程满足如图1所示的六个步骤：（1）获取数字在几个姿势下的校准网格的图像。(2)特征点检测（Jiang，2012; Sánchez等人，2018年）。(3)使用直接线性变换的同形估计（Dubrofsky，2009 ）。(4) 使用奇异值分解（Klema和Laub，1980）识别针孔参数。(5)全局优化（Datta等人，2009年）。最后（6）满足一定阈值的重投影误差重投影误差标准，表示在方程。（2），可以关于以下步骤计算：步骤1：在摄像机视场（FoV）中定位校准网格● 步骤2：确定校准网格点的坐标uj;vj通过应用诸如Harris角检测器（Sánchez等人， 2018年）● 步骤3：使用可追踪的光学坐标测量仪可追踪地识别校准网格点的坐标Xj;Yj测量机（光学三坐标测量机）Fig. 1.基于Z方法的成像传感器校准过程的流程图。平均重投影误差RE可以使用等式来计算其中m是在集合中使用的校准网格图像的数量。MRE¼1XRE1/1ð3Þ● 步骤5：使用透视模型在图像平面上重新投影校准网格点的Xj;Yj投影函数记为P u和Pv。步骤6：计算对应于以下的重投影误差在步骤2中检测到的点的坐标之间的差 uj;v j以及步骤5中的投影网格点.Pu。E;Pi;Xj;Pv. E;Pi;Yjj）已经提出了许多研究来使校准过程自动化（Douskos等人，2008）和提高Z方法的准确性，包括特征点检测的优化（El Ghazouali等人，2020年; Hoffmann等人，2017年; Liu等人，2017）和每个图像 的 棋 盘 视 图 的 优 化 （ Grammatikopoulos 等 人 ， 2019 年 ） 。Rojtberg和Kuijper（2018）研究了相机FoV中校准网格的姿态数量的影响，并建立了相关性2Xn-10.Y！2一、.Y！21一、所选姿态和校准不确定性之间的关系Rojtberg和Kuijper（2018）提出了一个额外的互动REi ¼ j¼0 @jui;j-Pu E;Xjjjvi;j-Pv E;YjjA2校准称为（R-方法）的基础上选择有效的相对于下一姿态生成协议的姿态，而每形成稳定的校准。下一姿态生成协议考虑与避免的引脚相关的一些预定义约束。其中：Pu;Pv是网格点重投影的坐标在估计针孔参数之后，● n是校准网格空穴模型奇异性针孔奇点被定义为许多固有参数估计不准确的姿势。这一方法的主要限制因素如下：●●●● 步骤4：应用Zhang算法来提取内在矩阵E和外在矩阵P我S. El Ghazouali，A.维西埃湖F. Lafon等人沙特国王大学学报7408我B-¼≤≤M我我M我(1) 在估计精确焦距的同时，沿着所述光轴选择多个校准网格姿态。(2)覆盖整个相机视场时，采取的图像，REi ¼fðKiÞð5Þ其中ai;b;ci是方向，ttXi;tYi;tZi是transla，校准网格，同时改善失真系数估计。即使这些约束导致改进校准过程，它们也不足以优化所有针孔参数。Peng和Sturm（2019）提出了一种Z方法的迭代优化技术，称为校准向导（CW）。CW过程通过初始化张氏算法开始随机视图，然后在每次迭代时用一个新的标识更新分别沿x轴、y轴和z轴的校准网格的截面f是多项式回归。对于具有六个变量Ki的次数为D的多元多项式回归的情况，多项式模型被公式化为等式2。（6）和（7）。fKi^f KieKi6^^22基于雅可比矩阵计算确定的最佳位姿CW方法返回更好的估计相机的内部参数（焦距，主点和失真系数），并在不受控制的环境中表现良好然而，主要的缺点是处理时间。此外，给定的CW结果取决于基于随机选择三个姿势/图像的初始化步骤，这降低了固有参数的估计不确定性。因此，本文的结构如下：第2节详细介绍了所提出的基于机器学习（ML）技术的数学方法。第3节中给出了应用虚拟相机和模拟校准网格的模拟和综合评估结果。最后，在第4节中报告和讨论了实验校准测试和结果。2. 理论方法论机器视觉系统的校准允许一次估计场景的3D重建所必需的针孔参数（或固有矩阵E）。所提出的基于ML的方法旨在优化相对于校准网格的相机姿态，以最小化重投影误差（图2），从而提高估计的针孔参数的准确性3. 基于ML的多项式逼近外部向量Ki的基于回归的ML函数（等式2）（4））或姿态被选择用于对重投影误差的演变进行建模（等式（4））（5））。Ki½ai;bi;ci;tXi;tYi;tZi]423bi ···其中f是预测的多项式函数，e是多项式回归残差。因此，针对多个姿态收集了大量的校准网格图像。然后，应用Z方法识别外部参数和相关的重投影误差，并建立ML算法的学习基础。基于（Lu，2010），学习库被分成两个数据集：70%的图像被用作训练集，而剩下的30%的图像是测试集。由于学习基包含有限数量的输入和输出，单一分层分裂策略的应用是不合适的，以达到准确的估计算法的性能。在这种情况下，（Xu和Goodacre，2018）强调了将训练集/测试集相乘而不是使用单一分割的好处。因此，通过采用Berrar（2018）中描述的交叉验证方法，加强了分层训练/测试划分的可靠性。它通常涉及数据集的随机分层恢复，以评估预测模型的能力并防止过度拟合。在k折交叉验证中，学习基被划分为k个大小近似相等且没有重叠的不相交子集，如图3所示。多元多项式回归模型使用k1个子集进行训练，然后应用于剩余子集（或验证/测试集），并测量性能。重复该过程，直到k个不相交子集中的每一个都被用作验证集。所实现的交叉验证方法被应用于诸如优化多元多项式回归的次数D（1D 14）。 选择的标准是平均绝对误差（MAE），用公式表示。（八）、训练和测试MAE的演变导致选择多项式模型的适当程度。根据图4，当多项式阶数增加。试验曲线也逐渐减小，直到多项式次数达到D10时，曲线才再次上升.这是由于过度拟合（Raghav，2021）定义为描述数据中噪声的多项式模型，而不是基础模型。MAE¼1XjRE-^fKi8图二.重投影误差与方向的a和b图三. k-fold cross-validation原理1/1S. El Ghazouali，A.维西埃湖F. Lafon等人沙特国王大学学报7409ðÞ我-我--半]半]半]我其中jj·· ·jj是向量范数。×我我我我我--定义由每个粒子在每次迭代k获得的最佳值的个体行为，（3）全局分量是由整个群找到的最优值，在每个新的全局最优值更新。V--K！-V！k1.1r1.-P！K X！kc2r2.-G！K X！k11见图4。应用k折交叉验证方法时MAE与多项式次数的演变（CI为置信区间）。4. 外参数的粒子群优化适当的外部参数的提取可以通过求解关于以下线性和非线性条件的约束最小化问题来获得- 校准网格的可见性：该标准由等式中表示的不等式定义。其中，Umax;Vmax是成像传感器的尺寸：- 小维t：粒子在迭代k时的速度矢量- w：惯性权重- c1;c2：认知和社会加速（正常数）- r1;r2：从均匀分布中采样的0;-P！k：与粒子i相关的最佳个体位置- 克！k：与粒子组相关联的最佳位置，群PSO使用有限数量的参数。任何群中的粒子数通常根据问题的复杂性来选择，通常在20; 50的范围内（Piotrowski例如，2020年）。（Bansal等人，2011; Maurya等人，2019）揭示了最佳惯性重量（w）范围0：4; 0：9可以保证一个con-mix。收敛到最小。 认知和社会加速系数c1; c2通常设置为0.7（Alshareef等人， 2019年）。在图5中示出了所建议的完整流程图，其中涉及三个步骤：（1）获取步骤，其中拍摄校准网格的一组图像以便构建学习库。（二）采用Z方法提取所需的输入/输出数据，（ui;j-Pu. 最大值9.执行多项式回归。它包括重新投影vi;j-Pv. E;Pi;Xj<：>个校准测试12345678910MLminREi0.200.150.080.180.220.100.150.220.170.110.043RE0.370.270.230.400.290.210.240.380.250.180.049maxREi0.770.470.510.620.430.560.600.540.410.360.059S. El Ghazouali，A.维西埃湖F. Lafon等人沙特国王大学学报7417X1D¼k-k阿吉·K·KX1D¼D吉吉~tDi-Di1公司简介ðÞ表4相机内部参数估计的重复性试验评价校准指数fulmfvlmcupixelcvpixelk1k21 7863.0 7863.1 627.0 526.4- 0.063 0.059..............20 7863.0 7863.2 627.0 526.3- 0.059 0.062平均值7868.7 7868.6 627.2 526.5-0.063 0.052标准差8.6 8.6 0.6 0.6 0.005 0.009对在摄像机FoV中间收集的棋盘格的一个验证图像进行评价，并与成像传感器平行。新估计的外部参数导致提取感兴趣点的坐标。PX Y 15Pk1图18中报告了沿着棋盘的x轴和y轴的误差分布所获得的平均误差D约为11.68升此外，校准过程重复20次以评价平均误差D的重复性。每个测试包含18个最佳姿势时，应用ML方法提取平均误差和标准差，分别在方程中表示。（16）和（17）等于~0.04lm，11.9lm（表3）。估计的平均误差值与可接受的目标公差相比，根据标准（ISO2768-1，1989），制造航空领域的大批量零件。N16Nk¼1vuPNSD¼ð17Þ参数所得到的参数是更准确的应用时，建议ML的方法相比，最近公布的CW和R-方法。总体而言，ML方法返回的结果误差百分比低于CW方法和R方法返回的结果误差的30%，同时验证了ML方法的可行性。进行了实验测试，以验证ML方法应用于一个选定的工业单色相机的有效性。使用可追溯至SI米单位的Micro-Vu Excel光学CMM校准印刷有棋盘的陶瓷校准网格使用估计的摄像机参数识别感兴趣点的坐标，并与光学CMM给出的参数进行比较结果的比较ML-方法被证明是准确的摄像机标定在受控照明条件下。然而，这可能是耗时的，特别是当采用大型学习基础时。竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。返回的内部参数结果见表4。标定后的摄像机焦距估计值为7： 87mm，标准差为8l m。 两者的值由于使用像素形式为正方形的CMOS传感器，fu和fv可以看出，内参数的估计是可重复的，因为焦距 fu和fv的相对标准偏差估计为~0.1%，cu 的 相 对标准偏差估计为~0.09%，cv的相对标准偏差估计为0.11%。设φ 640;512φ为图像中心的标称值，主点配对坐标c u;cv 约为（627.2，526.5）（表4）。观察到的标称值和估计值之间的偏移似乎是由工业单色相机的缺陷引起的，包括光学非球面透镜的几何误差、机械部件的装配误差、光学透镜的未对准等。7. 结论提出的ML方法是一种基于最优位姿识别的Z方法的优化方法。 它包括两个步骤：（1）多元多项式回归用于建立外部参数和重投影误差之间的关系，以及（2）PSO最小化，其包括在线性和非线性约束下提取多项式的最小值。使用合成数据集对ML方法的性能进行了数值评估。使用模拟棋盘校准虚拟相机，并将所得参数与预定义针孔（内在和外在）进行比较。本研究由欧洲项目17IND03：LaVA下的JRP（联合研究项目）资助。该项目得到了欧洲计量创新与研究计划（EMPIR）的资助。作者要 感 谢 来 自 NPL 、 GUM 、 VTT 、 INRIM 、 ISI-CAS 、 IK 4TEKNIKER 、 FIDIA 、 WZL 、 AACHEN UNIVERSITY 、 MAPVISION 、RI-SE和SAAB的LaVA合作伙伴引用Alshareef，M.，林芝，妈妈，M.，Cao，W.，2019.加速粒子群算法在部分遮光条件下 光 伏 最 大 功 率 点 跟 踪 中 的 应 用 。 能 源 12 ， 623。https://doi.org/10.3390/en12040623网站。Bansal，J.C.，辛格，P.K.，Saraswat，M.，维尔玛，A.，Jadon，S. S.，Abraham，A.，2011.粒子群优化算法中的惯性权值策略。2011年第三届世界自然与生物启发计算大会（ Third World Congress on Nature and Biologically Inspired Computing）2011年第三届世界自然与生物启发计算大会（Third World Congress on Nature andBiologicallyInspiredComputing）633-640https://doi.org/10.1109/NaBIC.2011.6089659网站。Berrar，D.，2018.交叉验证。https://doi.org/10.1016/B978-0-12-809633-8.20349-X.汉堡，W.，2016. Zhang's Camera Calibration Algorithm：In-Deep Structures andImplementation. 上 奥 地 利 应 用 科 学 大 学 信 息 学 、 通 信 与 媒 体 学 院 。https://doi.org/10.13140/ RG.2.1.1166.1688/1。Coath ， G. ， Halgamuge ， S.K. ， 2003 年 。 A comparison of constraint handlingmethods for the application of particle swarm optimization to constraintnonlinear optimization problems ， in ： The 2003 Congress on EvolutionaryComputation，2003.CEC '03。在2003年进化计算大会上发表。CEC '03.，pp.2419-2425卷4。https://doi.org/10.1109/ CEC.2003.1299391。达塔，A.，金，J. -美国，Kanade，T.，2009.使用控制点迭代细化的精确相机校准，在：2009 IEEE第12届计算机视觉研讨会，ICCV研讨会。2009年IEEE第12届确认S. El Ghazouali，A.维西埃湖F. Lafon等人沙特国王大学学报7418计 算 机 视 觉 研 讨 会 国 际 会 议 ， ICCV 研 讨 会 ， pp 。 1201-1208.https://doi.org/10.1109/ICCVW.2009.5457474的网站。Douskos，V.，卡利斯佩拉基斯岛Karras，G.，Petsa，E.，2008.全自动相机校准使用定期平面图案。ISPRS - Int. Arch. Photogramm.远程传感器Spat INF. Sci.Dubrofsky，E.，2009.单应性估计。El Ghazouali，S.，Vissière，A.，Nouira，H.，2020.使用可追踪人工制品进行相机校准的计量方法2。Feng，X.，中国科