基于几何距离准则的拟合散点数据方法

0AASRI Procedia 6 (2014) 41 – 4802212-6716 © 2014年作者。由Elsevier B.V.出版。本是根据CCBY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/3.0/）.由美国应用科学研究所科学委员会负责同行评审。doi：10.1016/j.aasri.2014.05.0070ScienceDirect02013年第二届AASRI计算智能和生物信息学会议0一种基于几何距离准则的新拟合散点数据方法0Guowei Yang*，Jia Xu0中国南昌航空大学信息工程学院，邮编3300630摘要0基于最小二乘法的传统数据拟合方法对于独立变量是随机的矢量数据拟合效果不佳。因此，本文提出了一种新的数据拟合准则，即几何距离的最小二次和，并提出了基于该新准则的新拟合散点数据方法。同时，本文提出了用于解决数据拟合参数的优化算法。仿真实验表明，新方法的拟合精度比独立变量是随机的矢量数据拟合的最小二乘法的拟合精度更高。0关键词：数据拟合，数据拟合最小二乘法准则，几何距离；01. 引言0在实验科学、社会科学、行为科学和实际工程领域，如计算机辅助设计、制造、虚拟现实、医学成像等领域，实验、调查或测试经常会产生大量数据。为了解释这些数据或根据这些数据进行预测、判断，为决策者提供重要依据，我们需要进行数据拟合0*通讯作者。电话：+86-791-83953432；传真：+86-791-83953432。电子邮件地址：ygw_ustb@163.com。0可在www.sciencedirect.com上在线获取0© 2014年作者。由Elsevier B.V.出版。本是根据CCBY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/3.0/）.由美国应用科学研究所科学委员会负责同行评审vygx��)(.0数据拟合建模经常针对调查数据，寻求能够近似反映数据变化规律的函数（模型）。关于数据拟合及其应用已有悠久历史和丰富成果[1-3]。在线性数据拟合中，我们经常使用最小二乘法来获得数据拟合参数。原因在于，如果拟合模型符合高斯-马尔可夫假设条件，最小二乘法可以获得具有良好统计性质的拟合参数，如无偏性、均匀性、最小方差等。然而，实际测试数据变化多端，而且进行数据拟合的目的也各不相同，精度要求也不同，因此使用最小二乘法进行数据拟合的结果无法达到要求的目的。例如，由于偶然异常误差或数据概率分布偏离正态分布，会出现一些异常数据，如果我们使用最小二乘法的回归分析结果，将会失去其良好的统计性质，这种情况的一个解决方案是使用具有稳定性能的准则函数[4-5]。此外，在线性拟合过程中，与散点实际分布趋势相比，许多领域中由最小二乘法确定的直线都存在稍小的斜率现象，特别是样本散点的波动稍大时，这种现象更加明显。原因在于，当我们对参数估计使用普通最小二乘法时，我们有以下准则：选择一个方程，其范围差异平方和为�������������������������������������������������������������������������������������������������0观测值和估计值之间的因变量最小的线性方程。其几何意义是：找到一条直线，使得观测值的散点与这条直线之间的纵向距离平方和最小，从所有可能的直线中找到。正因为目标是使得散点与这条直线之间的纵向距离平方和最小，而不是使得散点与这条直线之间的几何距离（垂直距离）平方和最小，这导致估计的直线具有小的倾向[6]。在最小二乘法理论的背景下，我们可以发现使用最小二乘法进行数据拟合时的隐含默认前提假设：因为样本的因变量受到随机扰动项的影响，它是随机波动的，而样本的自变量不是随机的，即散点偏离线性方程，完全是因为散点在因变量的波动方向上波动，而不是在所有因变量的波动方向上的综合效应。因此，直接使用最小二乘法进行数据拟合而不考虑前提假设条件，难怪我们会得到有偏差的拟合方程。不同的方法产生不同的结果，然而不同的方法建立在不同的前提假设基础上。因此，每种方法本身不能说在这个问题上谁是对的，只能说谁的前提假设更合理。在实际生活中，模型通常有两种关系，即：（1）明确的关系模型，即，在散点� x , y �，x和y有明确的关系（即：x是自变量y是因变量或y是自变量x是因变量）0（2）自变量是随机变量模型，即，在散点� x , y � ，0x和y的主次关系是模糊的，不清晰，自变量和因变量并不总是非常清晰地区分。例如，人的身高和体重的关系，这两个变量的程度完全协调，不仅有� � � f  ( x ) y ，还有0显然，最小二乘法不适用于所有线性拟合模型参数估计。因此，0对于第二种模型，我们通常不使用最小二乘法准则拟合。为了解决自变量为随机变量模型的拟合问题，近年来，许多科学技术工作者对最小二乘拟合方法进行了大量研究，并取得了丰硕的成果。例如，主成分回归（PCR），偏最小二乘（PLS），各种非线性主成分回归（NLPCR），各种非线性偏最小二乘（NLPLS），神经网络方法以及这些方法的综合等，在当前项目中实际应用相当广泛[4-043  郭伟杨和贾旭 /  AASRI Procedia  6 ( 2014 )  41 – 480工作者进行了大量研究，并取得了丰硕的成果。例如，主成分回归（PCR），偏最小二乘（PLS），各种非线性主成分回归（NLPCR），各种非线性偏最小二乘（NLPLS），神经网络方法以及这些方法的综合等，在当前项目中实际应用相当广泛[4-09] .在本文中，我们在进行散点拟合时没有使用上述文献提到的方法，而是使用几何距离平方和的最小值作为新的拟合标准，提出了一种基于新标准的新数据拟合方法。在这种方法中，包括模型变换，将拟合参数解决方案转化为“约束优化问题”，并提供拟合参数解决方案算法。模拟实验表明，拟合参数解决方案算法是可行和有效的；在独立变量为随机变量向量数据的数据拟合中，我们可以通过使用新的数据拟合方法而不是最小二乘法获得更高的拟合精度。02. 一个新的数据拟合准则和新的数据拟合方法0问题：给定线性关系变量，2 1 X  � X X n在n维空间中有实验或观测数据（带有误差）：�in�iixxx，，，21�，i�，1�，N�N�n�，求解XnX，21的实际线性关系公式。0通过最小二乘法建立XnX，21的线性关系公式n n X n X X� � � � � � � 2 2 1：假设1 X0是自变量，并且XnX，2是固定变量（表示实验或观测数据没有误差）。证明了，在这种假设下，最小二乘法进行数据拟合是非常有效的。然而，在许多情况下，这种假设是不满意的，有时自变量XnX，2是随机变量，有时XnX，21不能区分哪个是因变量，哪个是自变量。当自变量XnX，2是随机变量，或者XnX，21不能区分哪个是因变量，哪个是自变量时，我们自然地将其隐含函数关系联系起来，即，在n维空间中变量XnX，21的线性关系可以表示如下，00 2 2 1 1 � � � � b a X a X a X n n�                                                                                                        (1)0其中 a n a a 2  � 1 ，不全为0。在超平面a n  X  n a X a X� � 2  � 2 1 1�  b �  0的上方或周围的数据向量�in�iixxx，，，21�N�i,,12,�。00 2 2 1 1 � � � � b a X a X a X n n �  in  n维空间中可以进行向量数据拟合，其中 b a a a n , , 2 1是一些不确定的参数。直观且易于推测的超平面选择标准是：距离（或距离）的最小二次和从�in�iixxx，，，21�N�i,,12,�到超平面0 2 2 1 1� � � � b a X a X a X n n�。0定义 1：称数据点到超平面的距离��Ni,,2,1�� (2) ��inibJ12211Divide 22221naaa���� on each side of (1) equation synchronously, and suppose 22221njjaaaaa�������nj,,2,1��,22221naaabb�����,then (1) equation can be changed into: 02211�����bXaXaXann� (4) and122221����naaa�. In a similar way, (3) equation can be changed into: ��������������������NiinniiNininniiNiibxaxaxaaaabxaxaxaeJ1222111222221221112���Hence, data fitting model can be changed into the following optimization model: 044     郭伟杨和徐佳 /  AASRI Procedia  6 ( 2014 )  41 – 480b a x a x a x e� � �0是），（2 1 nj j j x x x�  到� � � a n  X  n a X a X 2  � 2 1 1 b � 0的几何距离。0定义 2：定义数据拟合的评价函数为0定义 1：称数据点到超平面的距离0定义 2：定义数据拟合的评价函数为0称minJ为几何距离准则（新的数据拟合准则），即最小二次几何距离准则。接下来，我们将根据最小二次几何距离准则给出新的数据拟合方法。基于最小二次几何距离准则的新数据拟合方法主要包括以下两个部分：（a）数据拟合优化模型（b）数据拟合优化模型解决方案 数据拟合优化模型45 Guowei Yang and Jia Xu / AASRI Procedia 6 ( 2014 ) 41 – 48 ��01..min22221122211�����������nNiinniiaaatsbxaxaxa����Ni,,2,1�� (5) Where baaan,,,,21�are some uncertain parameters. ��iniixxx�21,,Ni,,1 �� are N known data scatter-points. Data Fitting Optimization Model Solution By extremum solution theory, formula (5) can be transformed into Lagrange function: ����1),,,,,(2222112221121���������� ��nNiinniinaaabxaxaxabaaaL����� (6) Consider the steady point ),,,,,(21�baaan�. Take partial derivative to the above equation, we can obtain the following equation group. 0),,,,,(21��baaaFn� (7) Simply written as: 0�F, where ��,,21 FFF ��TnnFF21,,��, that is �����������������������������������������������010002222112211122111221111nNiinniiNiinniiinnNiinniiiaaabxaxaxabxaxaxaxabxaxaxaxa����������� (8) Where Ni,,1 �� are N known data scatter-points. ����������NiinniiimmmbxaxaxaxaF12211����nm,,2,1������������NiinniinbxaxaxaF122111�46 Guowei Yang and Jia Xu / AASRI Procedia 6 ( 2014 ) 41 – 48 1222212������nnaaaF�Solve the non-linear equations group of equation(7), the fitting parameter baaan,,,,21�and � are obtained, farther solve the linear fitting equation 02211����bXaXaXann�, as well as solve the 3. Solution Algorithm of the Data Fitting Parameter For non-linear equation group,,,,,(baaaF�0) ��,�,,,,,baaa�are some uncertain the iteration point after iterate k times is � �� �� �� �� �� �),,,,,(21kkknkkkbaaaY���, by Taylor formula, we can after rearrangement, we obtain the following equation: ����� ������ �)()()(111kkkkkYFYFYYYF���������� �� �� ���� ��������������������,1,0))(111kYFYFYFFYkkkkkkk (9) fficient 4. Simulation Analysis 1�i2�i3�i4�i5�i6�i7�i8�i9�ix -2 -2 -0.5 -1 0.5 0 1.5 1 2.5 y -19 -14 -9 -4 1 6 11 16 21 0方程  a n X n a X a X � � 2 � 2 1 1 �  b �  0 , 因此我们可以得到数据拟合模型。0拟合参数的迭代算法如下。0参数。假设  , , ) , , , ( 2 1 a b  � a a Y n � � , 初始迭代点  � � � � � � � � � � ,  � � ) , , , , ( 0 0 0 0 2 0 1 0 � b a a a Y n � � ,0得到  �  � � � � � � � � � � � � 1  � 1 1 ) ( ) ( � � � � � � � k k k k k Y Y F Y F Y Y F0定义3：调用迭代算法0� � � � � � � � � � � � � � �0是解非线性方程组0 , , ) , , , ( 2 1 b  � � a F a a n �  rank  . m0b a a a ,  n , , , 2 1 � . 同时根据方程(9)，首先解出a n a a , , , 2 1 � ,  b  ，因此，确定变量系数  b a a a ,  n , , , 21 � .0假设直线上的点0 1 10 x �  y  � �，观测数据（带误差）如下：0通过上述离散点确定拟合直线�  0 � � c，其中a bc为一些未知参数。然后使用数据拟合参数解算法解方程(8)。表1和图1分别是在完美条件下、最小二乘准则下、基于几何距离准则的直线方程拟合参数和模拟图。47 Guowei Yang and Jia Xu / AASRI Procedia 6 ( 2014 ) 41 – 48 perfect condition the least square criterion based on the geometrical distance criterion b -1 -1 0.11142971 0表1. 不同标准下的拟合参数0b -1  -1  0.111429710c 1  1  -0.11150图1. 不同拟合标准下的模拟结果0通过图表，我们可以看到，离散点均匀分布在三条直线的不同侧面。很明显，根据最小二乘准则和基于几何距离准则的拟合效果都很好。然而，参照理想的直线，我们可以知道，根据新准则的拟合直线明显比最小二乘拟合直线更好，新准则下的拟合直线位于理想直线和最小二乘直线之间，拟合精度高于最小二乘直线。0致谢0作者要感谢编辑和匿名审稿人的宝贵意见和建设性建议。本研究得到中国国家自然科学基金（No. 61272077,61202319），江西省自然科学基金（No. 20114BAB201034）和江西省科技项目（No.20133BBE50022）的支持。0参考文献0[1] 林洪华。动态测量数据处理。北京:北京理工大学出版社;1952。[2]林洪伟。渐进迭代逼近的自适应数据拟合。《计算机辅助几何设计》，2012年; 2(7):463-473。048     郭伟阳和徐佳 /  AASRI Procedia  6 ( 2014 )  41 – 480[3] Lapo Governi, Rocco Furferi, Matteo Palai, Yary Volpe.从正交视图中的三维几何重建:一种基于三维图像处理和数据拟合的方法。《工业计算机》，2013年3月19日在线发表。[4] E. Vassiliou, I.C. Demetriou.一种用于最小二乘分段单调数据拟合的自适应算法。《计算统计与数据分析》，2005年; 49(2):591-609。[5]G. Casciola, L. Romani.一种用于易于控制的有约束最小二乘数据拟合的牛顿型方法。《计算和应用数学杂志》，2009年;223:672-692。[6] 黄敏杰，叶浩，王贵增。基于投影的回归分析方法总结，《控制理论与应用》，2001年;8(18):1-6。[7] Alexandru Mihai Bica.使用最优Hermite型三次插值样条拟合数据。《应用数学通讯》，2012年; 25(12):2047-2051。[8] PhilippReinecke, Tilman Krauß, Katinka Wolter.基于聚类的相位分布拟合到经验数据。《计算机与应用数学》，2012年; 64(12);3840-3851。[9] AkemiGálvez, Andrés Iglesias, Andreina Avila.基于免疫的方法用贝塞尔曲面准确拟合三维嘈杂数据点。《计算机科学论文集》，2013年; 18:50-59。