勒让德(Legendre)
以上涉及的问题,我们直接关心的目标量往往无法直接观测,但是一些相关的量是可以观测到的,而通过建立数
学模型,最终可以解出我们关心的量。这些问题都可以用如下数学模型描述:我们想估计的量是 ,另有
若干个可以测量的量 ,这些量之间有线性关系
如何通过多组观测数据求解出参数 呢?欧拉和拉普拉斯采用的都是求解线性方程组的方法。
但是面临的一个问题是,有 组观测数据, 个变量,如果 ,则得到的线性矛盾方程组,无法直接
求解。所以欧拉和拉普拉斯采用的方法都是通过一定的对数据的观察,把 个线性方程分为 组,然后把每个
组内的方程线性求和后归并为一个方程,从而就把 个方程的方程组化为 个方程的方程组,进一步解方程求
解参数。这些方法初看有一些道理,但是都过于经验化,无法形成统一处理这一类问题的一个通用解决框架。
以上求解线性矛盾方程的问题在现在的本科生看来都不困难,就是统计学中的线性回归问题,直接用最小二乘法
就解决了,可是即便如欧拉、拉普拉斯这些数学大牛,当时也未能对这些问题提出有效的解决方案。可见在科学
研究中,要想在观念上有所突破并不容易。有效的最小二乘法是勒让德在1805年发表的,基本思想就是认为测量
中有误差,所以所有方程的累积误差为
我们求解出导致累积误差最小的参数即可。
勒让德在论文中对最小二乘法的优良性做了几点说明:
最小二乘使得误差平方和最小,并在各个方程的误差之间建立了一种平衡,从而防止某一个极端误差取得支配地位•
计算中只要求偏导后求解线性方程组,计算过程明确便捷•
最小二乘可以导出算术平均值作为估计值•
, , β
0
β
p
,,,yx
1
x
p
y= + + +β
0
β
1
x
1
β
p
x
p
, , β
0
β
p
=+++ +y
1
β
0
β
1
x
11
β
2
x
21
β
p
x
p1
=+++ +(2)y
2
β
0
β
1
x
12
β
2
x
22
β
p
x
p2
=+++ +y
n
β
0
β
1
x
1n
β
2
x
2n
β
p
x
pn
n p+ 1 n > p + 1
np+1
np+1
累积误差
=∑(
观测值
理论值
)
2
(3)
β
ˆ
=
=
arg min
β
∑
i= 1
n
e
2
i
arg [ ( + + + )min
β
∑
i= 1
n
y
i
β
0
β
1
x
1i
β
p
x
pi
]
2
分
享
到
页码,5/15(W)w
2013/1/12http://www.mysanco.com/index.php?class=wenku&action=wenku_item&id=106