超定方程组最小二乘解课程设计
最小二乘法广泛地应用于工程计算中,用最小二乘法消除(平滑)误差,用最小二乘
法从有噪声的数据中提取信号,从海量数据中找出数据变化的趋势,……。甚至利用简单
函数计算复杂函数的近似值,我们并不期望它的近似值多么精确(事实上很多时候也不用
很精确),尽管如此还是希望计算出的近似数据与原始数据之间有相似之处。如果从线性
代数角度来理解最小二乘法,实际上是将一个高维空间的向量投影到低维子空间所涉及的
工作。
一、 超定方程组的最小二乘解
当方程组 GX=b 的方程数多于未知数个数时,对应的系数矩阵 G 的行数大于列数,此
时方程组被称为是超定方程组。设 G=(g
iu
)
m
×
n
,当 m>n 时即所谓的高矩阵,绝大多数情况
下,超定方程组没有古典意义下的解。超定方程组的最小二乘解是一种广义解,是指使残
差 r = b – GX 的 2-范数达取极小值的解,即
该问题是一个优化问题。
命题 1:如果 X
*
是正规方程组 G
T
GX=G
T
b 的解,则 X
*
是超定方程组 GX=b 的最小二乘解
证 由题设可得,G
T
(b – GX
*
)=0。对任意 n 维向量 Y,显然有
(X
*
– Y)
T
G
T
(b – GX
*
)=0
考虑残差 2-范数平方,由
上式右端利用内积,得
从而有
|| b – GY ||
2
≥ || b – GX
*
||
2
等式仅当 Y=X
*
时成立。所以 X
*
是超定方程组 GX=b 的最小二乘解。
命题 2:如果 X
*
是超定方程组 GX=b 的最小二乘解,则 X
*
满足正规方程组 G
T
GX=G
T
b
证 由题设, ,利用 2-范数与内积关系,知 X
*
是下面二次函
数的极小值点
(X) = (GX,GX) – 2(GX,b) + (b,b)
取任意 n 维向量 v,对任意实数 t,构造一元函数
g(t) =
(X
*
+ t v)
显然, g(t) 是关于变量 t 的二次函数
g(t) = (G (X
*
+ t v),G (X
*
+ t v)) – 2(G (X
*
+ t v),b) + (b,b)
= g(0) + 2t [(GX
*
,Gv) – (Gv,b)]+ t
2
(Gv,Gv)
由题设 t=0 是 g(t)的极小值点。由极值必要条件,得 。即
(GX
*
,Gv) – (Gv,b)=0
将左端整理化简,便得