最小二乘法较全面的证明过程 - CSDN文库

1星需积分: 30 107 浏览量更新于2023-03-16 收藏 81KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源推荐

By yunfeng 2018-6-19

 

























0

0 0

0

1

0 0

1

0

0 0 0

0 0 0 00 0

ˆ ˆ

,

ˆ

1 1

ˆ ˆ ˆ

=

ˆ

ˆ ˆ ˆ ˆ

= =

=

=

=

k

k

SSR

k

SSR

SSR







 



 

 









 









X X

X X

μ e

e e

X X

β β β

β

β β β

Y Y

Y Y

e Y Y Y Y Y X Xβ β β β β

+

Ye

=

 



  







  

   



  











 



 



 

 







残差平方和为残差是允许任意变化的向量

,

根据最小二乘原理,我们要在空间里寻找某个维向量 ,使得

达到最小

记的① ,









 

0 0

0 0 0 0

0

0

0

1

2

2 2

2

ˆ

ˆ

ˆ ˆ ˆ ˆ

=

ˆ

ˆ

= =

ˆ

ˆ ˆ

=

ˆ

ˆ

=

2

=

OLS OLS

OLS OLS

SSR

SSR





 











 

 

   











 



Y Y Y

Y

Y

Y

X X

X X X

X X X

X X X

X X X X X

β β

β β β β

β

β 0

β

X

β 0

β Y

β

β

 

 

  

  

  

  

 

   



 



  

 

 













一阶条件是，

令为上述条件方程的解,从而

以下检

一阶

二

而

查

从

阶条件,

   





0

0 0

2

1

2

1 1 ( )

ˆ

ˆ

ˆ

, ,

= = = , = 0,

= = , ,

, 0,

2 ,

n

i

i

k k Hessian

SSR

q

q v q

q



  







  



 



 



 









β

β β

c 0 c c

v v v

X X

X X

X

X X

v c v 0

v c 0 0 c 0

c

X X

0



 



  





    

  

 





 

 



 

 



的各列的线性组合为

的各列线性相关,这

得的海塞矩阵

海塞矩阵是正定的,

记则

,其中除非 ,否则

但如果 ,即而

这时出现与列满秩矛盾。

故海塞

ˆ

2

OLS



β

X X







矩阵是正定的

从而是残差平方和最小化问题的最优解。

以上是最小二乘法较为规范完整的证明。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

数学菜鸟之实践

粉丝: 2
资源: 15

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈