没有合适的资源?快使用搜索试试~ 我知道了~
首页统计与机器学习算法稳健性与数据分析详解
统计与机器学习算法稳健性与数据分析详解
需积分: 0 0 下载量 106 浏览量
更新于2024-07-01
收藏 2.56MB PDF 举报
本篇文章主要概述了统计与机器学习算法的基础概要,涵盖了多个关键主题。首先,讨论了稳健性检验,包括什么是稳健性检验,以及通过变量替换(如替换因变量、自变量,以及放宽条件)来提高模型的稳健性。接着,文章介绍了几种处理数据的方法,如补充遗漏变量、加入虚拟变量,以及分样本回归、调整样本期策略,如扩展或缩短时间窗口,以及通过子样本选择、缩尾处理和样本容量调整来处理内生性问题。 在数据的统计描述和可视化分析部分,讲解了统计学的基本概念,包括概率分布(如正态分布)、参数估计和假设检验。单个总体均值检验、分布拟合检验,以及连续分布的检验都被详细阐述。此外,数据预处理、数据重构和各种数据可视化技术也被深入探讨,如复合可视化图、折线图、折线注释图、Pie图和Stack图。 随后,文章重点转向了线性回归的扩展——广义最小二乘法(GLS),包括传统回归模型、同方差假设的放松、GLS的矩阵表述和估计过程,以及如何根据数据类型设定误差结构(如截面数据的异方差性和时间序列数据的自相关)。最后,文章介绍了时间序列分析的一些基本方法,如简单移动平均、加权移动平均、趋势移动平均和指数平滑等。 本文旨在为学习者提供一个全面理解统计与机器学习基础的框架,帮助他们在实际应用中理解和应对各种数据分析挑战。无论是数据预处理、模型选择还是结果解读,都包含了实用且理论扎实的内容,适合进行深入学习和实践。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/86302585/bgd.jpg)
估计,假设 E(S
2
1
) 为除以 n 的标准差,那么我们有:
E
S
2
1
=
1
n
n
X
i=1
E
X
i
−
¯
X
2
=
1
n
E
n
X
i=1
X
i
− µ + µ −
¯
X
2
!
=
1
n
E
n
X
i=1
(X
i
− µ)
2
− 2 (X
i
− µ) (
¯
X − µ) + (
¯
X − µ)
2
!
=
1
n
E
n
X
i=1
(X
i
− µ)
2
− 2
n
X
i=1
(X
i
− µ) (
¯
X − µ) + n(
¯
X − µ)
2
!
=
1
n
E
n
X
i=1
(X
i
− µ)
2
− 2n(
¯
X − µ)(
¯
X − µ) + n(
¯
X − µ)
2
!
=
1
n
E
n
X
i=1
(X
i
− µ)
2
− n(
¯
X − µ)
2
!
=
1
n
n
X
i=1
E
(
X
i
−
µ
)
2
− nE
(
¯
X − µ)
2
!
=
1
n
(n Var(X) − n Var(
¯
X))
= Var(X) − Var(
¯
X) = σ
2
−
σ
2
n
=
n − 1
n
σ
2
,
而
n−1
n
σ
2
并不等于 σ
2
,因此我们需要调整系数才使得我们的估计为无偏估计。
统计量中最重要、最常用的是均值和标准差,由于样本是随机变量,它们作为样本的函数自然
也是随机变量,当用它们去推断总体时,有多大的可靠性就与统计量的概率分布有关,因此我们需
要知道几个重要分布的简单性质。
2.2 统计中几个重要的概率分布
随机变量的特性完全由它的 (概率) 分布函数或 (概率) 密度函数来描述。设有随机变量 X,其
分布函数定义为 X ⩽ x 的概率,即 F (x) = P {X ⩽ x}。若 X 是连续型随机变量,则其密度函数
p(x) 与 F (x) 的关系为
F (x) =
Z
x
−∞
f(x) dx.
上 α 分位数是下面常用的一个概念,其定义为: 对于 0 < α < 1,使某分布函数 F (x) = 1−α 的 x,
称为这个分布的上 α 分位数,记作 x
α
。
统计中几个重要的概率分布:
• 正态分布
正态分布随机变量 X 的密度函数曲线呈中间高两边低、对称的钟形,期望 (均值) EX = µ,方
差 DX = σ
2
,记作 X ∼ N(µ, σ
2
),σ 称均方差或标准差,当 µ = 0, σ = 1 时称为标准正态分布,
记作 X ∼ N(0, 1)。正态分布完全由均值 和方差 σ
2
决定,它的偏度为 0,峰度为 3。正态分布可
以说是最常见的 (连续型) 概率分布,成批生产时零件的尺寸,射击中弹着点的位置,仪器反复量测
的结果,自然界中一种生物的数量特征等,多数情况下都服从正态分布,这不仅是观察和经验的总
结,而且有着深刻的理论依据,即在大量相互独立的、作用差不多大的随机因素影响下形成的随机
变量,其极限分布为正态分布。
13
![](https://csdnimg.cn/release/download_crawler_static/86302585/bge.jpg)
• χ
2
分布
若 X
1
, X
2
, ··· , X
n
为相互独立的、服从标准正态分布 N(0, 1) 的随机变量,则它们的平方和
Y =
n
P
i=1
X
2
i
服从 χ
2
分布,记作 Y ∼ χ
2
(n),n 称自由度,它的期望 EY = n,方差 DY = 2n。
• t 分布
若 X ∼ N(0, 1),Y ∼ χ
2
(n),且相互独立,则 T =
X
√
Y /n
服从 t 分布,记作 T ∼ t( n ),n 称
自由度。t 分布又称学生氏 (Student) 分布。
t 分布的密度函数曲线和 N (0, 1) 曲线形状相似。理论上 n → ∞ 时,T ∼ t(n) → N (0 , 1),实
际上当 n > 30 时它与 N (0, 1) 就相差无几了。
• F 分布
若 X ∼ χ
2
(n
1
), Y ∼ χ
2
(n
2
), 且相互独立,则 F =
X/n
1
Y /n
2
服从 F 分布,记作 F ∼ F (n
1
, n
2
),
(n
1
, n
2
) 称自由度。
2.3 正态总体统计量的分布
用样本来推断总体,需要知道样本统计量的分布,而样本又是一组与总体同分布的随机变量,
所以样本统计量的分布依赖于总体的分布。当总体服从一般的分布时,求某个样本统计量的分布是
很困难的,只有在总体服从正态分布时,一些重要的样本统计量 (均值、标准差) 的分布才有便于使
用的结果。另一方面,现实生活中需要进行统计推断的总体,多数可以认为服从 (或近似服从) 正态
分布,所以统计中人们在正态总体的假定下研究统计量的分布,是必要的与合理的。
设总体 X ∼ N(µ, σ
2
)�x
1
, x
2
, ··· , x
n
为一容量 n 的样本,其均值 ¯x 和标准差 s 由公式确定,则
用 ¯x 和 s 构造的下面几个分布在统计中是非常有用的。
¯x ∼ N(µ,
σ
2
n
)或
¯x − µ
σ/
√
n
∼ N(0, 1)
(n − 1)s
2
σ
2
∼ χ
2
(n − 1)
¯x − µ
s/
√
n
∼ t(n − 1)
设有两个总体 X ∼ N (µ
1
, σ
2
) 和 Y ∼ N (µ
2
, σ
2
),及由容量分别为 n,n 的两个样本确定的均
值 ¯x, ¯y 和标准差 s
1
, s
2
,则
(¯x − ¯y) − (µ
1
− µ
2
)
p
σ
2
1
/n
1
+ σ
2
2
/n
∼ N(0, 1)
(¯x − ¯y) − (µ
1
− µ
2
)
s
w
p
1/n
1
+ 1/n
2
∼ t (n
1
+ n
2
− 2)
其中,s
2
w
=
(n
1
−1)s
2
1
+(n
2
−1)s
2
2
n
1
+n
2
−2
,
s
2
1
/σ
2
1
s
2
2
/σ
2
2
∼ F (n
1
− 1, n
2
− 1)
对于上式,假定 σ
1
= σ
2
,但它们未知,于是用 s 代替。在下面的统计推断中我们要反复用到
这些分布。
14
![](https://csdnimg.cn/release/download_crawler_static/86302585/bgf.jpg)
2.4 参数估计
利用样本对总体进行统计推断的一类问题是参数估计,即假定已知总体的分布,通常是 X ∼
N(µ, σ
2
),估计有关的参数,如 µ, σ
2
。参数估计分点估计和区间估计两种。
• 点估计
点估计是用样本统计量确定总体参数的一个数值。评价估计优劣的标准有无偏性、最小方差性、
有效性等,估计的方法有矩法、极大似然法等。
最常用的是对总体均值 µ 和方差 σ
2
(或标准差 σ) 作点估计。让我们暂时抛开评价标准,当从
一个样本算出样本均值 ¯x 和方差 s
2
后,对 µ 和 σ
2
(或 σ ) 一个自然、合理的点估计显然是 (在字
母上加表 示它的估计值)
ˆµ = ¯x, ˆσ
2
= s
2
, ˆσ = s
• 区间估计
点估计虽然给出了待估参数的一个数值,却没有告诉我们这个估计值的精度和可信程度。一般
地,总体的待估参数记作 θ(如 µ, σ
2
),由样本算出的 θ 的估计量记作
ˆ
θ ,人们常希望给出一个区
间 [
ˆ
θ
1
,
ˆ
θ
2
],使 θ 以一定的概率落在此区间内。若有
P {
ˆ
θ
1
< θ <
ˆ
θ
2
} = 1 − α, 0 < α < 1
则 [
ˆ
θ
1
,
ˆ
θ
2
] 称为 θ 的置信区间,
ˆ
θ
1
,
ˆ
θ
2
分别称为置信下限和置信上限,1−α 称为置信概率或置信水
平,α 称为显著性水平。
给出的置信水平为 1−α 的置信区间 [
ˆ
θ
1
,
ˆ
θ
2
],称为 θ 的区间估计。置信区间越小,估计的精度
越高; 置信水平越大,估计的可信程度越高。但是这两个指标显然是矛盾的,通常是在一定的置信
水平下使置信区间尽量小。通俗地说,区间估计给出了点估计的误差范围。
2.5 假设检验
统计推断的另一类重要问题是假设检验问题。在总体的分布函数完全未知或只知其形式但不知
其参数的情况,为了推断总体的某些性质,提出某些关于总体的假设。例如,提出总体服从泊松分
布的假设,又如对于正态总体提出数学期望等于 µ
0
的假设等。假设检验就是根据样本对所提出的
假设做出判断: 是接受还是拒绝。这就是所谓的假设检验问题。
2.5.1 单个总体 N(µ, σ
2
) 均值 µ 的检验
假设检验有三种:
双边检验:H
0
:µ = µ
0
,H
1
:µ = µ
0
;
右边检验:H
0
:µ ⩽ µ
0
,H
1
:µ > µ
0
;
左边检验:H
0
:µ ⩾ µ
0
,H
1
:µ < µ
0
;
• σ
2
已知,关于 µ 的检验 (Z 检验)
在 Matlab 中 Z 检验法由函数 ztest 来实现,命令为
[h, p, ci] = ztest(x, mu, sigma, alpha, tail)
15
![](https://csdnimg.cn/release/download_crawler_static/86302585/bg10.jpg)
其中输入参数 x 是样本,mu 是 H
0
中的 µ
0
,sigma 是总体标准差 σ ,alpha 是显著性水平 α(alpha
缺省时设定为 0.05),tail 是对备选假设 H
1
的选择: H
1
为 µ = µ
0
时用 tail=0(可缺省); H
1
为
µ > µ
0
时用 tail=1; H
1
为 µ < µ
0
时用 tail=-1。输出参数 h=0 表示接受 H
0
,h=1 表示拒绝 H
0
,
p 表示在假设 H
0
下样本均值出现的概率,p 越小 H
0
越值得怀疑,ci 是 µ
0
的置信区间。
• σ
2
未知,关于 µ 的检验 ( t 检验)
在 Matlab 中 t 检验法由函数 ttest 来实现,命令为
[h, p, ci] = ttest(x, mu, alpha, tail)
2.5.2 分布拟合检验
在实际问题中,有时不能预知总体服从什么类型的分布,这时就需要根据样本来检验关于分布
的假设。下面介绍 χ
2
检验法和专用于检验分布是否为正态的“偏峰、峰度检验法”。
• χ
2
检验法
什么是 χ
2
检验?χ
2
检验就是在总体的分布未知的情况下, 根据样本 X
1
, X
2
, ··· , X
n
来检验关
于总体分布的假设。一般情况下,我们会设置原假设:
H
0
:总体
X
的分布函数为
F(x),
进而得到
备择假设 H
1
:总体 X 的分布函数不是 F(x), 然后运用统计学方法进行检验。值得注意的是,若总
体 X 为离散型,则上述假设写为 H
0
:总体 X 的分布律为 P {X = t} = p, i = 1, 2, ··· . 若总体 X
为连续型,则上述假设写为 H
0
:总体 X 的概率密度为 f(x). 此外,在使用 χ
2
检验法检验假设 H
0
时, 若 F (x) 的形式已知, 但有参数值未知, 需要先用最大似然估计法估计参数, 然后作检验.
χ
2
检验的整体思路,就是局部样本的某些统计学特征和整体样本相似。将随机试验可能结果的
全体 Ω 分为 m 个互不相容的事件 A
1
, A
2
, ··· , A
m
(
m
P
i=1
A
i
= Ω, A
i
A
j
= Φ, i = j, i, j = 1, 2, ··· , m).
于是在假设 H
0
下, 我们可以计算 p
i0
= P (A
i
), i = 1, 2, ··· , m. 在 n 次试验中, 事件 A
i
出现的频率
N
i
n
与 p
i0
往往有差异, 但一般来说, 若 H
0
为真, 且试验次数又多时, 这种差异不应很大.
2.5.3 连续分布的检验
正太性检验:定性方法: 正态 QQ 图 qqnorm( )
定量方法: 国际标准 ISO
夏皮洛-威尔克检验 Shapiro-Wilk (W 检验)
爱泼斯-普利检验 Epps-Pully
其他的一些分布:柯尔莫哥洛夫检验,检验分布是否服从某种理论分布;斯米尔诺夫检验,检
验两个样本是否服从同一分布。
2.6 数据预处理
数据清洗要成什么样子?
下面我们以 Python 中的 NumPy、Pandas、Matplotlib 为例进行数据清洗等预处理。
我们平时拿到的数据一般来说都是杂乱无章的,对数据清洗的首要步骤就是明确我们手上的数
据究竟是什么样子的,而预处理的步骤也十分简单。
16
剩余77页未读,继续阅读
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/a6dfad6d23054ff5b3eb4c401d37ba20_weixin_35806032.jpg!1)
余青葭
- 粉丝: 41
- 资源: 303
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- Vue实现iOS原生Picker组件:详细解析与实现思路
- Arduino蓝牙小车:参数调试与功能控制
- 百度Java面试精华:200页精选资源涵盖核心知识点
- Swift使用CoreData填坑指南:CoreData在Swift 3.0的变化
- 微距离无线充电器创新设计及其实验探索
- MTK Android平台开发全攻略:44步详解流程
- RecyclerView全面解析:替代ListView的新选择
- Android开发:自动适配中英文键盘解决方案
- Android调用WebService接口教程
- Android开发:BitmapUtil图片处理全解析与实例
- Android多线程断点续传实现详解
- PCA算法在人脸识别会议签到系统中的应用
- EventBus 3.0:Android事件总线详解与实战应用
- Android FileUtil:全面解析文件操作实用技巧与实例
- RecyclerView添加头部和尾部实战教程
- Android实现微博滑动固定顶部栏实战与优化
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)