Advanced+Probability+Theory(荆炳义+高等概率论)_荊炳義老師的講義

高等概率论

5星 · 超过95%的资源需积分: 49 1.3k 浏览量更新于2023-05-30 评论 6 收藏 1.09MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Advanced Probability Theory

Bing-Yi JING

Department of Mathematics,

Hong Kong University of Science and Technology

Email: majing@ust.hk

July, 2012

Contents

1 Set Theory 1

1.1 Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Basic set operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.3 Operations of sequence of sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.4 Indicator functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.5 Semi-algebras, Algebras, and σ-algebras . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.5.1 Deﬁnitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.5.2 Relationships . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.5.3 Some special σ-algebras. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.5.4 How to generate algebras from semi-algebras . . . . . . . . . . . . . . . . . . . . . 7

1.6 Generated classes (Minimal classes) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.7 Monotone class (m-class), π-class, and λ-class . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.7.1 Deﬁnitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.7.2 Relationships with σ-algebras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.7.3 Minimal m-class, λ-class and π-class . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.7.4 Graphical illustration of diﬀerent classes . . . . . . . . . . . . . . . . . . . . . . . . 11

1.8 The Monotone Class Theorem (MCT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

1.9 Product Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

1.10 Exercise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2 Measure Theory 18

2.1 Deﬁnitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.2 Properties of measure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.2.1 Case I: semialgebras. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.2.2 Case II: algebras. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.2.3 Case III: σ-algebras. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.3 Arithmetics with ∞ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

2.4 Probability measure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

2.5 Some examples of measure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

2.6 Extension of set functions (or measures) from semialgebras to algebras . . . . . . . . . . . 23

2.7 Outer measure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.8 Extension of measures from semialgebras to σ-algebras . . . . . . . . . . . . . . . . . . . . 28

2.9 Completion of a measure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

2.10 Construction of measures on a σ-algebra A . . . . . . . . . . . . . . . . . . . . . . . . . . 35

2.10.1 General pro cedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

2.10.2 Lebesgue and Lebesgue-Stieltjes measures . . . . . . . . . . . . . . . . . . . . . . . 36

2.10.3 Relationship b etween probability measures and distribution functions . . . . . . . 38

2.10.4 Diﬀerent types of distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

2.10.5 Decomposition of distribution functions . . . . . . . . . . . . . . . . . . . . . . . . 41

2.10.6 Further decomposition of a continuous d.f. F . . . . . . . . . . . . . . . . . . . . . 43

2.10.7 Some examples of distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

2.11 Radon-Nikodym theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

2.11.1 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

2.11.2 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

2.11.3 The assumption of sigma-ﬁniteness . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

2.12 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

3 Random Variables 49

3.1 Mappings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

3.2 Measurable mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

3.3 Random Variables (Vectors) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

3.3.1 Random variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

3.3.2 How to check a random variable? . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

3.3.3 Random vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

3.4 Construction of random variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

3.4.1 Algebraic operations (+, −, ×, ÷) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

3.4.2 Limiting operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

3.4.3 Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

3.5 Approximations of r.v. by simple r.v.s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

3.6 σ-algebra generated by random variables. . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

3.6.1 Deﬁnition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

3.6.2 Some examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

3.6.3 The σ−ﬁeld generated by a continuous r.v. . . . . . . . . . . . . . . . . . . . . . . 60

3.6.4 A useful theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

3.7 Distributions and induced distribution functions . . . . . . . . . . . . . . . . . . . . . . . 60

3.7.1 Case I: Random variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

3.7.2 Case II: Random vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

3.8 Generating random variables with prescribed distributions . . . . . . . . . . . . . . . . . . 62

3.9 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

4 Expectation and Integration 67

4.1 Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

4.1.1 Expectation for simple r.v.’s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

4.1.2 Expectation for nonnegative r.v.’s . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

4.1.3 Expectation for general r.v.’s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

4.1.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

4.2 Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

4.2.1 Deﬁnition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

4.2.2 Some properties of integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

4.2.3 Special cases: Lebesgue-Stieltjes integral and Lebesgue integral . . . . . . . . . . . 81

4.3 Measure-theoretic and probabilistic languages . . . . . . . . . . . . . . . . . . . . . . . . . 84

4.4 How to compute expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

4.4.1 Expected values of absolutely continuous r.v.’s . . . . . . . . . . . . . . . . . . . . 86

4.4.2 Expected values of discrete r.v.’s . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

4.5 Relation between expectation and tail probability . . . . . . . . . . . . . . . . . . . . . . . 88

4.6 Moments and Moment inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

4.6.1 Young’s inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

4.6.2 Holder’s inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

4.6.3 Cauchy-Schwarz inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

4.6.4 Lyapunov’s inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92

4.6.5 Minkowski’s inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92

4.6.6 Jensen’s inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92

4.6.7 Chebyshev (Markov) inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

4.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

5 Independence 96

5.1 Deﬁnition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

5.2 How to check independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

5.2.1 Discrete r.v.’s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

5.2.2 Absolutely continuous r.v.’s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

5.3 Functions of independent r.v.’s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

5.3.1 Transformation properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

5.3.2 Convolutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

5.3.3 An example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

5.3.4 Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

5.4 Borel-Cantelli Lemma and Kolmogorov 0 − 1 Law . . . . . . . . . . . . . . . . . . . . . . 104

5.4.1 Borel-Cantelli Lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

5.4.2 Kolmogorov 0-1 laws . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

5.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

6 Convergence Concepts 111

6.1 Modes of convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

6.1.1 Equivalent deﬁnition of a.s. convergence . . . . . . . . . . . . . . . . . . . . . . . . 112

6.2 Cauchy Criterion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

6.3 Relationships between modes of convergence . . . . . . . . . . . . . . . . . . . . . . . . . . 114

6.4 Partial converses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

6.4.1 Convergence in probability and distribution to constants are equivalent . . . . . . 115

6.4.2 Dominated convergence in probability implies convergence in mean . . . . . . . . . 116

6.4.3 Dominated convergence a.s. implies convergence in mean . . . . . . . . . . . . . . 117

6.4.4 Convergence in probability suﬃciently fast implies a.s. convergence . . . . . . . . . 118

6.4.5 Convergence in mean suﬃciently fast implies a.s. convergence . . . . . . . . . . . . 118

6.4.6 Convergence sequences in probability contains a.s. subsequences . . . . . . . . . . 118

6.4.7 Convergence in distribution plus uniform integrability implies convergence in moments118

6.4.8 Convergence in prob plus uniform integrability implies convergence in mean. . . . 118

6.4.9 Convergence in distribution implies a.s. convergence in another probability space. 119

6.5 Convergence of moments; uniform integrability . . . . . . . . . . . . . . . . . . . . . . . . 120

6.5.1 Deﬁnition of uniform integrability (u.i.) . . . . . . . . . . . . . . . . . . . . . . . . 120

6.5.2 Convergence in prob. + u.i. =⇒ convergence in mean . . . . . . . . . . . . . . . . 122

iii

6.5.3 Relationship between L

convergence and convergence of moments . . . . . . . . . 123

6.5.4 Convergence in dist. + u.i. =⇒ convergence in mean . . . . . . . . . . . . . . . . . 124

6.6 Some closed operations of convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

6.6.1 Algebraic operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

6.6.2 Transformations (Continuous Mapping) . . . . . . . . . . . . . . . . . . . . . . . . 126

6.6.3 Slutsky’s Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

6.7 Simple limit theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128

6.8 Fatou’s Lemma Revisited . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130

6.9 Summary: relationships amongst four modes of converges . . . . . . . . . . . . . . . . . . 130

6.10 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

7 Weak Law of Large Numbers 134

7.1 Equivalent sequences; truncation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134

7.2 Weak Law of Large Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

7.3 Classical forms of the WLLN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138

7.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

8 Strong Convergence 141

8.1 Some maximal inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141

8.2 The a.s. convergence of series; three-series theorem . . . . . . . . . . . . . . . . . . . . . . 144

8.2.1 Review: Cauchy convergent a.s. or in probability . . . . . . . . . . . . . . . . . . . 144

8.2.2 Variance criterion for random series . . . . . . . . . . . . . . . . . . . . . . . . . . 146

8.2.3 Kolmogorov three series theorem for random series . . . . . . . . . . . . . . . . . . 147

8.2.4 Kolmogorov two series theorem for absolute random series . . . . . . . . . . . . . . 149

8.3 Strong Laws of Large Numbers (SLLN) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

8.3.1 Several useful lemmas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

8.3.2 SLLN for independent r.v.’s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

8.3.3 SLLN for i.i.d. r.v.’s: necessary and suﬃcient moment conditions . . . . . . . . . . 154

8.4 Some applications of the WLLN and SLLN . . . . . . . . . . . . . . . . . . . . . . . . . . 158

8.5 Some results on LIL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

8.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

9 Weak convergence 162

9.1 Deﬁnition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

9.2 Equivalent deﬁnitions of weak convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

9.3 Helly’s selection theorem and tightness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

9.4 Polya Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

9.5 Additional topic: Stable convergence and mixing* . . . . . . . . . . . . . . . . . . . . . . . 169

9.6 Exercise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

9.7 Some useful theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

10 Characteristic Functions 173

10.1 Some examples of characteristic functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

10.2 Deﬁnition and some properties of c.f.s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177

10.3 Inversion formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180

10.4 Levy Continuity Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

10.5 Moments of r.v.s and derivatives of their c.f.s . . . . . . . . . . . . . . . . . . . . . . . . . 185

剩余245页未读，继续阅读

armstrongoyw

2018-09-29

资料清晰，高品质全英讲义。

qq_21267881

粉丝: 0
资源: 1

会员权益专享

Advanced+Probability+Theory(荆炳义+高等概率论)

评论8

会员权益专享

最新资源

Advanced+Probability+Theory(荆炳义+高等概率论)

评论8

Probability Theory A Comprehensive Course

Probability: Theory and Examples Rick Durrett, Duke U.

Probability Theory Review for Machine Learning

Elementary_probability_theory.pdf

feller 2008 probability theory

prob-solved_2ndedition.pdf

probability theory and example

Probability Theory_The Logic of Science

probability and statistics cheatsheet 概率论与统计 总结

Probability with Applications（概率论在工程、科学、技术中的应用，2017年第2版）

probability theory

用java代码写一段计算百分比中奖概率的方法

用java语言给我一份计算概率的代码

Probability－1 3rd Ed. by A.N.Shiryaev.pdf

annocada 安装tensorflow_probability

tensorflow_probability安装

用java写个概率的抽奖，给出代码

probability and random processes for

用贝叶斯法则营救失事船只的船员，python代码

会员权益专享

最新资源

probability and statistics cheatsheet 概率论与统计总结