DiscreteStochasticProcessesGallager

5星 · 超过95%的资源需积分: 10 62 浏览量更新于2023-03-03 评论 2 收藏 4.42MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

DISCRETE STOCHASTIC PROCESSES

Draft of 2nd Edition

R. G. Gallager

August 17, 2009

CONTENTS iii

1.4.5 Weak law with an inﬁnite variance . . . . . . . . . . . . . . . . . . . 33

1.4.6 Strong law of large numbers (SLLN) . . . . . . . . . . . . . . . . . . 34

1.4.7 Convergence of random variables . . . . . . . . . . . . . . . . . . . . 38

1.5 Relation of probability models to the real world . . . . . . . . . . . . . . . . 42

1.5.1 Relative frequencies in a probability model . . . . . . . . . . . . . . 42

1.5.2 Relative frequencies in the real world . . . . . . . . . . . . . . . . . . 43

1.5.3 Statistical independence of real-world experiments . . . . . . . . . 45

1.5.4 Limitations of relative frequencies . . . . . . . . . . . . . . . . . . . 46

1.5.5 Subjective probability . . . . . . . . . . . . . . . . . . . . . . . . . . 47

1.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

1.7 Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

1.7.1 Table of standard random variables . . . . . . . . . . . . . . . . . . . 49

1.8 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

2 POISSON PROCESSES 58

2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

2.1.1 Arrival processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

2.2 Deﬁnition and properties of the Poisson process . . . . . . . . . . . . . . . . 60

2.2.1 Memoryless property . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

2.2.2 Probability density of S

and S

, . . . S

. . . . . . . . . . . . . . . . 64

2.2.3 The PMF for N (t) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

2.2.4 Alternate deﬁnitions of Poisson processes . . . . . . . . . . . . . . . 67

2.2.5 The Poisson process as a limit of shrinking Bernoulli processes . . . 69

2.3 Combining and splitting Poisson processes . . . . . . . . . . . . . . . . . . . 70

2.3.1 Subdividing a Poisson process . . . . . . . . . . . . . . . . . . . . . . 72

2.3.2 Examples using independent Poisson processes . . . . . . . . . . . . 73

2.4 Non-homogeneous Poisson processes . . . . . . . . . . . . . . . . . . . . . . 74

2.5 Conditional arrival densities and order statistics . . . . . . . . . . . . . . . . 77

2.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

2.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

3 RENEWAL PROCESSES 92

3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92

iv CONTENTS

3.2 Strong Law of Large Numbers for renewal processes . . . . . . . . . . . . . 93

3.3 Expected numb er of renewals . . . . . . . . . . . . . . . . . . . . . . . . . . 97

3.3.1 Laplace transform approach . . . . . . . . . . . . . . . . . . . . . . . 98

3.3.2 Random stopping times . . . . . . . . . . . . . . . . . . . . . . . . . 100

3.3.3 Wald’s equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

3.4 Renewal-reward processes; time-averages . . . . . . . . . . . . . . . . . . . . 105

3.4.1 General renewal-reward processes . . . . . . . . . . . . . . . . . . . . 108

3.5 Renewal-reward processes; ensemble-averages . . . . . . . . . . . . . . . . . 112

3.6 Applications of renewal-reward theory . . . . . . . . . . . . . . . . . . . . . 117

3.6.1 Little’s theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

3.6.2 Expected queueing time for an M/G/1 queue . . . . . . . . . . . . . 120

3.7 Delayed renewal processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

3.7.1 Delayed renewal-reward processes . . . . . . . . . . . . . . . . . . . . 124

3.7.2 Transient behavior of delayed renewal processes . . . . . . . . . . . . 125

3.7.3 The equilibrium process . . . . . . . . . . . . . . . . . . . . . . . . . 126

3.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

3.9 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

4 FINITE-STATE MARKOV CHAINS 139

4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

4.2 Classiﬁcation of states . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141

4.3 The Matrix representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

4.3.1 The eigenvalues and eigenvectors of P . . . . . . . . . . . . . . . . . 149

4.4 Perron-Frobenius theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

4.5 Markov chains with rewards . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

4.6 Markov decision theory and dynamic programming . . . . . . . . . . . . . . 165

4.6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

4.6.2 Dynamic programming algorithm . . . . . . . . . . . . . . . . . . . . 167

4.6.3 Optimal stationary policies . . . . . . . . . . . . . . . . . . . . . . . 170

4.6.4 Policy iteration and the solution of Bellman’s equation . . . . . . . . 173

4.6.5 Stationary policies with arbitrary ﬁnal rewards . . . . . . . . . . . . 177

4.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

4.8 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

CONTENTS v

5 COUNTABLE-STATE MARKOV CHAINS 197

5.1 Introduction and classiﬁcation of states . . . . . . . . . . . . . . . . . . . . 197

5.2 Branching processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207

5.3 Birth-death Markov chains . . . . . . . . . . . . . . . . . . . . . . . . . . . 210

5.4 Reversible Markov chains . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211

5.5 The M/M/1 sample-time Markov chain . . . . . . . . . . . . . . . . . . . . 214

5.6 Round-robin and processor sharing . . . . . . . . . . . . . . . . . . . . . . . 217

5.7 Semi-Markov processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223

5.8 Example — the M/G/1 queue . . . . . . . . . . . . . . . . . . . . . . . . . . 227

5.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

5.10 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230

6 MARKOV PROCESSES WITH COUNTABLE STATE SPACES 235

6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235

6.1.1 The sampled-time approximation to a Markov process . . . . . . . . 238

6.2 Steady-state behavior of irreducible Markov pro cesses . . . . . . . . . . . . 239

6.2.1 The number of transitions per unit time . . . . . . . . . . . . . . . . 240

6.2.2 Renewals on successive entries to a state . . . . . . . . . . . . . . . . 240

6.2.3 The strong law for time-average state probabilities . . . . . . . . . . 243

6.2.4 The equations for the steady state process probabilities . . . . . . . 244

6.2.5 The sampled-time approximation again . . . . . . . . . . . . . . . . 245

6.2.6 Pathological cases . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245

6.3 The Kolmogorov diﬀerential equations . . . . . . . . . . . . . . . . . . . . . 246

6.4 Uniformization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250

6.5 Birth-death processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251

6.6 Reversibility for Markov processes . . . . . . . . . . . . . . . . . . . . . . . 253

6.7 Jackson networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259

6.7.1 Closed Jackson networks . . . . . . . . . . . . . . . . . . . . . . . . . 264

6.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266

6.9 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268

7 RANDOM WALKS AND MARTINGALES 279

7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279

剩余332页未读，继续阅读

gaozhenhainanyang

2012-09-29

描述非常透徹，很值得一讀的書！

KnowHao

粉丝: 1
资源: 1

会员权益专享

Discrete Stochastic Processes Gallager

评论1

会员权益专享

最新资源

Discrete Stochastic Processes Gallager

评论1

Stochastic Processes

Stochastic Processes Theory for Applications Gallager 2013

Stochastic Processes Theory for Applications Gallager 2013 (2).zip

counting process theory

Discrete-Time Integrator和Discrete Derivative有什么区别

连接输入信号到“Discrete Filter”的“Input”端口，连接“Discrete Filter”的“Output”端口到输出信号的目标模块。详细解释这一步

suggest_discrete_uniform

powergui中的discrete的作用

powergui中的discrete设置时间的作用

gym中space和box和discrete

discrete fractional cosine transform

spaces.Discrete和spaces.Box的区别

mglearn.discrete_scatter用法

rrt continuous-master rrt discrete-master

ggplot2中scale_x_discrete怎么用

gym.spaces.Discrete()的详细用法

A ContinuousWavelet object was provided, but only discrete Wavelet objects are supported by this function. A list of all supported discrete wavelets can be obtained by running: print(pywt.wavelist(kind='discrete'))

rank-deficient and discrete ill-posed problems pdf下载

ionort_discrete_grid_nf.for

Error: Discrete value supplied to continuous scale

会员权益专享

最新资源