现代技术的核心:信息理论、推理与学习算法解析

5星 · 超过95%的资源 需积分: 10 92 下载量 15 浏览量 更新于2024-07-22 2 收藏 11.13MB PDF 举报
"Information Theory, Inference, and Learning Algorithms" 是一本由David J.C. MacKay编写的教材,涵盖了信息论、推断和学习算法的核心概念,适用于机器学习领域的学习者和专业人士。书中将理论与应用相结合,介绍了信息论在实际通信系统中的应用,如数据压缩的算术编码和错误校正的稀疏图码。同时,它探讨了用于聚类、卷积码、独立成分分析和神经网络的推断技术,包括消息传递算法、蒙特卡洛方法和变分近似。 书中的亮点之一是介绍了最新的错误校正码,如低密度奇偶校验码(LDPC)、涡轮码和数字喷泉码,这些都是21世纪卫星通信、硬盘驱动器和数据广播的标准。这本书内容丰富,配有插图和超过400个练习题,部分练习题提供了详细的解答,非常适合自学和本科或研究生课程使用。无论是对计算生物学、金融工程还是机器学习领域的专业人士来说,这本书都是一个极好的入门资源。 尽管书中部分内容提到了版权信息,但作者David J.C. MacKay允许在线查看,但禁止打印。读者可以通过提供的链接以30英镑或50美元的价格购买此书。作者鼓励读者通过网站提供反馈,以便对书本进行持续改进和完善。 "Information Theory, Inference, and Learning Algorithms"是一本深度结合理论与实践的教科书,不仅教授信息论的基本原理,还涵盖了广泛的推断技术和学习算法的应用,特别强调了它们在现代技术领域,尤其是机器学习中的关键作用。通过本书,读者可以系统地学习到信息处理和智能系统设计的基础知识,对于提升相关专业技能和理解机器学习的底层逻辑有着重要的价值。
2009-08-13 上传
Contents Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v 1 Introduction to Information Theory . . . . . . . . . . . . . 3 2 Probability, Entropy, and Inference . . . . . . . . . . . . . . 22 3 More about Inference . . . . . . . . . . . . . . . . . . . . . 48 I Data Compression . . . . . . . . . . . . . . . . . . . . . . 65 4 The Source Coding Theorem . . . . . . . . . . . . . . . . . 67 5 Symbol Codes . . . . . . . . . . . . . . . . . . . . . . . . . 91 6 Stream Codes . . . . . . . . . . . . . . . . . . . . . . . . . . 110 7 Codes for Integers . . . . . . . . . . . . . . . . . . . . . . . 132 II Noisy-Channel Coding . . . . . . . . . . . . . . . . . . . . 137 8 Dependent Random Variables . . . . . . . . . . . . . . . . . 138 9 Communication over a Noisy Channel . . . . . . . . . . . . 146 10 The Noisy-Channel Coding Theorem . . . . . . . . . . . . . 162 11 Error-Correcting Codes and Real Channels . . . . . . . . . 177 III Further Topics in Information Theory . . . . . . . . . . . . . 191 12 Hash Codes: Codes for Ecient Information Retrieval . . 193 13 Binary Codes . . . . . . . . . . . . . . . . . . . . . . . . . 206 14 Very Good Linear Codes Exist . . . . . . . . . . . . . . . . 229 15 Further Exercises on Information Theory . . . . . . . . . . 233 16 Message Passing . . . . . . . . . . . . . . . . . . . . . . . . 241 17 Communication over Constrained Noiseless Channels . . . 248 18 Crosswords and Codebreaking . . . . . . . . . . . . . . . . 260 19 Why have Sex? Information Acquisition and Evolution . . 269 IV Probabilities and Inference . . . . . . . . . . . . . . . . . . 281 20 An Example Inference Task: Clustering . . . . . . . . . . . 284 21 Exact Inference by Complete Enumeration . . . . . . . . . 293 22 Maximum Likelihood and Clustering . . . . . . . . . . . . . 300 23 Useful Probability Distributions . . . . . . . . . . . . . . . 311 24 Exact Marginalization . . . . . . . . . . . . . . . . . . . . . 319 25 Exact Marginalization in Trellises . . . . . . . . . . . . . . 324 26 Exact Marginalization in Graphs . . . . . . . . . . . . . . . 334 27 Laplace's Method . . . . . . . . . . . . . . . . . . . . . . . 341 28 Model Comparison and Occam's Razor . . . . . . . . . . . 343 29 Monte Carlo Methods . . . . . . . . . . . . . . . . . . . . . 357 30 Ecient Monte Carlo Methods . . . . . . . . . . . . . . . . 387 31 Ising Models . . . . . . . . . . . . . . . . . . . . . . . . . . 400 32 Exact Monte Carlo Sampling . . . . . . . . . . . . . . . . . 413 33 Variational Methods . . . . . . . . . . . . . . . . . . . . . . 422 34 Independent Component Analysis and Latent Variable Modelling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437 35 Random Inference Topics . . . . . . . . . . . . . . . . . . . 445 36 Decision Theory . . . . . . . . . . . . . . . . . . . . . . . . 451 37 Bayesian Inference and Sampling Theory . . . . . . . . . . 457 V Neural networks . . . . . . . . . . . . . . . . . . . . . . . . 467 38 Introduction to Neural Networks . . . . . . . . . . . . . . . 468 39 The Single Neuron as a Classi er . . . . . . . . . . . . . . . 471 40 Capacity of a Single Neuron . . . . . . . . . . . . . . . . . . 483 41 Learning as Inference . . . . . . . . . . . . . . . . . . . . . 492 42 Hop eld Networks . . . . . . . . . . . . . . . . . . . . . . . 505 43 Boltzmann Machines . . . . . . . . . . . . . . . . . . . . . . 522 44 Supervised Learning in Multilayer Networks . . . . . . . . . 527 45 Gaussian Processes . . . . . . . . . . . . . . . . . . . . . . 535 46 Deconvolution . . . . . . . . . . . . . . . . . . . . . . . . . 549 VI Sparse Graph Codes . . . . . . . . . . . . . . . . . . . . . 555 47 Low-Density Parity-Check Codes . . . . . . . . . . . . . . 557 48 Convolutional Codes and Turbo Codes . . . . . . . . . . . . 574 49 Repeat{Accumulate Codes . . . . . . . . . . . . . . . . . . 582 50 Digital Fountain Codes . . . . . . . . . . . . . . . . . . . . 589 VII Appendices . . . . . . . . . . . . . . . . . . . . . . . . . . 597 A Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 598 B Some Physics . . . . . . . . . . . . . . . . . . . . . . . . . . 601 C Some Mathematics . . . . . . . . . . . . . . . . . . . . . . . 605 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613 Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 620