统计学习经典： Hastie, Tibshirani & Friedman合著第二版解析

需积分: 3 155 浏览量更新于2024-07-23 1 收藏 12.62MB PDF 举报

《统计学习元素》是SpringerSeries in Statistics系列的一部经典之作，由Trevor Hastie、Robert Tibshirani和Jerome Friedman三位作者共同编著。该书最初出版后广受好评，随着统计学习领域的快速发展，第二版应运而生。本书是数据挖掘、推断与预测方面的权威教程，以其简洁明了的语言和深入浅出的讲解著称，展示了大师级作者们对这一领域的深厚理解和独到见解。新版本的主要变化包括： 1. **新增篇章**：在第二版中，作者们增添了四个全新的章节，反映了近年来统计学习领域的新进展和技术突破。这些新增内容涵盖了可能的最新研究方向，如深度学习、非线性模型、大数据处理以及复杂模型的解释性等。 2. **更新内容**：对于已有的章节，作者们进行了修订和扩充，确保信息的时效性和准确性。他们可能对某些理论框架进行了更新，引入了最新的算法和方法，以便读者能够跟上快速发展的学科前沿。 3. **保持一致性**：考虑到第一版的读者群体熟悉书籍结构，作者们尽可能保持原有的布局，只进行必要的调整，以确保阅读流畅性。 4. **引言中的名言**： Preface to the Second Edition 引用的William Edwards Deming的名言，尽管被广泛认为出自他和Robert W. Hayden，但作者确认了Hayden对此有所否认，这可能暗示着对数据和事实的严谨态度，强调了统计学习领域研究者应该具备的数据批判精神。 5. **目标读者**：这本书不仅适合那些希望深入理解统计学习基础的学者，也适合工程师、数据科学家以及对机器学习感兴趣的专业人士。无论是初学者还是经验丰富的从业者，都能从中获得宝贵的知识和洞见。《The Elements of Statistical Learning》第二版作为一部里程碑式的教材，不仅提供了扎实的理论基础，还紧跟时代步伐，为读者提供了一个不断扩展和深化统计学习理解的平台。通过阅读本书，读者将掌握一系列关键技能，为应对日益复杂的现实世界问题奠定坚实的基础。

Contents xix

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415

12 Support Vector Machines and

Flexible Discriminants 417

12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 417

12.2 The Support Vector Classiﬁer . . . . . . . . . . . . . . . . 417

12.2.1 Computing the Support Vector Classiﬁer . . . . 420

12.2.2 Mixture Example (Continued) . . . . . . . . . . 421

12.3 Support Vector Machines and Kernels . . . . . . . . . . . 423

12.3.1 Computing the SVM for Classiﬁcation . . . . . . 423

12.3.2 The SVM as a Penalization Method . . . . . . . 426

12.3.3 Function Estimation and Reproducing Kernels . 428

12.3.4 SVMs and the Curse of Dimensionality . . . . . 431

12.3.5 A Path Algorithm for the SVM Classiﬁer . . . . 432

12.3.6 Support Vector Machines for Regression . . . . . 434

12.3.7 Regression and Kernels . . . . . . . . . . . . . . 436

12.3.8 Discussion . . . . . . . . . . . . . . . . . . . . . 438

12.4 Generalizing Linear Discriminant Analysis . . . . . . . . 438

12.5 Flexible Discriminant Analysis . . . . . . . . . . . . . . . 440

12.5.1 Computing the FDA Estimates . . . . . . . . . . 444

12.6 Penalized Discriminant Analysis . . . . . . . . . . . . . . 446

12.7 Mixture Discriminant Analysis . . . . . . . . . . . . . . . 449

12.7.1 Example: Waveform Data . . . . . . . . . . . . . 451

Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . 455

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455

13 Prototype Methods and Nearest-Neighbors 459

13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 459

13.2 Prototype Methods . . . . . . . . . . . . . . . . . . . . . 459

13.2.1 K-means Clustering . . . . . . . . . . . . . . . . 460

13.2.2 Learning Vector Quantization . . . . . . . . . . 462

13.2.3 Gaussian Mixtures . . . . . . . . . . . . . . . . . 463

13.3 k-Nearest-Neighbor Classiﬁers . . . . . . . . . . . . . . . 463

13.3.1 Example: A Comparative Study . . . . . . . . . 468

13.3.2 Example: k-Nearest-Neighbors

and Image Scene Classiﬁcation . . . . . . . . . . 470

13.3.3 Invariant Metrics and Tangent Distance . . . . . 471

13.4 Adaptive Nearest-Neighbor Methods . . . . . . . . . . . . 475

13.4.1 Example . . . . . . . . . . . . . . . . . . . . . . 478

13.4.2 Global Dimension Reduction

for Nearest-Neighbors . . . . . . . . . . . . . . . 479

13.5 Computational Considerations . . . . . . . . . . . . . . . 480

Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . 481

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481

xx Contents

14 Unsupervised Learning 485

14.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 485

14.2 Association Rules . . . . . . . . . . . . . . . . . . . . . . 487

14.2.1 Market Basket Analysis . . . . . . . . . . . . . . 488

14.2.2 The Apriori Algorithm . . . . . . . . . . . . . . 489

14.2.3 Example: Market Basket Analysis . . . . . . . . 492

14.2.4 Unsupervised as Supervised Learning . . . . . . 495

14.2.5 Generalized Association Rules . . . . . . . . . . 497

14.2.6 Choice of Supervised Learning Method . . . . . 499

14.2.7 Example: Market Basket Analysis (Continued) . 499

14.3 Cluster Analysis . . . . . . . . . . . . . . . . . . . . . . . 501

14.3.1 Proximity Matrices . . . . . . . . . . . . . . . . 503

14.3.2 Dissimilarities Based on Attributes . . . . . . . 503

14.3.3 Object Dissimilarity . . . . . . . . . . . . . . . . 505

14.3.4 Clustering Algorithms . . . . . . . . . . . . . . . 507

14.3.5 Combinatorial Algorithms . . . . . . . . . . . . 507

14.3.6 K-means . . . . . . . . . . . . . . . . . . . . . . 509

14.3.7 Gaussian Mixtures as Soft K-means Clustering . 510

14.3.8 Example: Human Tumor Microarray Data . . . 512

14.3.9 Vector Quantization . . . . . . . . . . . . . . . . 514

14.3.10 K-medoids . . . . . . . . . . . . . . . . . . . . . 515

14.3.11 Practical Issues . . . . . . . . . . . . . . . . . . 518

14.3.12 Hierarchical Clustering . . . . . . . . . . . . . . 520

14.4 Self-Organizing Maps . . . . . . . . . . . . . . . . . . . . 528

14.5 Principal Components, Curves and Surfaces . . . . . . . . 534

14.5.1 Principal Components . . . . . . . . . . . . . . . 534

14.5.2 Principal Curves and Surfaces . . . . . . . . . . 541

14.5.3 Spectral Clustering . . . . . . . . . . . . . . . . 544

14.5.4 Kernel Principal Components . . . . . . . . . . . 547

14.5.5 Sparse Principal Components . . . . . . . . . . . 550

14.6 Non-negative Matrix Factorization . . . . . . . . . . . . . 553

14.6.1 Archetypal Analysis . . . . . . . . . . . . . . . . 554

14.7 Independent Component Analysis

and Exploratory Projection Pursuit . . . . . . . . . . . . 557

14.7.1 Latent Variables and Factor Analysis . . . . . . 558

14.7.2 Independent Component Analysis . . . . . . . . 560

14.7.3 Exploratory Projection Pursuit . . . . . . . . . . 565

14.7.4 A Direct Approach to ICA . . . . . . . . . . . . 565

14.8 Multidimensional Scaling . . . . . . . . . . . . . . . . . . 570

14.9 Nonlinear Dimension Reduction

and Local Multidimensional Scaling . . . . . . . . . . . . 572

14.10 The Google PageRank Algorithm . . . . . . . . . . . . . 576

Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . 578

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 579

Contents xxi

15 Random Forests 587

15.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 587

15.2 Deﬁnition of Random Forests . . . . . . . . . . . . . . . . 587

15.3 Details of Random Forests . . . . . . . . . . . . . . . . . 592

15.3.1 Out of Bag Samples . . . . . . . . . . . . . . . . 592

15.3.2 Variable Importance . . . . . . . . . . . . . . . . 593

15.3.3 Proximity Plots . . . . . . . . . . . . . . . . . . 595

15.3.4 Random Forests and Overﬁtting . . . . . . . . . 596

15.4 Analysis of Random Forests . . . . . . . . . . . . . . . . . 597

15.4.1 Variance and the De-Correlation Eﬀect . . . . . 597

15.4.2 Bias . . . . . . . . . . . . . . . . . . . . . . . . . 600

15.4.3 Adaptive Nearest Neighbors . . . . . . . . . . . 601

Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . 602

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 603

16 Ensemble Learning 605

16.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 605

16.2 Boosting and Regularization Paths . . . . . . . . . . . . . 607

16.2.1 Penalized Regression . . . . . . . . . . . . . . . 607

16.2.2 The “Bet on Sparsity” Principle . . . . . . . . . 610

16.2.3 Regularization Paths, Over-ﬁtting and Margins . 613

16.3 Learning Ensembles . . . . . . . . . . . . . . . . . . . . . 616

16.3.1 Learning a Good Ensemble . . . . . . . . . . . . 617

16.3.2 Rule Ensembles . . . . . . . . . . . . . . . . . . 622

Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . 623

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624

17 Undirected Graphical Models 625

17.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 625

17.2 Markov Graphs and Their Properties . . . . . . . . . . . 627

17.3 Undirected Graphical Models for Continuous Variables . 630

17.3.1 Estimation of the Parameters

when the Graph Structure is Known . . . . . . . 631

17.3.2 Estimation of the Graph Structure . . . . . . . . 635

17.4 Undirected Graphical Models for Discrete Variables . . . 638

17.4.1 Estimation of the Parameters

when the Graph Structure is Known . . . . . . . 639

17.4.2 Hidden Nodes . . . . . . . . . . . . . . . . . . . 641

17.4.3 Estimation of the Graph Structure . . . . . . . . 642

17.4.4 Restricted Boltzmann Machines . . . . . . . . . 643

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 645

18 High-Dimensional Problems: p ≫ N 649

18.1 When p is Much Bigger than N . . . . . . . . . . . . . . 649

剩余757页未读，继续阅读

robinliuc

粉丝: 0
资源: 1

统计学习经典： Hastie, Tibshirani & Friedman合著第二版解析

The Elements of Statistical Learning

The Elements of Statistical Learning data Mining,Inference,and Prediction

《The Elements of Statistical Learning》教材答案

The elements of statistical learning

精选毕设项目-微笑话.zip

在线教育系统-springboot毕业项目，适合计算机毕-设、实训项目、大作业学习.zip

基于智能推荐的卫生健康系统-springboot毕业项目，适合计算机毕-设、实训项目、大作业学习.zip

精选毕设项目-课程预约.zip

同步机(VSG)三相并网仿真模型 有功功率从20k突变到10k再恢复至20k 系统始终稳定运行 该仿真主要用于基础原理的学习

南京理工大学毕业论文overleaf LaTex模板，微调版

最新资源

同步机(VSG)三相并网仿真模型有功功率从20k突变到10k再恢复至20k 系统始终稳定运行该仿真主要用于基础原理的学习