统计学习基础第二版：数据挖掘与预测实战

需积分: 15 58 浏览量更新于2024-07-18 收藏 12.68MB PDF 举报

《统计学习的基础》第二版是Trevor Hastie、Robert Tibshirani和Jerome Friedman合著的一本统计学与机器学习领域的经典著作，属于Springer Series in Statistics系列。该书于2017年进行了第十二次修订，反映了统计学习领域快速发展的研究动态。本书旨在提供数据挖掘、推断和预测方面的理论基础，对于初学者和专业人士具有重要的参考价值。在第一版广受欢迎的基础上，作者们为了满足读者对新知识的需求，精心编撰了全新的内容，并对部分内容进行了更新。新版本的特点包括： 1. **新增章节**：作者们在第二版中增添了四个新的章节，可能涵盖了当时研究的热点话题，如深度学习、非线性模型、稀疏学习方法、集成学习或者高级统计技术等。这些新增内容旨在扩展读者的理论视野和实践应用能力。 2. **更新现有章节**：针对近年来技术的发展，作者们对原有的理论和方法进行了更新，确保信息的时效性和准确性。这可能包括算法改进、理论发展、以及实际案例的分析，帮助读者跟上行业的最新进展。 3. **保持结构一致性**：尽管增添了新内容，但作者们尽量保持了第一版的布局和风格，以便于读者能够迅速找到所需的信息，减轻了学习过程中的适应成本。 4. **引言和致敬**：在新的 Preface to the Second Edition 中，作者们引用了 William Edwards Deming 的名言，强调数据在现代决策中的核心地位，同时表达了他们对前辈科学家和家庭的支持，以及对读者的感激之情。《统计学习的基础》第二版不仅是一本深入浅出的教科书，还是一本反映业界前沿动态的专业参考书。无论是学术研究人员还是实践经验丰富的工程师，都能从中获益匪浅，掌握统计学习的最新技术和方法。通过阅读这本书，读者将能够理解并应用各种统计模型，解决实际问题，推动大数据时代的科学决策。

Contents xix

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415

12 Support Vector Machines and

Flexible Discriminants 417

12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 417

12.2 The Support Vector Classiﬁer . . . . . . . . . . . . . . . . 417

12.2.1 Computing the Support Vector Classiﬁer . . . . 420

12.2.2 Mixture Ex ample (Continued) . . . . . . . . . . 421

12.3 Support Vector Machines and Kernels . . . . . . . . . . . 423

12.3.1 Computing the SVM for Classiﬁcation . . . . . . 423

12.3.2 The SVM as a Penalization Method . . . . . . . 426

12.3.3 Function Estimation and Reproduci ng Kernels . 428

12.3.4 SVMs and the Curse of Dimens ionality . . . . . 431

12.3.5 A Path Algorithm for the SVM Classiﬁer . . . . 432

12.3.6 Support Vector Machines for Regression . . . . . 434

12.3.7 Regression and Kernels . . . . . . . . . . . . . . 436

12.3.8 Discussion . . . . . . . . . . . . . . . . . . . . . 438

12.4 Generalizing Linear Discriminant Analysis . . . . . . . . 438

12.5 Flexible Discriminant Analysis . . . . . . . . . . . . . . . 440

12.5.1 Computing the FDA E st imate s . . . . . . . . . . 444

12.6 Penalized Discriminant Analysis . . . . . . . . . . . . . . 446

12.7 Mixture Discriminant Analysis . . . . . . . . . . . . . . . 449

12.7.1 Example: Waveform Data . . . . . . . . . . . . . 451

Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . 455

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455

13 Prototype Methods and Nearest-Neighbors 459

13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 459

13.2 Prototype Methods . . . . . . . . . . . . . . . . . . . . . 459

13.2.1 K-means Clustering . . . . . . . . . . . . . . . . 460

13.2.2 Learning Vector Quantization . . . . . . . . . . 462

13.2.3 Gaussian Mix tu r es . . . . . . . . . . . . . . . . . 463

13.3 k-Nearest-Neighbor Classiﬁers . . . . . . . . . . . . . . . 463

13.3.1 Example: A Comparative Study . . . . . . . . . 468

13.3.2 Example: k-Nearest-Neighbors

and Image Scene Classiﬁcation . . . . . . . . . . 470

13.3.3 Invariant Metrics and Tangent Distance . . . . . 471

13.4 Adaptive Nearest-Neighbor Methods . . . . . . . . . . . . 475

13.4.1 Example . . . . . . . . . . . . . . . . . . . . . . 478

13.4.2 Global Dimen si on Reduction

for Nearest-Neighb or s . . . . . . . . . . . . . . . 479

13.5 Computational Considerations . . . . . . . . . . . . . . . 480

Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . 481

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481

xx Contents

14 Unsupervised Learning 485

14.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 485

14.2 Association Rules . . . . . . . . . . . . . . . . . . . . . . 487

14.2.1 Market Basket Analysis . . . . . . . . . . . . . . 488

14.2.2 The Apriori Algorithm . . . . . . . . . . . . . . 489

14.2.3 Example: Mar ket Basket Analysis . . . . . . . . 492

14.2.4 Unsupervised as Supervised Learning . . . . . . 495

14.2.5 Generalized Association Rules . . . . . . . . . . 497

14.2.6 Choice of Supervised Le arn in g Method . . . . . 499

14.2.7 Example: Mar ket Basket Analysis (Continued) . 499

14.3 Cluster Analysis . . . . . . . . . . . . . . . . . . . . . . . 501

14.3.1 Proximity Matrices . . . . . . . . . . . . . . . . 503

14.3.2 Dissimilarities Based on Attributes . . . . . . . 503

14.3.3 Object Dissimilarity . . . . . . . . . . . . . . . . 505

14.3.4 Clustering Algorithms . . . . . . . . . . . . . . . 507

14.3.5 Combinatorial Algorithms . . . . . . . . . . . . 507

14.3.6 K-means . . . . . . . . . . . . . . . . . . . . . . 509

14.3.7 Gaussian Mix tu r es as Soft K-means Clustering . 510

14.3.8 Example: Human Tumor Microarray Data . . . 512

14.3.9 Vector Quantization . . . . . . . . . . . . . . . . 514

14.3.10 K-med oids . . . . . . . . . . . . . . . . . . . . . 515

14.3.11 Practical Issues . . . . . . . . . . . . . . . . . . 518

14.3.12 Hierarchical Clustering . . . . . . . . . . . . . . 520

14.4 Self-Organizing Maps . . . . . . . . . . . . . . . . . . . . 528

14.5 Principal Components, Curves and Surfaces . . . . . . . . 534

14.5.1 Principal Components . . . . . . . . . . . . . . . 534

14.5.2 Principal Curves and Surfaces . . . . . . . . . . 541

14.5.3 Spectral Cluste r in g . . . . . . . . . . . . . . . . 544

14.5.4 Kernel Prin ci pal Components . . . . . . . . . . . 547

14.5.5 Sparse Princi pal Components . . . . . . . . . . . 550

14.6 Non-negative Matrix Factorization . . . . . . . . . . . . . 553

14.6.1 Archetypal Analysis . . . . . . . . . . . . . . . . 554

14.7 Independent Component Analysis

and Exploratory Projection Pursuit . . . . . . . . . . . . 557

14.7.1 Latent Variabl es and Factor Analysis . . . . . . 558

14.7.2 Independent Component Analysis . . . . . . . . 560

14.7.3 Exploratory Projection Pursuit . . . . . . . . . . 565

14.7.4 A Direct Approach to ICA . . . . . . . . . . . . 565

14.8 Multidimensional Scaling . . . . . . . . . . . . . . . . . . 570

14.9 Nonlinear Dimension Reduction

and Local Multidimensional Scaling . . . . . . . . . . . . 572

14.10 The Google PageRank Algorithm . . . . . . . . . . . . . 576

Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . 578

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 579

Contents xxi

15 Random Forests 587

15.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 587

15.2 Deﬁnition of Random Forests . . . . . . . . . . . . . . . . 587

15.3 Details of Random Forests . . . . . . . . . . . . . . . . . 592

15.3.1 Out of Bag Samples . . . . . . . . . . . . . . . . 592

15.3.2 Variable Importance . . . . . . . . . . . . . . . . 593

15.3.3 Proximity Plots . . . . . . . . . . . . . . . . . . 595

15.3.4 Random Forests and Overﬁtting . . . . . . . . . 596

15.4 Analysis of Random Forests . . . . . . . . . . . . . . . . . 597

15.4.1 Variance and the De-Correlation Eﬀect . . . . . 597

15.4.2 Bias . . . . . . . . . . . . . . . . . . . . . . . . . 600

15.4.3 Adaptive Nearest Neighbors . . . . . . . . . . . 601

Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . 602

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 603

16 Ensemble Learning 605

16.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 605

16.2 Boosting and Regularization Paths . . . . . . . . . . . . . 607

16.2.1 Penalized Regression . . . . . . . . . . . . . . . 607

16.2.2 The “Bet on Sparsity” Principle . . . . . . . . . 610

16.2.3 Regularization Paths, Over-ﬁtting and Margins . 613

16.3 Learning Ensembles . . . . . . . . . . . . . . . . . . . . . 616

16.3.1 Learning a Good Ensemble . . . . . . . . . . . . 617

16.3.2 Rule Ensembles . . . . . . . . . . . . . . . . . . 622

Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . 623

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624

17 Undirected Graphical Models 625

17.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 625

17.2 Markov Graphs and Their Properties . . . . . . . . . . . 627

17.3 Undirected Graphical Models for Continuous Variables . 630

17.3.1 Estimation of the Parameters

when the Graph Str uc tu r e is Known . . . . . . . 631

17.3.2 Estimation of the G r aph Structure . . . . . . . . 635

17.4 Undirected Graphical Models for Discrete Variables . . . 638

17.4.1 Estimation of the Parameters

when the Graph Str uc tu r e is Known . . . . . . . 639

17.4.2 Hidden Nodes . . . . . . . . . . . . . . . . . . . 641

17.4.3 Estimation of the G r aph Structure . . . . . . . . 642

17.4.4 Restricted Boltzmann Machines . . . . . . . . . 643

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 645

18 High-Dimensional Problems: p ≫ N 649

18.1 When p is M uch Bigger than N . . . . . . . . . . . . . . 649

剩余763页未读，继续阅读

Jayki

粉丝: 6
资源: 5

统计学习基础第二版：数据挖掘与预测实战

统计学习基础电子版，统计学习经典教材

统计学习基础英文第二版（勘误2017年1月第12次勘误） The Elements of Statistical Learning

统计学习理论基础：第二版英文版

统计学习基础（第二版）：数据挖掘与预测

统计学习基础第二版：数据挖掘与预测

统计学习基础：数据挖掘与机器学习第二版

统计学习基础：数据挖掘、推断与预测（英文第二版）

统计学习基础：数据挖掘、推断与预测(第二版)

统计学习基础：数据挖掘与预测（2016年第二版）

统计学习基础：数据挖掘、推理与预测（第二版）

最新资源