![](https://csdnimg.cn/release/download_crawler_static/9982284/bg12.jpg)
CONTENTS CONTENTS
18 Bayesian Linear Models 365
18.1 Regression With Additive Gaussian Noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
18.1.1 Bayesian linear parameter models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
18.1.2 Determining hyperparameters: ML-II . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
18.1.3 Learning the hyperparameters using EM . . . . . . . . . . . . . . . . . . . . . . . . . . 368
18.1.4 Hyperparameter optimisation : using the gradient . . . . . . . . . . . . . . . . . . . . 369
18.1.5 Validation likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
18.1.6 Prediction and model averaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
18.1.7 Sparse linear models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372
18.2 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
18.2.1 Hyperparameter optimisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
18.2.2 Laplace approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
18.2.3 Variational Gaussian approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
18.2.4 Local variational approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
18.2.5 Relevance vector machine for classification . . . . . . . . . . . . . . . . . . . . . . . . . 379
18.2.6 Multi-class case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379
18.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380
18.4 Code . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380
18.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
19 Gaussian Processes 383
19.1 Non-Parametric Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
19.1.1 From parametric to non-parametric . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
19.1.2 From Bayesian linear models to Gaussian processes . . . . . . . . . . . . . . . . . . . . 384
19.1.3 A prior on functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385
19.2 Gaussian Process Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386
19.2.1 Regression with noisy training outputs . . . . . . . . . . . . . . . . . . . . . . . . . . . 386
19.3 Covariance Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
19.3.1 Making new covariance functions from old . . . . . . . . . . . . . . . . . . . . . . . . . 389
19.3.2 Stationary covariance functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
19.3.3 Non-stationary covariance functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
19.4 Analysis of Covariance Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
19.4.1 Smoothness of the functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
19.4.2 Mercer kernels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392
19.4.3 Fourier analysis for stationary kernels . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
19.5 Gaussian Processes for Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
19.5.1 Binary classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
19.5.2 Laplace’s approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395
19.5.3 Hyperparameter optimisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397
19.5.4 Multiple classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
19.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
19.7 Code . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
19.8 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399
20 Mixture Models 401
20.1 Density Estimation Using Mixtures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401
20.2 Expectation Maximisation for Mixture Models . . . . . . . . . . . . . . . . . . . . . . . . . . 402
20.2.1 Unconstrained discrete tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403
20.2.2 Mixture of product of Bernoulli distributions . . . . . . . . . . . . . . . . . . . . . . . 405
20.3 The Gaussian Mixture Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407
20.3.1 EM algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407
20.3.2 Practical issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
20.3.3 Classification using Gaussian mixture models . . . . . . . . . . . . . . . . . . . . . . . 411
20.3.4 The Parzen estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
20.3.5 K-Means . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
20.3.6 Bayesian mixture models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
XVIII DRAFT January 9, 2013