xviii Contents
Part II From Theory to Practice – Signal and Image Processing Applications
9 Sparsity-Seeking Methods in Signal Processing . . . . . . . . . . . . . . . . . . . . 169
9.1 Priors and Transforms for Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
9.2 The Sparse-Land Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
9.3 Geometric Interpretation of Sparse-Land . . . . . . . . . . . . . . . . . . . . . . . 173
9.4 Processing of Sparsely-Generated Signals . . . . . . . . . . . . . . . . . . . . . . 176
9.5 Analysis Versus Synthesis Signal Modeling . . . . . . . . . . . . . . . . . . . . . 178
9.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
Further Reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
10 Image Deblurring – A Case Study .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
10.1 Problem Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
10.2 The Dictionary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
10.3 Numerical Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
10.4 Experiment Details and Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
10.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
Further Reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
11 MAP versus MMSE Estimation .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
11.1 A Stochastic Model and Estimation Goals . . . . . . . . . . . . . . . . . . . . . . 201
11.2 Background on MAP and MMSE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
11.3 The Oracle Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
11.3.1 Developing the Oracle Estimator . . . . . . . . . . . . . . . . . . . . . . . 204
11.3.2 The Oracle Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
11.4 The MAP Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
11.4.1 Developing the MAP Estimator . . . . . . . . . . . . . . . . . . . . . . . . 208
11.4.2 Approximating the MAP Estimator . . . . . . . . . . . . . . . . . . . . . 211
11.5 The MMSE Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
11.5.1 Developing the MMSE Estimator . . . . . . . . . . . . . . . . . . . . . . . 212
11.5.2 Approximating the MMSE Estimator . . . . . . . . . . . . . . . . . . . 215
11.6 MMSE and MAP Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
11.7 More Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
11.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
Further Reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
12 The Quest for a Dictionary .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
12.1 Choosing versus Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
12.2 Dictionary-Learning Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
12.2.1 Core Questions in Dictionary-Learning . . . . . . . . . . . . . . . . . . 229
12.2.2 The MOD Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
12.2.3 The K-SVD Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
12.3 Training Structured Dictionaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
12.3.1 The Double-Sparsity Model . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
12.3.2 Union of Unitary Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
12.3.3 The Signature Dictionary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242