CONTENTS v
3.2 Recurrent Neural Networks . . . . . . . . . . . . . . . . . . . 20
3.2.1 Forward Pass . . . . . . . . . . . . . . . . . . . . . . . 21
3.2.2 Backward Pass . . . . . . . . . . . . . . . . . . . . . . 22
3.2.3 Bidirectional RNNs . . . . . . . . . . . . . . . . . . . 22
3.2.4 Sequential Jacobian . . . . . . . . . . . . . . . . . . . 25
3.3 Network Training . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.3.1 Gradient Descent Algorithms . . . . . . . . . . . . . . 27
3.3.2 Generalisation . . . . . . . . . . . . . . . . . . . . . . 28
3.3.3 Input Representation . . . . . . . . . . . . . . . . . . . 30
3.3.4 Weight Initialisation . . . . . . . . . . . . . . . . . . . 31
4 Long Short-Term Memory 32
4.1 The LSTM Architecture . . . . . . . . . . . . . . . . . . . . . 33
4.2 Influence of Preprocessing . . . . . . . . . . . . . . . . . . . . 35
4.3 Gradient Calculation . . . . . . . . . . . . . . . . . . . . . . . 36
4.4 Architectural Enhancements . . . . . . . . . . . . . . . . . . . 36
4.5 LSTM Equations . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.5.1 Forward Pass . . . . . . . . . . . . . . . . . . . . . . . 38
4.5.2 Backward Pass . . . . . . . . . . . . . . . . . . . . . . 39
5 Framewise Phoneme Classification 40
5.1 Experimental Setup . . . . . . . . . . . . . . . . . . . . . . . 40
5.2 Network Architectures . . . . . . . . . . . . . . . . . . . . . . 41
5.2.1 Computational Complexity . . . . . . . . . . . . . . . 42
5.2.2 Range of Context . . . . . . . . . . . . . . . . . . . . . 42
5.2.3 Output Layers . . . . . . . . . . . . . . . . . . . . . . 42
5.3 Network Training . . . . . . . . . . . . . . . . . . . . . . . . . 44
5.3.1 Retraining . . . . . . . . . . . . . . . . . . . . . . . . . 44
5.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.4.1 Comparison with Previous Work . . . . . . . . . . . . 46
5.4.2 Effect of Increased Context . . . . . . . . . . . . . . . 47
5.4.3 Weighted Error . . . . . . . . . . . . . . . . . . . . . . 48
6 Hidden Markov Model Hybrids 50
6.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
6.2 Experiment: Phoneme Recognition . . . . . . . . . . . . . . . 52
6.2.1 Experimental Setup . . . . . . . . . . . . . . . . . . . 52
6.2.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . 53
7 Connectionist Temporal Classification 54
7.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
7.2 From Outputs to Labellings . . . . . . . . . . . . . . . . . . . 55
7.2.1 Role of the Blank Labels . . . . . . . . . . . . . . . . . 57
7.3 CTC Forward-Backward Algorithm . . . . . . . . . . . . . . . 57
评论0