SupervisedSequenceLabellingwithRecurrentNeuralNetworks

Neural

Networks

5星 · 超过95%的资源需积分: 9 57 浏览量更新于2023-03-16 评论 4 收藏 7.68MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Supervised Sequence Labelling with Recurrent

Neural Networks

Alex Graves

Contents

List of Tables iv

List of Figures v

List of Algorithms vii

1 Introduction 1

1.1 Structure of the Book . . . . . . . . . . . . . . . . . . . . . . . . 3

2 Supervised Sequence Labelling 4

2.1 Supervised Learning . . . . . . . . . . . . . . . . . . . . . . . . . 4

2.2 Pattern Classiﬁcation . . . . . . . . . . . . . . . . . . . . . . . . 5

2.2.1 Probabilistic Classiﬁcation . . . . . . . . . . . . . . . . . . 5

2.2.2 Training Probabilistic Classiﬁers . . . . . . . . . . . . . . 5

2.2.3 Generative and Discriminative Methods . . . . . . . . . . 7

2.3 Sequence Labelling . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.3.1 Sequence Classiﬁcation . . . . . . . . . . . . . . . . . . . . 9

2.3.2 Segment Classiﬁcation . . . . . . . . . . . . . . . . . . . . 10

2.3.3 Temporal Classiﬁcation . . . . . . . . . . . . . . . . . . . 11

3 Neural Networks 12

3.1 Multilayer Perceptrons . . . . . . . . . . . . . . . . . . . . . . . . 12

3.1.1 Forward Pass . . . . . . . . . . . . . . . . . . . . . . . . . 13

3.1.2 Output Layers . . . . . . . . . . . . . . . . . . . . . . . . 15

3.1.3 Loss Functions . . . . . . . . . . . . . . . . . . . . . . . . 16

3.1.4 Backward Pass . . . . . . . . . . . . . . . . . . . . . . . . 16

3.2 Recurrent Neural Networks . . . . . . . . . . . . . . . . . . . . . 18

3.2.1 Forward Pass . . . . . . . . . . . . . . . . . . . . . . . . . 19

3.2.2 Backward Pass . . . . . . . . . . . . . . . . . . . . . . . . 19

3.2.3 Unfolding . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

3.2.4 Bidirectional Networks . . . . . . . . . . . . . . . . . . . . 21

3.2.5 Sequential Jacobian . . . . . . . . . . . . . . . . . . . . . 23

3.3 Network Training . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

3.3.1 Gradient Descent Algorithms . . . . . . . . . . . . . . . . 25

3.3.2 Generalisation . . . . . . . . . . . . . . . . . . . . . . . . 26

3.3.3 Input Representation . . . . . . . . . . . . . . . . . . . . . 29

3.3.4 Weight Initialisation . . . . . . . . . . . . . . . . . . . . . 30

CONTENTS ii

4 Long Short-Term Memory 31

4.1 Network Architecture . . . . . . . . . . . . . . . . . . . . . . . . 31

4.2 Inﬂuence of Preprocessing . . . . . . . . . . . . . . . . . . . . . . 35

4.3 Gradient Calculation . . . . . . . . . . . . . . . . . . . . . . . . . 35

4.4 Architectural Variants . . . . . . . . . . . . . . . . . . . . . . . . 36

4.5 Bidirectional Long Short-Term Memory . . . . . . . . . . . . . . 36

4.6 Network Equations . . . . . . . . . . . . . . . . . . . . . . . . . . 36

4.6.1 Forward Pass . . . . . . . . . . . . . . . . . . . . . . . . . 37

4.6.2 Backward Pass . . . . . . . . . . . . . . . . . . . . . . . . 38

5 A Comparison of Network Architectures 39

5.1 Experimental Setup . . . . . . . . . . . . . . . . . . . . . . . . . 39

5.2 Network Architectures . . . . . . . . . . . . . . . . . . . . . . . . 40

5.2.1 Computational Complexity . . . . . . . . . . . . . . . . . 41

5.2.2 Range of Context . . . . . . . . . . . . . . . . . . . . . . . 41

5.2.3 Output Layers . . . . . . . . . . . . . . . . . . . . . . . . 41

5.3 Network Training . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

5.3.1 Retraining . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

5.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

5.4.1 Previous Work . . . . . . . . . . . . . . . . . . . . . . . . 45

5.4.2 Eﬀect of Increased Context . . . . . . . . . . . . . . . . . 46

5.4.3 Weighted Error . . . . . . . . . . . . . . . . . . . . . . . . 46

6 Hidden Markov Model Hybrids 48

6.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

6.2 Experiment: Phoneme Recognition . . . . . . . . . . . . . . . . . 49

6.2.1 Experimental Setup . . . . . . . . . . . . . . . . . . . . . 49

6.2.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

7 Connectionist Temporal Classiﬁcation 52

7.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

7.2 From Outputs to Labellings . . . . . . . . . . . . . . . . . . . . . 54

7.2.1 Role of the Blank Labels . . . . . . . . . . . . . . . . . . . 54

7.2.2 Bidirectional and Unidirectional Networks . . . . . . . . . 55

7.3 Forward-Backward Algorithm . . . . . . . . . . . . . . . . . . . . 55

7.3.1 Log Scale . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

7.4 Loss Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

7.4.1 Loss Gradient . . . . . . . . . . . . . . . . . . . . . . . . . 59

7.5 Decoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

7.5.1 Best Path Decoding . . . . . . . . . . . . . . . . . . . . . 62

7.5.2 Preﬁx Search Decoding . . . . . . . . . . . . . . . . . . . 62

7.5.3 Constrained Decoding . . . . . . . . . . . . . . . . . . . . 63

7.6 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

7.6.1 Phoneme Recognition 1 . . . . . . . . . . . . . . . . . . . 69

7.6.2 Phoneme Recognition 2 . . . . . . . . . . . . . . . . . . . 70

7.6.3 Keyword Spotting . . . . . . . . . . . . . . . . . . . . . . 71

7.6.4 Online Handwriting Recognition . . . . . . . . . . . . . . 75

7.6.5 Oﬄine Handwriting Recognition . . . . . . . . . . . . . . 78

7.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

剩余136页未读，继续阅读

wunianvin

2020-02-23

很不错的书对于初学者来说公式推导和结构图都很不错

顿顿304122

粉丝: 0
资源: 43

会员权益专享

Supervised Sequence Labelling with Recurrent Neural Networks

评论4

会员权益专享

最新资源

Supervised Sequence Labelling with Recurrent Neural Networks

评论4

Recurrent Neural Networks

Supervised Sequence Labelling with Recurrent NeuralNetworks

Udemy - Deep Learning Recurrent Neural Networks in Python

LSTM公式推导详细解答

SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS 代码

深度学习中有哪些算法分类

SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS

Machine Learning specific learning route

semi-supervised hierarchical recurrent graphneural network for city-wide par

superpoint transformer复现

介绍一下：Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion

weakly supervised deep detection networks

Machine learning knowledge outline

推荐20个姿态估计深度学习模型

机器学习相关名词有哪些

matlab classification learning

frame a sequence as a supervised learning problem

神经网络按连接方式分有哪几类?按学习方式分有哪几类?

请以期刊引用的格式，生成GNN（图神经网络）的三篇英文参考文献，注意真实性与权威性

图神经网络模型谁提出来的

会员权益专享

最新资源