Contents
1 Introduction 1
1.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Literature Survey . . . . . . . . . . . . . . . . . . . . . . . . . 2
2 Neural Networks 5
2.1 Single Layer Neural Network . . . . . . . . . . . . . . . . . . 6
2.1.1 Artificial Neurons . . . . . . . . . . . . . . . . . . . . . 6
2.1.2 Activation Function . . . . . . . . . . . . . . . . . . . 7
2.1.3 Single-Layer Feedforward Networks . . . . . . . . . . . 11
2.1.4 The Perceptron . . . . . . . . . . . . . . . . . . . . . . 12
2.1.5 The Perceptron As a Classifier . . . . . . . . . . . . . 12
2.2 Multilayer Neural Networks . . . . . . . . . . . . . . . . . . . 15
2.2.1 The Multilayer Perceptron . . . . . . . . . . . . . . . . 15
2.2.2 Function Approximation with MLP . . . . . . . . . . . 16
2.2.3 Regression and Classification . . . . . . . . . . . . . . 17
2.2.4 Deep Architectures . . . . . . . . . . . . . . . . . . . . 18
2.3 Deep Belief Networks . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.1 Boltzmann Machines . . . . . . . . . . . . . . . . . . . 22
2.3.2 Restricted Boltzmann Machines . . . . . . . . . . . . . 24
2.3.3 Deep Belief Networks . . . . . . . . . . . . . . . . . . . 25
2.3.4 Model for Financial Application . . . . . . . . . . . . . 27
3 Training Neural Networks 31
3.1 Back-Propagation Algorithm . . . . . . . . . . . . . . . . . . 31
3.1.1 Steepest Descent . . . . . . . . . . . . . . . . . . . . . 31
3.1.2 The Delta Rule . . . . . . . . . . . . . . . . . . . . . . 32
Case 1 Output Layer . . . . . . . . . . . . . . . . . . . 33
Case 2 Hidden Layer . . . . . . . . . . . . . . . . . . . 33
Summary . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.1.3 Forward and Backward Phase . . . . . . . . . . . . . . 34
Forward Phase . . . . . . . . . . . . . . . . . . . . . . 34
Backward Phase . . . . . . . . . . . . . . . . . . . . . 34
3.1.4 Computation of δ for Known Activation Functions . . 35
v
评论0