Jacob Eisenstein -natural language processing notes

自然语言处理

NLP

需积分: 10 61 浏览量更新于2023-05-22 收藏 4.47MB PDF 举报

乔治亚理工大学 Jacob Eisenstein 教授开放了自然语言处理领域的最新教材《Natural Language Processing》，该教材在 2018 年 6 月完成

Natural Language Processing1

Jacob Eisenstein2

October 3, 20183

2 CONTENTS

2.4.1 Regularization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3531

2.4.2 Gradients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3632

2.5 Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3733

2.5.1 Batch optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3734

2.5.2 Online optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3835

2.6 *Additional topics in classiﬁcation . . . . . . . . . . . . . . . . . . . . . . . . 4036

2.6.1 Feature selection by regularization . . . . . . . . . . . . . . . . . . . . 4037

2.6.2 Other views of logistic regression . . . . . . . . . . . . . . . . . . . . . 4138

2.7 Summary of learning algorithms . . . . . . . . . . . . . . . . . . . . . . . . . 4239

3 Nonlinear classiﬁcation 4740

3.1 Feedforward neural networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 4841

3.2 Designing neural networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5042

3.2.1 Activation functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5043

3.2.2 Network structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5144

3.2.3 Outputs and loss functions . . . . . . . . . . . . . . . . . . . . . . . . 5245

3.2.4 Inputs and lookup layers . . . . . . . . . . . . . . . . . . . . . . . . . 5346

3.3 Learning neural networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5347

3.3.1 Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5548

3.3.2 Regularization and dropout . . . . . . . . . . . . . . . . . . . . . . . . 5749

3.3.3 *Learning theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5850

3.3.4 Tricks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5951

3.4 Convolutional neural networks . . . . . . . . . . . . . . . . . . . . . . . . . . 6152

4 Linguistic applications of classiﬁcation 6953

4.1 Sentiment and opinion analysis . . . . . . . . . . . . . . . . . . . . . . . . . . 6954

4.1.1 Related problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7155

4.1.2 Alternative approaches to sentiment analysis . . . . . . . . . . . . . . 7256

4.2 Word sense disambiguation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7357

4.2.1 How many word senses? . . . . . . . . . . . . . . . . . . . . . . . . . 7458

4.2.2 Word sense disambiguation as classiﬁcation . . . . . . . . . . . . . . 7559

4.3 Design decisions for text classiﬁcation . . . . . . . . . . . . . . . . . . . . . . 7660

4.3.1 What is a word? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7661

4.3.2 How many words? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7962

4.3.3 Count or binary? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8063

4.4 Evaluating classiﬁers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8164

4.4.1 Precision, recall, and F -MEASURE . . . . . . . . . . . . . . . . . . . . 8165

4.4.2 Threshold-free metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . 8366

4.4.3 Classiﬁer comparison and statistical signiﬁcance . . . . . . . . . . . . 8367

4.4.4 *Multiple comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . 8768

4.5 Building datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8869

Jacob Eisenstein. Draft of October 3, 2018.

CONTENTS 3

4.5.1 Metadata as labels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8870

4.5.2 Labeling data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8871

5 Learning without supervision 9572

5.1 Unsupervised learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9573

5.1.1 K-means clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9674

5.1.2 Expectation-Maximization (EM) . . . . . . . . . . . . . . . . . . . . . 9875

5.1.3 EM as an optimization algorithm . . . . . . . . . . . . . . . . . . . . . 10276

5.1.4 How many clusters? . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10377

5.2 Applications of expectation-maximization . . . . . . . . . . . . . . . . . . . . 10478

5.2.1 Word sense induction . . . . . . . . . . . . . . . . . . . . . . . . . . . 10479

5.2.2 Semi-supervised learning . . . . . . . . . . . . . . . . . . . . . . . . . 10580

5.2.3 Multi-component modeling . . . . . . . . . . . . . . . . . . . . . . . . 10681

5.3 Semi-supervised learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10782

5.3.1 Multi-view learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10883

5.3.2 Graph-based algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . 10984

5.4 Domain adaptation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11085

5.4.1 Supervised domain adaptation . . . . . . . . . . . . . . . . . . . . . . 11186

5.4.2 Unsupervised domain adaptation . . . . . . . . . . . . . . . . . . . . 11287

5.5 *Other approaches to learning with latent variables . . . . . . . . . . . . . . 11488

5.5.1 Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11489

5.5.2 Spectral learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11690

II Sequences and trees 12391

6 Language models 12592

6.1 N-gram language models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12693

6.2 Smoothing and discounting . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12994

6.2.1 Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12995

6.2.2 Discounting and backoff . . . . . . . . . . . . . . . . . . . . . . . . . . 13096

6.2.3 *Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13197

6.2.4 *Kneser-Ney smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . 13398

6.3 Recurrent neural network language models . . . . . . . . . . . . . . . . . . . 13499

6.3.1 Backpropagation through time . . . . . . . . . . . . . . . . . . . . . . 136100

6.3.2 Hyperparameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137101

6.3.3 Gated recurrent neural networks . . . . . . . . . . . . . . . . . . . . . 137102

6.4 Evaluating language models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139103

6.4.1 Held-out likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139104

6.4.2 Perplexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140105

6.5 Out-of-vocabulary words . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141106

Under contract with MIT Press, shared under CC-BY-NC-ND license.

剩余589页未读，继续阅读

黑樱耀翼

粉丝: 0
资源: 8

Jacob Eisenstein -natural language processing notes

eisenstein-nlp-notes2018年6月份最新版

eisenstein nlp notes

jacob-1.14.3.jar jacob-1.14.3-x64.dll

自然语言处理技术的书推荐几本

jacob-1.18-x86 dll

jacob-1.19-x64.dll

jacob-1.18-x64.dll 下载

jacob-1.20-x64下载

jacob-1.18-m2-x64.dll下载

jacob-1.18-x64.dll文件

最新资源