计算语言学：词法分析详解及其应用

计算语言学讲义深入探讨了词法分析在计算机科学中的核心地位。词法分析是自然语言处理的第一步，它负责将连续的符号流分解为有意义的单元，如词汇或词组，这些单元通常被称为词汇项。讲义首先介绍了词法分析在机器翻译、自动问答、音字转换、自动文摘和信息抽取等计算语言学应用中的关键作用，这些问题都可归结为序列评估、序列标注和序列结构化的抽象问题。 在序列评估问题中，输入是一连串符号，系统需要判断其是否合法，并可能提供一个概率值来衡量其发生的可能性。例如，文本校对和汉语词语切分、音字转换可以通过这种形式进行处理。 序列标注问题涉及给每个输入符号分配一个标记，比如在音字转换中，将拼音序列转化为汉字序列；词性标注则识别词语序列中的词性，以支持后续的语言处理任务；词义排歧解决词语多种含义下的标记问题，为正确理解和解析句子提供依据。 序列结构化关注符号间的更深层次关系，如成分句法分析构建短语结构树，表示词语之间的组成关系；依存句法分析则通过依存树展现词语间的依赖关系；语义分析进一步深化到词语的抽象意义，形成语义网络。 讲义还提到，计算语言学中常采用多种方法解决问题，包括规则方法，基于形式语法理论如上下文无关文法（Context-Free Grammar, CFG）和形式逻辑；以及统计方法，如n元语法模型（N-gram Model）、隐马尔科夫模型（Hidden Markov Model, HMM）和最大熵模型（Maximum Entropy Model），这些模型在实际应用中扮演着至关重要的角色。 课程的组织方式围绕计算语言学的主要问题展开，如词法分析、句法分析、语义篇章分析和机器翻译等，同时穿插介绍对应问题的解决方法，比如词法分析中涉及的语言模型、HMM模型和最大熵模型等。此外，形态学，作为语言内部结构的研究领域，也与词法分析密切相关，研究单词内部的构造规则和形成过程。 通过学习这门课程，学生能够深入了解词法分析的基本原理、方法和技术，为后续的自然语言处理任务打下坚实的基础。