计算语言学：词法分析详解—序列标注与结构化

计算语言学讲义(03)词法分析1深入探讨了词法分析在计算语言学中的核心地位。词法分析是自然语言处理(NLP)中的第一步，它涉及将输入文本分解为有意义的基本单元，如词汇、词性、音节或词组，以便进一步进行语法分析和理解。 课程首先介绍了计算语言学的主要问题，这些问题涵盖了广泛的领域，如机器翻译、自动问答、文本分析等。这些问题可以抽象为四个基本类型：序列评估问题、序列标注问题、序列结构化问题以及序列转换问题。序列评估问题关注的是判断输入序列的合法性及可能发生的概率，例如文本校对和汉语词语切分。序列标注任务则是为每个符号分配特定标记，如音字转换、词性标注等，而序列结构化则涉及到揭示符号间的关系，如短语结构树和依存树的构建。 在解决问题的方法上，计算语言学提供了多种途径。规则方法基于专家知识和语言学规则，如形式语法理论和形式逻辑。另一方面，统计方法通过数据分析来解决，如n元语法模型、隐马尔科夫模型和最大熵模型，它们能学习语言模式，提高预测准确性。 课程的组织方式既按照语言处理的不同层面，如词法分析、句法分析和语义篇章分析，也有意识地穿插了对应方法的讲解，比如词法分析中会讨论语言模型、HMM模型和最大熵模型。这种结合实际问题与理论方法的教学方式有助于学生全面理解和应用这些技术。 形态学部分阐述了形态学研究的对象——单词内部结构及其形成规则，它是词法分析的重要组成部分。理解形态学对于正确地识别和解析词汇至关重要。 计算语言学讲义(03)词法分析1提供了一个系统的学习框架，帮助学生掌握词法分析的基本原理、应用以及所用到的理论和技术手段，为后续的自然语言处理任务打下坚实的基础。