"NLP课程笔记 权志龙1"
这篇笔记主要涵盖了自然语言处理(NLP)的一些核心概念和理论,包括最优化分词方法、概率论基础、信息论基础以及中文分词的难点。以下是对这些知识点的详细解释:
1. **最优化分词方法**:
- **最少词最优**:这是分词策略之一,它在词图上寻找词数最少的路径,以达到最佳分词效果。相比于单向最匹配,这种方法考虑了句子的完整性和上下文信息,能更好地处理复杂情况。
- **半词法**:这种分词方法强调在保证词数最少的同时,也要尽可能减少切割单词的数量,以减少歧义和提高准确性。
- **最概率分词法**:这种方法在词图上选取概率最高的词串作为最佳分词路线,它基于概率模型,如最大熵模型或隐马尔可夫模型,通过计算词串出现的概率来确定最佳分词。
2. **概率论基础**:
- **最大似然估计**:在已知数据分布的情况下,通过最大化样本数据出现的概率来估计未知参数。当概率最大时,对应的就是最大似然估计的值。
- **条件概率**:表示在事件A发生的条件下,事件B发生的概率。用公式表示为P(B|A)。
- **全概率公式**:如果一个事件可以通过多种途径发生,那么该事件发生的概率等于这些途径发生的概率之和。
- **贝叶斯公式**:用于计算后验概率,即在给定一些证据后,某一假设的概率。公式为P(A|B) = P(B|A) * P(A) / P(B)。
3. **信息论基础**:
- **熵**:熵是衡量离散随机变量不确定性的度量,公式为H(X) = -∑p(x) * log2(p(x))。熵越大,表示变量的不确定性越高。
- **联合熵**:描述两个或多个随机变量共同的信息量,公式为H(X,Y) = -∑∑p(x,y) * log2(p(x,y))。
- **条件熵**:给定随机变量X的条件下,随机变量Y的条件熵表示为H(Y|X),它是描述在知道X的情况下,预测Y所需的信息量。
- **相对熵(Kullback-Leibler散度)**:衡量两个概率分布之间的差异,定义为D(p||q) = ∑p(x) * log2(p(x)/q(x)),当两个分布完全相同时,相对熵为0。
- **交叉熵**:用于评估模型对数据的拟合程度,定义为H(X,q) = -∑p(x) * log2(q(x)),其中q是模型分布,p是实际数据分布。
4. **中文分词的难点**:
- **歧义**:中文分词面临的挑战主要体现在歧义问题上,包括:
- **交集型歧义**:不同切分方式导致词的交集不同,如“中国银行”与“中国队”。
- **组合型歧义**:根据上下文需要选择不同的切分,如“苹果手机”与“苹果、手机”。
- **混合型歧义**:需要结合句子整体来确定最佳切分,如“打球的男孩”与“打球的,男孩”。
5. **分词方法**:
- **最大匹配法**:基于词典的分词方法,通常从最长的词开始匹配,适用于大部分情况但可能在处理生僻词或新词时出错。
- **最短路径分词**:在考虑词典的同时,寻找词图上的最短路径,以减少歧义。
这些知识点是NLP学习的基础,理解并掌握它们对于进一步深入学习和应用NLP技术至关重要。