大模型理论基础：语言模型与历史回顾

"大模型理论基础打卡Task01" 大模型理论基础主要涉及语言模型，尤其是自回归语言模型，以及信息理论的相关概念，如熵和n-gram模型。语言模型在机器学习领域扮演着重要角色，它能评估和生成符合语言规则的序列。 1. 语言模型（LM）是计算序列概率的工具，它基于令牌序列的概率分布来评估一个句子的合理性。一个优秀的语言模型需要具备强大的语言理解和世界知识。语言模型不仅可以用于评估，还可以用于生成任务，即根据给定的序列预测下一个可能的令牌。 2. 自回归语言模型是一种特殊类型的语言模型，它们利用前馈神经网络等方法计算每个条件概率，即基于已生成的令牌来预测下一个令牌。在生成序列时，需要逐个生成令牌，每次生成都依赖于前面生成的令牌。 3. 在实际操作中，由于真实语言模型的复杂性，通常不会直接从模型中采样。此外，我们往往希望得到最优化的序列，而不是平均序列。为此，可能需要采用如退火等策略来调整生成过程，确保生成序列的质量。 4. 在计算条件概率时，可能会遇到概率分布不归一化的问题。为了解决这个问题，可以通过重新标准化概率分布，确保其总和为1。 5. 信息理论中的香农熵是衡量数据编码成比特串所需预期比特数的指标。达到香农极限非常困难，但编码理论致力于此目标的研究。 6. 英语的熵是衡量英语文本压缩效率的一个指标。交叉熵则用于评估使用模型q对来自真实分布p的样本进行编码所需的比特数。交叉熵提供了一个上界，即真实熵H(p)，这意味着可以通过构建近似的语言模型q来估计H(p)。 7. n-gram模型是语言模型的一种早期形式，尤其在语音识别和机器翻译等下游应用中起到了关键作用。n-gram模型基于相邻单词的组合（n个单词的短语）来预测下一个单词，从而帮助系统理解语言模式。 8. 1970年代的语音识别系统和1990年代的机器翻译系统广泛采用了基于词的n-gram模型，这些模型虽然简单，但在当时的技术条件下为处理自然语言提供了有效的解决方案。 大模型理论基础涵盖了语言模型的原理与应用，信息理论的基本概念，以及n-gram模型在实际任务中的重要性，这些都是理解和开发现代语言模型如自回归模型的基础。