ChatGPT与大模型热潮：InstructGPT与RWKV解析

"大语言模型浅探一.pdf" 本文主要探讨了大语言模型的发展和其中的关键技术，特别是针对OpenAI的GPT模型及其后续改进。文章首先提到了人工智能领域的热潮，尤其是ChatGPT的迅速崛起，它在短短两个月内就获得了上亿的月活跃用户。虽然模型参数量在不断提升，但单纯增加参数并不一定能够带来预期效果。文章指出，OpenAI的InstructGPT论文可能提供了关于模型性能提升的关键线索。 GPT模型是基于Transformer架构的预训练语言模型，它只使用了解码器部分，并且对解码器进行了调整，去除了第二个Multi-Head Attention层。解码过程的核心是根据当前和之前的所有token状态预测下一个token，直至遇到结束标志。模型的输出概率分布最初是分散的，选择下一个单词的方法有两种常见的策略： 1. 贪心搜索：每次选取概率最高的单词，虽然简单但可能导致局部最优而非全局最优。 2. 集束搜索：保留最高b个得分的句子路径，增加找到最佳序列的概率，但计算复杂度较高。 接下来，文章提到了InstructGPT，这是对GPT模型的优化，通过人类反馈的指令引导来训练模型，使其能更好地遵循用户的指令并产生更符合期望的输出。此外，还讨论了基于RWKV（Row-Wise Key-Value）的微调模型。RWKV模型因其速度优势和较低的GPU显存占用而被选为实验对象，其主要包括以下几个方面： 1. RWKV简介：这是一种优化的Transformer实现，通过行向量的方式存储键值对，减少了计算和内存开销。 2. 增量预训练：通过在现有模型上进行额外的预训练，进一步提升模型的能力，适应新的任务或数据。 3. SFT微调：Soft-Forgetting Tuning，一种遗忘策略，允许模型在学习新知识的同时保留旧知识，防止过拟合。 4. RM和PPO：在微调过程中可能采用的强化学习方法，如Reward Mechanism (RM) 和Proximal Policy Optimization (PPO)，以优化模型在特定任务上的性能。 最后，文章进行了测试和总结，通过实际操作验证了上述方法的有效性，并强调了理解模型解码过程的重要性，这对于深入理解InstructGPT的工作机制以及如何利用RWKV进行模型优化至关重要。