gpt 开源模型有哪些
时间: 2024-01-11 07:59:54 浏览: 273
GPT开源GPT开源GPT开源GPT开源
GPT(Generative Pre-trained Transformer)是一种基于Transformer架构的语言生成模型,目前有以下几种开源模型:
1. GPT-2:由OpenAI开发的预训练语言模型,拥有1.5B参数量的大规模生成模型。
2. GPT-3:由OpenAI开发的预训练语言模型,拥有175B参数量的超大规模生成模型。
3. GPT-Neo:由EleutherAI开发的预训练语言模型,拥有1.3B、2.7B、13B参数量的模型。
4. GPT-J:由EleutherAI开发的预训练语言模型,拥有6B参数量的生成模型。
5. GShard:由Google Brain开发的分布式训练框架,可用于训练大规模的GPT模型。
6. Pegasus:由Google Research开发的基于GPT-2的预训练语言模型,主要用于生成文本摘要。
7. T5:由Google Research开发的基于Transformer架构的多任务语言模型,可用于文本生成、问答、翻译等多种任务。
阅读全文