GPT (Generative Pre-trained Transformer):

GPT (Generative Pre-trained Transformer)是由OpenAI公司开发的一系列自然语言处理模型。它采用多层Transformer结构来预测下一个单词的概率分布，通过在大型文本语料库中学习到的语言模式来生成自然语言文本。GPT系列模型包括多个版本，如GPT-2和GPT-3等。\[2\]这些模型在不同任务中展现了出色的性能，包括零样本学习和少样本学习等。GPT使用Transformer的Decoder结构，并对其进行了一些改动，保留了Mask Multi-Head Attention。\[3\]通过这些改进，GPT模型在自然语言处理领域取得了显著的成果。
#### 引用[.reference_title]
- *1* [深入理解深度学习——GPT（Generative Pre-Trained Transformer）：基础知识](https://blog.csdn.net/hy592070616/article/details/131341012)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* *3* [【LLM系列之GPT】GPT（Generative Pre-trained Transformer）生成式预训练模型](https://blog.csdn.net/yanqianglifei/article/details/130756814)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]