GPT（从左到右的单向Transformer）

GPT（Generative Pre-trained Transformer）是由OpenAI开发的大型语言模型，它基于Transformer架构，特别设计用于生成文本。Transformer是一种自注意力机制的神经网络，其关键特点是能够并行处理输入序列的每个部分，从而实现高效的序列建模。

在单向Transformer中，从左到右的处理意味着模型只能看到前面的信息，不能依赖后续的上下文。例如，在自然语言理解任务中，GPT会根据前面的单词预测下一个单词，而不会考虑后面可能的影响。这种设计允许模型在没有循环连接的情况下训练，简化了计算并促进了并行化。

以下是GPT模型工作的一个简化示例：

1. 输入序列：`I love`
2. GPT会基于前两个词（`I`和`love`）计算隐藏状态，预测下一个词可能是`dogs`。
3. 预测结果：`I love dogs`

在实际应用中，GPT通常通过逐词或逐字符的方式生成文本，每个时间步只使用当前位置之前的信息来决定当前的输出。