transformer 介绍

Transformer是一种“编码器-解码器”架构，由编码器和解码器组成。编码器和解码器都是由多个层叠加而成的，每个层都包含多头自注意力和基于位置的前馈神经网络。在编码器中，输入序列经过词嵌入表示和位置信息加工后，通过多头自注意力层生成新的向量，并与输入序列进行残差连接和层归一化。然后，将结果输入到基于位置的前馈神经网络中进行变换，并再次进行残差连接和层归一化。这个过程重复多次。解码器接收编码器的输出向量，并根据已生成的序列逐步生成下一个字符，直到生成完整的序列。\[1\]\[2\]\[3\]
#### 引用[.reference_title]
- *1* *2* *3* [Transformer简介](https://blog.csdn.net/qq_44733706/article/details/129009545)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]