transformer 网络结构图是啥样
时间: 2023-02-14 22:46:40 浏览: 137
网络架构图
4星 · 用户满意度95%
Transformer 网络结构包含了若干个编码器和解码器块,这些块之间使用注意力机制进行连接。
输入序列通过编码器块进行编码,然后将编码后的表示作为解码器块的输入。解码器块输出序列的每一步都使用注意力机制来聚焦输入序列的不同部分。
一个 Transformer 块的结构如下:
1. 多头注意力层
2. 逐点前馈网络层
3. 残差连接和层归一化层
输入序列经过多个 Transformer 块进行编码或解码之后,最终会得到序列的高维表示,这些表示可以用来做各种不同的任务。
阅读全文