transformer中的encoder
时间: 2023-09-25 12:07:57 浏览: 125
Transformer中的Encoder、Decoder
和decoder的区别是什么?
在Transformer模型中,Encoder和Decoder是两个不同的组件。Encoder的作用是将输入的序列经过多层self-attention和全连接层来提取特征,得到一组高维的向量表示,将这些向量作为输入传给Decoder。而Decoder则是将Encoder得到的向量表示转化为目标语言的输出序列。Decoder同样包括多层self-attention和全连接层,但还会加入一个encoder-decoder attention层,用来引入Encoder的信息,解码出最终的目标语言序列。
阅读全文