Transformer解码器的输入是什么
时间: 2023-11-14 19:26:44 浏览: 79
Transformer同样基于编码器-解码器架构
Transformer解码器的输入包含两部分:第一部分是编码器输出的特征向量序列,第二部分是解码器自身的输入序列。
具体来说,编码器输出的特征向量序列是由多个编码器层的输出组成的,每个编码器层都会对输入的序列进行自注意力机制和前馈神经网络的处理,最终输出一个特征向量序列。
解码器自身的输入序列是由目标语言中的词汇序列组成的,通常会在序列的开始位置添加一个特殊的起始符号,表示开始解码。解码器会对输入序列进行自注意力机制、编码器-解码器注意力机制和前馈神经网络的处理,从而生成一个目标语言的翻译序列。
阅读全文