transformer输入
时间: 2023-09-02 13:07:23 浏览: 170
transformer
Transformer的输入通常是一个语言序列,比如句子或文本段落。输入首先会经过一个编码器,该编码器将输入文本转换为一系列的词向量。这些词向量可以通过不同的方式生成,例如使用预训练的词嵌入模型。在编码器的每个层次上,输入的词向量会经过自注意力机制和前馈神经网络的处理,并产生一个更加丰富的表示。这个更丰富的表示会作为输出传递给下一个编码器层次,直到达到最终的编码器层次或解码器。在解码器中,还会插入一个Encoder-Decoder Attention层,帮助解码器聚焦于输入句子的相关部分,以便更好地生成翻译结果。总之,Transformer的输入是一系列词向量,经过编码器的处理,得到更丰富的表示,并在解码器中进行进一步的处理和翻译。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *3* [Transformer(认真)](https://blog.csdn.net/qq_61094172/article/details/121479925)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *2* [图解Transformer](https://download.csdn.net/download/weixin_38745434/15448408)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]
阅读全文