attension is all you need
时间: 2023-09-02 13:09:27 浏览: 59
《Attention is all you need》是由Ashish Vaswani等人在NIPS 2017上发表的一篇论文,它介绍了注意力机制的重要性和应用。注意力机制是一种用来处理序列数据的技术,它通过计算输入序列中的每个元素与目标元素之间的相关性,从而为每个元素分配一个权重。这个权重可以表示该元素对于目标的重要程度。在该论文中,作者提出了一种多头注意力机制,它在计算注意力时将输入进行多次变换,并将结果进行组合。这种方法可以更好地捕捉输入序列中不同位置的信息。
根据公式Pn = ∑ i ∑ k min ( h k ( c i ) , max j ∈ m h k ( s i j ) ) ∑ i ∑ k min ( h k ( c i ) ) ,Pn表示注意力机制的输出,公式中的hk表示第k个头注意力的计算,ci表示输入序列的第i个元素,sij表示目标序列中的第i个元素与输入序列的第j个元素之间的相关性。这个公式的计算过程是对所有输入元素和相关性进行求和,并将结果归一化。
总而言之,《Attention is all you need》是一篇介绍注意力机制重要性和应用的论文,它提出了一种多头注意力机制,并通过公式计算了注意力的输出值。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [transformer - Attention is all you need](https://blog.csdn.net/weixin_31948131/article/details/118710807)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)