自注意力机制中权重矩阵
时间: 2023-08-13 08:10:28 浏览: 233
空间权重矩阵,地级市、省级四种空间权重矩阵都有哦,都是本人制作的,准确可靠!!
5星 · 资源好评率100%
在自注意力机制中,权重矩阵是用来学习更新输入向量的。通过将输入向量与权重矩阵相乘,可以得到一个新的向量。在自注意力机制中,有两个权重矩阵,分别是Wq和Wk。其中,Wq用于将输入向量与查询向量相乘,得到一个查询向量q;Wk用于将输入向量与键向量相乘,得到一个键向量k。最后,通过对查询向量q和键向量k进行点积运算,得到一个表示两个向量之间相关联程度的值α。\[2\]
#### 引用[.reference_title]
- *1* *3* [自注意力机制中的位置编码](https://blog.csdn.net/benzhujie1245com/article/details/124985638)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* [自注意力机制(Self-Attention)](https://blog.csdn.net/Michale_L/article/details/126549946)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
阅读全文