qkv_transform
时间: 2023-09-13 16:03:02 浏览: 59
qkv_transform是指将输入矩阵通过线性变换得到矩阵Q、K和V的过程。具体来说,通过乘以线性变换矩阵(维度为768x768),将输入矩阵进行变换,得到维度为Lx768的Q、K和V矩阵。这个过程中,Q、K和V是通过同一句话的输入算出来的,因此被称为自注意力网络。在这个过程中,Q和V矩阵的每个元素分别与注意力权重相乘再求和,得到加权求和的结果矩阵。qkv_transform的目的是为了将输入矩阵转换为具有注意力机制的表示,保持维度与输入矩阵一致。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [Transformer中的Q/K/V理解](https://blog.csdn.net/fzz97_/article/details/128920353)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]