transformer公式

Transformer是一种神经网络结构，它包含了self-Attention和Feed Forward Neural Network机制。在Transformer中，输入的query和memory（包括key和value）通过转置相乘得到score，再乘以value得到最终的结果。具体公式如下：

1. 输入的query和memory经过转置相乘得到score：score = softmax((query * key^T) / sqrt(d_k))，其中softmax函数用于归一化得分，d_k表示每个头的维度。
2. 将score与value相乘得到加权后的value：weighted_value = score * value。
3. 经过一系列后续操作对weighted_value进行处理，得到最终的输出结果。

这些操作保证了每个字符的向量唯一，而且位置向量有界且连续，使得模型更容易泛化并处理长度和训练数据分布不一致的序列。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [transformer算法解析](https://blog.csdn.net/benben044/article/details/128705458)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]