transformer里的因子标准化

在引用的研究中，提到了一种通过字典学习进行Transformer可视化的方法。该方法将上下文嵌入表示为Transformer因子的线性叠加。关于Transformer中的因子标准化，在引用中提到，Transformer网络通常由多个Transformer Block按顺序堆叠而成，以增加网络的容量和深度。而在每个Transformer Block中，存在一种标准化操作，称为Layer Normalization(层标准化)。这种标准化操作旨在解决Transformer网络中的梯度消失和梯度爆炸问题，并有助于加速网络的训练收敛。在每个Transformer Block中，Layer Normalization被应用于每个位置的特征向量，使得特征向量的均值为0，方差为1，以便更好地进行后续计算和学习。因此，Transformer中的因子标准化是通过层标准化操作实现的。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [Transformer 可视化研究.pdf](https://download.csdn.net/download/hfrommane/20703011)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *2* *3* [DeLighT：深度和轻量化的Transformer](https://blog.csdn.net/Zosse/article/details/125798438)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]