轻量化Transformer

轻量化Transformer是指通过减少参数数量和计算复杂度来降低Transformer模型的大小和计算负载的技术。在引用中提到了一种轻量化Transformer模型，称为Transformer-DeLighT。这个模型更深更轻量，更有效地在每个Transformer Block中分配参数。传统的基于Transformer的网络设计是按顺序堆叠Transformer Block来增加网络容量和深度，但增加输入维度会增加多头注意力的复杂性。相比之下，DeLighT模型使用扩展和收缩阶段来增加中间DeLighT过渡的深度和宽度，从而提高其表达能力和容量。这使得DeLighT可以使用较小的尺寸和较少的操作来计算注意力，实现轻量化的效果。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [DeLighT：深度和轻量化的Transformer](https://blog.csdn.net/Zosse/article/details/125798438)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]