transformer太耗显存了
时间: 2023-09-26 16:14:31 浏览: 53
引用中提到,当假设k<<M时,Transformer的显存占用为常数。这意味着Transformer的显存占用在某种程度上是可控的,并不总是过于耗费显存。引用中的研究论文指出,通过使用线性注意力机制,可以实现快速自回归Transformer,并减少显存开销。因此,对于Transformer的显存开销问题,有可能通过一些方法进行优化。引用中的论文题目《Finetuning Pretrained Transformers into RNNs》也说明了将预训练的Transformer微调为RNN的方法,可能会在一定程度上减少显存开销。因此,虽然Transformer可能在某些情况下会耗费较多的显存,但我们可以通过一些优化方法来减少显存开销。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [Transformer太大了,我要把它微调成RNN](https://blog.csdn.net/qq_27590277/article/details/115744060)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]