transformer预训练权重

Transformer预训练权重是指通过使用公开的语料进行训练而得到的可复现的模型权重。这些权重在huggingface上进行了开源，并提供了详细的训练过程说明，用户可以根据需要轻松地复现这些权重。这些预训练权重经过定量和定性的评估，质量较好且具有竞争力的性能表现。此外，还提供了各种类型的预训练权重，可以根据具体需求选择合适的模型。这些权重是使用UER-py进行预训练，然后通过转换脚本转换成Huggingface Transformers可以加载和推理的格式。对于微调和推理，UER项目内部也提供了相应的脚本。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [中文Transformer（BERT，GPT，T5等）预训练模型权重](https://blog.csdn.net/qq_34832393/article/details/115463344)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *2* *3* [Vision Transformer模型与预训练权重简析](https://blog.csdn.net/caoyz/article/details/125108578)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]