推荐30个以上比较好的中文bert系列的压缩模型
时间: 2023-01-11 16:55:36 浏览: 179
关于各种中文Bert/xlnet模型
首先需要注意的是,推荐中文 BERT 系列的压缩模型需要考虑模型的性能、速度、大小等各方面因素,推荐的模型也需要根据具体的应用场景进行选择。以下是一些常用的中文 BERT 系列的压缩模型:
- BERT-Base, Chinese: 这是 BERT 模型在中文数据集上预训练得到的基础版本,包含 12 个 transformer 层,每层有 768 个隐藏维度,总共有 110M 个参数。
- BERT-Large, Chinese: 这是 BERT 模型在中文数据集上预训练得到的大型版本,包含 24 个 transformer 层,每层有 1024 个隐藏维度,总共有 340M 个参数。
- RoBERTa-Base, Chinese: 这是基于 BERT 模型开发的另一个预训练模型,在训练数据和超参数设置方面有所改进,包含 12 个 transformer 层,每层有 768 个隐藏维度,总共有 125M 个参数。
- RoBERTa-Large, Chinese: 这是 RoBERTa 模型的大型版本,包含 24 个 transformer 层,每层有 1024 个隐藏维度,总共有 355M 个参数。
- ALBERT-Base, Chinese: 这是另一个基于 BERT 模型开发的预训练模型,主要在 BERT 模型的参数压缩方面进行了改进,包含 12 个
阅读全文