推荐30个以上比较好的中文bert系列的模型
时间: 2023-02-05 15:14:47 浏览: 127
以下是一些中文 BERT 系列的模型:
1. BERT-Base, Chinese: 中文 BERT 基础版
2. BERT-Large, Chinese: 中文 BERT 大型版
3. BERT-WWM, Chinese: 中文 BERT 加入了 whole word masking 的版本
4. BERT-WWM-Ext, Chinese: 中文 BERT 加入了 whole word masking 且扩展了训练数据的版本
5. ALBERT-Base, Chinese: 中文 ALBERT 基础版,在 BERT 的基础上进行了参数压缩和优化
6. ALBERT-Large, Chinese: 中文 ALBERT 大型版
7. ALBERT-XLarge, Chinese: 中文 ALBERT 超大型版
8. RoBERTa-Base, Chinese: 中文 RoBERTa 基础版,在 BERT 的基础上进行了进一步优化
9. RoBERTa-Large, Chinese: 中文 RoBERTa 大型版
10. RoBERTa-WWM, Chinese: 中文 RoBERTa 加入了 whole word masking 的版本
11. RoBERTa-WWM-Ext, Chinese: 中文 RoBERTa 加入了 whole word masking 且扩展了训练数据的版本
12. XLM-RoBERTa-Base, Chinese: 中文 XLM-RoBERTa 基础版,在 RoBERTa 的基础上使用了多语言训练数据
13. XLM-RoBERTa-Large, Chinese: 中文 XLM-RoBERTa 大型版
14. GPT-2, Chinese: 中文 GPT-2,自然语言生成模型
15. T5, Chinese: 中文 T5,自然语言生成模型
16. ERNIE-Base, Chinese: 中文 ERNIE 基础版,在 BERT 的基础上加入了知识预先训练
17. ERNIE-Large, Chinese: 中文 ERNIE 大型版
18. ERNIE-Baidu, Chinese: 百度开发的中文 ERNIE 模型
19. ERNIE-Gen, Chinese: 中文 ERNIE