Bert是什么时候提出的?
时间: 2024-08-29 12:00:59 浏览: 103
BERT大火却不懂Transformer?
Bert(Bidirectional Encoder Representations from Transformers),即双向Transformer表示模型,是由Google的研究团队在2018年9月发布的。它是在原有的Transformer架构基础上进行的一项重要创新,特别强调了预训练语言模型的双向上下文理解能力,通过在大规模无标签文本上进行预训练,然后再针对特定的下游任务进行微调,显著提高了许多自然语言处理任务的表现。Bert的成功极大地推动了现代深度学习在NLP领域的应用。
阅读全文