小尺寸BERT模型发布：计算资源受限的新选择

资源摘要信息:"BERT（Bidirectional Encoder Representations from Transformers）是由Google的研究团队提出的一种新型语言表示模型，是自然语言处理（NLP）领域的一个重大突破。BERT模型采用Transformer作为其基础架构，通过预训练和微调的方式，使得模型能够捕捉到语言的双向上下文信息，从而在各种NLP任务上取得了前所未有的效果。 BERT模型的预训练任务包括两个主要方面：Masked Language Model（MLM）和Next Sentence Prediction（NSP）。MLM是随机遮蔽一些输入的词，然后让模型预测这些被遮蔽的词；NSP则是预测两个句子是否在原文中相邻。通过这两个任务，BERT能够在大规模无标注文本上学习语言的深层次特征。 BERT模型的大小主要有两种：BERT-Base和BERT-Large。其中，BERT-Base包含12个Transformer层，110M参数；BERT-Large包含24个Transformer层，340M参数。更小的BERT模型（BERT-Mini等）是在BERT-Base的基础上进行了压缩，使得模型更加轻量，适合在计算资源有限的环境下使用。这些模型仍然使用相同的模型架构和预训练目标，但在模型尺寸上进行了缩减。 本文档介绍了Google于2020年3月11日发布的24个更小的BERT模型，这些模型只包括英语模型，并且使用了WordPiece作为分词方法。这些小模型特别适用于资源受限的环境，并且可以通过与BERT-Base和BERT-Large相同的方式进行微调。这些小模型在知识提炼任务中表现尤其出色，即当微调标签是由更大更准确的模型生成时。 发布的小模型包括不同隐藏层（L）和注意力头（H）的组合，以提供多样化的计算资源需求。文档提到的模型尺寸选项如下：H=128、H=256、H=512、H=768、L=2、L=4、L=6、L=8、L=10、L=12。此外，文档还提到BERT-Base模型在此版本中也被包含，但它仅仅是出于完整性考虑并重新训练的版本。通过提供这些模型，Google鼓励研究机构在计算资源较少的情况下进行研究，并推动社区寻找增加模型容量的创新方法。 文档中还提到了GLUE（General Language Understanding Evaluation）基准测试，这是一个用于评估NLP模型的测试集。尽管文档没有列出具体的GLUE分数，但是提及了相关的评分指标，比如SST-2和MR（Memory Reasoning），这些指标可用于评估模型在特定任务上的性能。 总的来说，BERT模型通过预训练和微调的方法，推动了NLP技术的边界，而Google发布的更小的BERT模型则使得BERT技术能够更广泛地应用于资源受限的场景中。这些模型可以用于多种NLP任务，包括问答系统、情感分析、命名实体识别等。随着BERT模型的不断优化和小模型的推出，我们可以预见BERT及其衍生模型将在未来的NLP领域中扮演更加重要的角色。"