谷歌发布MobileBERT：轻量级预训练模型，兼顾移动设备与多任务性能

谷歌近期在自然语言处理领域推出了一个具有重要意义的创新——MobileBERT，这是一种轻量级、任务无关的预训练模型。在过去几年里，预训练监督模型，尤其是BERT，因其显著的精度提升在NLP领域引领潮流。然而，BERT的大规模模型架构导致其在移动设备上运行时面临挑战，如较高的内存需求和较长的响应时间，限制了其在移动机器翻译、对话系统等领域的应用。 传统的应对策略是针对特定任务对BERT进行微调或者模型蒸馏，但这往往涉及到复杂的步骤，且成本较高。MobileBERT的目标是打破这一现状，提供一个无需预先针对特定任务调整，可以直接在多种NLP任务中进行一般微调的轻量级模型。MobileBERT的设计独特，它保持了BERT（LARGE）的深度，但通过引入瓶颈结构和平衡注意力机制以及前馈网络，使每一层变得更窄，从而实现了更小的模型尺寸和更快的运行速度。 训练MobileBERT的过程包括两个阶段：首先，创建一个特殊的教师模型IB-BERT，它是基于BERT（LARGE）的inverted-bottleneck设计；然后，将IB-BERT的知识转移至MobileBERT。研究者们进行了细致的实验比较，证实MobileBERT在保持高精度的同时，显著地减小了模型大小（比BERT（BASE）小4.3倍），提高了运行速度（快5.5倍）。 在实际的性能测试中，MobileBERT在GLUE自然语言推理任务中的得分达到77.7，只比BERT（BASE）低0.6分，而且在Pixel4手机上的延迟只有62毫秒。在问答任务SQuADv1.1/v2.0上，MobileBERT的devF1分别提升了1.5和2.1分，表现出了优秀的效果。这些结果表明，MobileBERT不仅提供了更好的移动设备兼容性，还在保持高性能的同时实现了效率的提升，对于推动NLP在移动设备上的广泛应用具有重大意义。