、DistilBERT、TinyBERT提出时间

DistilBERT是在2019年10月提出的，它是一种基于BERT模型的轻量化版本，可以在保持相近性能的同时，大大减小模型大小和计算资源需求，从而更适合在资源有限的设备上部署。

TinyBERT是在2020年2月提出的，它是一种通过知识蒸馏（Knowledge Distillation）的方式将大型预训练模型（如BERT）压缩到更小的尺寸，以便在资源受限的设备上进行部署。TinyBERT的主要创新是将蒸馏的过程中加入了一个自适应的注意力机制，以更好地保留原始模型的语义信息。

总的来说，DistilBERT和TinyBERT都是在BERT模型的基础上进行的优化和压缩，旨在提高模型的效率和可部署性。