4层的bert有哪些开源的模型，除了tinybert

除了TinyBERT之外，还有以下几种4层的BERT开源模型：

1. DistilBERT：由Hugging Face开发，是BERT的轻量级版本，包含40%的参数和97%的性能。

2. MobileBERT：由Google AI团队开发，是适用于移动设备的BERT模型，具有更小的模型大小和更快的推理速度。

3. ALBERT：由Google Research和Toyota Technological Institute at Chicago共同开发，是一种参数共享的BERT变体，具有更少的参数和更高的性能。

4. ELECTRA：由Google Research开发，是一种新颖的预训练方法，可以在仅使用50%的数据和70%的训练时间内实现与BERT相当的性能。

这些模型都是开源的，可以在GitHub上找到它们的代码和预训练模型。