transformer源码

Transformer 模型的源代码可以在 GitHub 上的 `huggingface/transformers` 仓库找到。该仓库包含了多种 Transformer 模型的实现，包括 BERT、GPT、XLNet、RoBERTa 等，同时也提供了多种预训练模型的预训练权重可供使用。

该仓库的代码结构如下：

.
├── examples  # 示例代码
│   ├── translation  # 机器翻译示例
│   ├── run_generation.py  # 生成文本的示例
│   ├── run_glue.py  # GLUE 任务的示例
│   └── ...  # 其他示例
├── src  # Transformer 模型的实现
│   ├── transformers  # 模型代码
│   │   ├── modeling_bert.py  # BERT 模型
│   │   ├── modeling_gpt.py  # GPT 模型
│   │   ├── modeling_roberta.py  # RoBERTa 模型
│   │   ├── modeling_xlnet.py  # XLNet 模型
│   │   └── ...  # 其他模型
│   ├── tokenization_bert.py  # BERT 分词器
│   ├── tokenization_gpt2.py  # GPT-2 分词器
│   ├── tokenization_roberta.py  # RoBERTa 分词器
│   ├── tokenization_utils.py  # 公共分词器代码
│   └── ...  # 其他代码
└── ...  # 其他文件

在 `src/transformers` 目录下，每个模型都有一个单独的 Python 文件，其中包含了该模型的定义。在该文件中，定义了模型的各个组件，如 Transformer 层、注意力机制等。同时，该文件中也定义了模型的前向传播函数，即 `forward` 函数。

除了模型代码之外，该仓库还提供了各种分词器、优化器、调度器等工具类，以及一些示例代码，方便用户进行快速入门。