transformer 代码

从引用中的代码可以看出，Transformer的代码包含了Encoder和Decoder两个核心部分。

Encoder部分是由多个EncoderLayer组成的，每个EncoderLayer都是相同的结构。通过复制多个EncoderLayer，并使用ModuleList将它们连接在一起，形成一个多层的Encoder网络。在Encoder的forward方法中，对输入数据进行遍历，逐层经过EncoderLayer进行处理，并最终返回处理后的结果。

Decoder部分的代码没有在提供的引用中出现，但根据引用中的讨论，可以推测Decoder的输入在进行第一个需要翻译的单词时实际上是没有输入的，或者说被mask了。这可能是为了在解码器中实现自注意力机制和遮蔽未来标记的操作。

总结起来，Transformer的代码包括了Encoder和Decoder两个部分，其中Encoder由多个相同结构的EncoderLayer组成，而Decoder可能在输入第一个需要翻译的单词时没有真正的输入，或者说被mask了。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>