Transformer和MAE支持的编解码器

Transformer支持编码器-解码器架构，其中编码器和解码器都是基于自注意力的模块叠加而成的。编码器和解码器分别将源序列和目标序列的嵌入表示加上位置编码后输入。而MAE（Masked Autoencoder）的编码器和解码器采用非对称的架构。具体来说，MAE的编码器只编码可见的patches，被masked的块不进行编码，而解码器需要重构所有块。此外，相对于Transformer的多层堆叠的编码器，MAE的解码器更加轻量，通常只需要较少层甚至1层。