而Encoder层和Decoder层的内部组成之间的差异如下图所示。每一个Encoder层都包含了一个Self-Attention子层和一个Feed
Forward子层。每个Decoder层都包含了一个Self-Attention子层、一个Encoder-Decoder Attention子层和一个Feed Forward子
层。Encoder层和Decoder层之间的差别在于Decoder中多了一个Encoder-Decoder Attention子层，而其他两个子层的结构在
两者中是相同的。
2. Self-Attention
2.1 为什么选择Self-Attention
首先通过一个简单的例子，来简单说明一下self-Attention这种机制较之传统的序列模型的优势所在。比如我们当前要翻译的句
子为The animal didn’t cross the street because it was too tired，在翻译it时，它究竟指代的是什么呢？要确定it指代的内容，
毫无疑问我们需要同时关注到这个词的上下文语境中的所有词，在这句话中重点为animal, street, tired，然后根据常识，我们
知道只有animal才会tired，所以确定了it指代的是animal。如果将tired改为narrow，那很显然it应该指的是street，因为只有
street才能用narrow修饰。
Self-Attention机制在对一个词进行编码时，会考虑这个词上下文中的所有词和这些词对最终编码的贡献，再根据得到的信息对
当前词进行编码，这就保证了在翻译it时，在它上下文中的animal, street, tired都会被考虑进来，从而将it正确的翻译成animal
那么如果我们采用传统的像LSTM这样的序列模型来进行翻译呢？由于LSTM模型是单向的(前向或者后向)，显然它无法同时考
虑到it的上下文信息，这会造成翻译的错误。以前向LSTM为例，当翻译it时，能考虑的信息只有The animal didn't cross the
street because，而无法考虑was too tired，这使得模型无法确定it到底指代的是street还是animal。当然我们可以采用多层的
LSTM结构，但这种结构并非像Self-Attention一样是真正意义上的双向，而是通过拼接前向LSTM和后向LSTM的输出实现
的，这会使得模型的复杂度会远远高于Self-Attention。
下图是模型的最上一层(下标0是第一层，5是第六层)Encoder的Attention可视化图。这是tensor2tensor这个工具输出的内容。
我们可以看到，在编码it的时候有一个Attention Head(后面会讲到)注意到了Animal，因此编码后的it有Animal的语义。
Self-Attention的优势不仅仅在于对词语进行编码时能充分考虑到词语上下文中的所有信息，还在于这种机制能够实现模型训练
过程中的并行，这使得模型的训练时间能够较传统的序列模型大大缩短。传统的序列模型由于t tt时刻的状态会受到t*1 t-1t*1时
刻状态的影响，所以在训练的过程中是无法实现并行的，只能串行。而Self-Attention模型中，整个操作可以通过矩阵运算很容
易的实现并行。
评论0