基于transformer的注意力机制

基于Transformer的注意力机制是一种自注意力机制，它可以在学习一种关系，在Transformer的整体结构中处于下图红框的位置中。自从Transformer模型问世后，基于Transformer的深度学习模型也在NLP领域中大放异彩。通过输入词的query和key相乘计算出一个关系权重，再用这个关系权重对value进行加权求和，以提升一个序列中相关向量的权重，降低不相关元素的权重。Multi-Head Attention则是将多层self-attention的结果进行拼接计算，从而实现自注意力的目的。