自注意力机制是因为QKV都来源于序列本身,所以才叫自注意力吗?那如果不是来源于序列本身注意力机制叫什么呢?
时间: 2024-03-16 11:40:18 浏览: 177
注意力机制-注意力机制序列标注-label.zip
自注意力机制之所以被称为自注意力,是为其Q(查询)、K(键)和V(值)都来自于同一个序列。通过计算查询与键的相似度,再将相似度作为权重对值进行加权求和,从而得到序列的表示。因此,自注意力机制可以将序列中的不同位置关联起来,计算同一序列的表示[^1]。
如果注意力机制的Q、K和V不来自于序列本身,而是来自于其他序列或者外部信息,那么这种注意力机制就不再被称为自注意力机制。具体来说,如果注意力机制的Q、K和V分别来自于不同的序列,那么它被称为多头注意力机制(Multi-head Attention)。
阅读全文