Softmax-cross-attention
时间: 2023-11-02 10:06:01 浏览: 134
复杂背景下车型识别分类器
Softmax-cross-attention是在decoder中应用的一种注意力机制。它将encoder的输出作为key和value,将decoder的输出作为query,通过计算query和key之间的相似度得到权重,然后对value进行加权求和,从而得到attention values。Softmax函数被用来计算相似度的权重,并且保证了权重的归一性,使得所有权重之和等于1。Softmax函数对每个值进行指数运算,并将结果归一化,使得较大的值得到较大的权重。
阅读全文