多头自注意力的计算复杂度为什么是4hwC2 + 2(hw) 2C

多头自注意力的计算复杂度是4hwC2 + 2(hw)2C，其中h代表头数，w代表序列长度，C代表每个词向量的维度。

这个计算复杂度来自于多头自注意力机制的计算流程。具体来说，多头自注意力机制可以分为三个步骤：1）计算Q、K、V矩阵；2）计算注意力得分；3）计算输出向量。

第一步，对于每个头，需要计算出三个矩阵Q、K、V，每个矩阵的形状都是hwC。因此，这个步骤的计算复杂度是3hwC。

第二步，对于每个头，需要计算出注意力得分，也就是对于每个位置i，计算出它和其他位置j的相似度，得到一个注意力得分aij。由于注意力得分的计算包括了两个hwC的矩阵相乘，所以这个步骤的计算复杂度是2(hw)2C。

第三步，对于每个头，需要将注意力得分和V矩阵相乘，并将结果拼接起来得到输出向量。这个步骤的计算复杂度是hwC。

因为要对每个头分别进行这三个步骤，所以总的计算复杂度是3h(hwC) + 2(hw)2C + h(hwC) = 4hwC2 + 2(hw)2C。