transformer multi-head

Transformer multi-head attention 是Transformer模型中的一个重要组成部分，用于处理输入序列中的信息交互。在multi-head attention中，输入序列会经过多个线性变换，得到多个不同的query、key和value表示，每个表示都会进行自注意力计算，最后将所有结果进行拼接并经过一次线性变换，得到最终的输出。

这种方法的好处是可以让模型在不同的注意力空间中学习到不同的语义信息，从而提高模型的表现力。同时，由于每个头之间是独立计算的，因此可以并行化计算，加快模型的训练速度。