transformer 中FactoredDense

FactoredDense是Transformer模型中的一种参数压缩技术，用于减少模型中的参数数量和计算量。在传统的Transformer模型中，每个注意力头（attention head）都需要有自己的权重矩阵来计算注意力权重，因此参数数量很大。而FactoredDense通过将这些权重矩阵分解为两个较小的矩阵，从而减少了参数数量。

具体来说，FactoredDense将每个注意力头的权重矩阵分解为一个查询矩阵（query matrix）和一个键值矩阵（key-value matrix）。查询矩阵用于计算注意力权重，而键值矩阵则用于计算注意力加权平均后的值。通过这种分解，可以将原本的参数数量从O(n^2)降低到O(n)，其中n是每个注意力头的向量维度。

使用FactoredDense可以在一定程度上减少模型的计算和内存开销，同时保持模型的性能。这在大规模的Transformer模型中特别有用，因为它可以减少训练和推理的时间和资源消耗。