attention_resolutions是什么

attention_resolutions是Transformer中的一个概念，它指的是在自注意力机制中对输入序列进行分组处理的操作。在Transformer的编码器和解码器中，输入序列会被划分为多个子序列，每个子序列中的词向量都会互相注意到，但不同子序列之间的词向量则不会相互影响。这种分组可以有效减少自注意力的计算成本，同时也可以提高模型的并行化能力。attention_resolutions的值通常是一个正整数，表示划分的子序列数。