扩散模型具有所谓的解耦特性

扩散模型通常指的是在自然语言处理（NLP）中用于序列建模的深度学习架构，如Transformer系列模型（特别是BERT和GPT系列）。它们通过自注意力机制（self-attention mechanism）来捕捉输入序列之间的全局依赖关系，而这种设计的一个显著特点是它们能够实现局部计算与全局信息的解耦（decoupling of local computation and global information）[^4]。

具体来说，解耦性体现在模型可以并行地对输入序列的不同部分进行计算，而不必考虑整个序列的长度。这使得大序列的处理更为高效，因为计算不再受限于序列的长度，而是由模型的参数决定。每个位置的预测只依赖于其直接前后的上下文，而不是整个序列，从而减轻了内存需求和训练时间[^4]。

例如，在GPT这类基于Transformer的模型中，自注意力层会独立地处理每个位置的输入，计算出与其他位置的相关度权重，然后将这些加权值整合到当前位置的表示中[^5]。