transformer block（图4），它基于改进的transformer，具有local transformer和global transformer，其分别提取局部和全局上下文信息。

Transformer Block，通常在Transformer架构的变体中找到，如ViT（Vision Transformer）或BERT等模型，是一种核心组件。它结合了局部和全局特征提取的能力，以增强模型对输入数据的理解。

Local Transformer部分关注于相邻像素或附近词的交互，通过自注意力机制处理局部区域内的依赖，这有助于捕捉到序列或图像中的空间结构。这部分利用相对位置编码（Relative Positional Encoding）或小范围的自注意力窗口来限制计算范围，提高了计算效率。

Global Transformer部分则涉及到整个序列或图像的全局上下文，它的注意力范围通常较大，能够捕获更广泛的信息和模式。这部分通常是标准的全自注意力层，不受局部限制，能获取跨整个输入的语义联系。

整体来说，Transformer Block通过这种组合设计，既保持了Transformer模型的强大建模能力，又避免了全局注意力带来的复杂度，从而在视觉或语言任务中取得了很好的性能。