transformer滑动窗口
时间: 2023-09-27 17:05:27 浏览: 192
基于C++数据链路层原理实现的滑动窗口协议【100012957】
Transformers滑动窗口是指在Transformer模型中使用窗口的方式进行计算,以减小序列长度并增加多尺度的信息交互。在每次输入到Transformer Blocks之前,先经过W-MSA(window_Mutil-head_Self_Attention)计算自注意力,然后再经过滑动窗口SW-MSA(Shift_window_Mutil-head_Self_Attention)计算自注意力。这种方式结合了移动窗口和信息交互的概念,同时使用patch_merging操作来合成相邻窗口,增大感受野并捕捉多尺寸特征。通过这种方式,Transformer滑动窗口模型能够同时关注局部特征和全局信息,并有效地处理长序列的输入数据。
阅读全文