GAM 注意力机制、 SA 注意力机制、 SimAM 注意力机制、 SK 注意力机制、 SOCA 注意力机制、 CBAM 注意力机制、这些注意力机制都有什么作用
时间: 2024-04-07 19:26:59 浏览: 615
yolov8添加注意力机制-学习记录
GAM(Global Attention Mechanism)全局注意力机制是一种用于自然语言处理任务的注意力机制。它通过对输入序列中的所有位置进行加权,将全局信息引入模型中,以便更好地捕捉全局上下文信息。
SA(Self-Attention)自注意力机制是一种用于序列建模的注意力机制。它通过计算序列中每个位置与其他位置之间的相关性,来为每个位置分配一个权重,从而实现对序列中不同位置的关注程度。
SimAM(Similarity Attention Mechanism)相似性注意力机制是一种用于图像处理任务的注意力机制。它通过计算输入图像中不同位置之间的相似性,来为每个位置分配一个权重,以便更好地捕捉图像中的重要信息。
SK(Selective Kernel)选择性核注意力机制是一种用于图像处理任务的注意力机制。它通过使用不同大小的卷积核来提取图像中不同尺度的特征,并通过注意力机制来选择最具有代表性的特征。
SOCA(Selective Object Context Attention)选择性对象上下文注意力机制是一种用于目标检测任务的注意力机制。它通过对目标周围的上下文信息进行建模,以便更好地理解目标与其周围环境之间的关系。
CBAM(Convolutional Block Attention Module)卷积块注意力模块是一种用于图像处理任务的注意力机制。它通过结合通道注意力和空间注意力,来提高模型对图像中不同通道和空间位置的关注程度,以获得更好的特征表示。
阅读全文