metaformer
时间: 2023-11-14 19:05:53 浏览: 215
对CNN和Transformer注意力机制的汇总以及注意的具体计算和概念详解,可以作为汇报使用
5星 · 资源好评率100%
MetaFormer是一种通用架构,用于实现在视觉任务上的Transformer和MLP-like模型的卓越结果。与特定的令牌混合器相比,MetaFormer对于模型实现竞争性性能更为重要。它可以通过指定不同的令牌混合器来得到不同的模型,比如注意力或空间MLP。MetaFormer的贡献之一是将Transformer抽象为一个通用架构,通过实验证明MetaFormer在Transformer/MLP类模型上取得了巨大的成功。
阅读全文