non-local和self-attention
时间: 2023-06-05 10:47:42 浏览: 150
non-local means
non-local是一种用于计算机视觉和自然语言处理中的注意力机制,通过考虑不同位置的像素或词汇之间的相互关系来改善模型的表现。
self-attention是一种在自然语言处理中广泛使用的机制,通过计算输入序列中不同位置之间的相互关系来生成用于下一步操作的表示。此机制在BERT和Transformer等最先进的自然语言处理模型中得到广泛应用。
阅读全文