flow attention

flow attention 是一种在多模态任务中使用的注意力机制，用于在视觉和文本特征之间建立关联并进行信息流动。在实现中，可以使用 Contexture Flow、Word-by-word Flow和Span-by-span Flow来实现具体的逻辑。这三种流动方式都依赖于不同的注意力掩码矩阵。

在 Contexture Flow 中，双向的视觉特征和文本特征可以相互可见，而在 Word-by-word Flow 中，符号序列的每个位置只能看到不同位置的目标字符。而在 Span-by-span Flow 中，符号序列不能看到同一个 span 中的所有目标字符。

受到 Transformer 模型的启发，使用矩阵 W_Q、W_V 和 W_K 将输入的视觉特征和文本特征转换为对应的 Q、V 和 K 矩阵。然后，通过计算(双向)模态间的信息流，可以得到视觉特征和文本特征的更新值。接着，将这些更新值与原特征进行连接并进行线性变换，得到模态之间交互的输出，这就是 Dynamic Intramodality Attention Flow。