cross frame attention

跨帧注意力（Cross Frame Attention）是一种用视频理解和处理的技术。它的目标是在视频序列中建立帧与帧之间的关联，以便更好地理解视频内容和上下文信息。

在跨帧注意力中，每个帧都被表示为一个特征向量。通过计算不同帧之间的相似度，可以确定哪些帧对于理解视频内容更为重要。这种相似度可以通过计算两个帧特征向量之间的余弦相似度或欧氏距离等方式来衡量。

一种常见的跨帧注意力机制是使用自注意力机制（Self-Attention）。自注意力机制可以计算每个帧与其他帧之间的相似度，并为每个帧分配一个权重。这些权重可以用于加权求和，以获得整个视频序列的表示。

另一种跨帧注意力机制是使用多头注意力（Multi-Head Attention）。多头注意力可以将视频序列分成多个子序列，并在每个子序列上应用自注意力机制。然后，每个子序列的表示将被组合起来，以获得整个视频序列的表示。

通过跨帧注意力，可以更好地捕捉视频序列中的时序信息和上下文关系，从而提高视频理解和处理的性能。