多模态 对齐 非对齐

多模态对齐是指将不同模态的信息进行匹配、融合和协同，以便更好地理解和处理多模态数据。对齐的方式可以通过使用实体、注意力或事件进行。融合是将对齐后的信息整合在一起的过程，可以采用链接、接地、结构等方法。

在实现多模态对齐时，有些方法简单粗暴地将表示拼接起来，然后再应用注意力机制。但如何更高效地结构化对齐不同模态的信息，或者哪些模态在一起更好地互相辅助，这些问题目前还没有明确的洞见。

在多模态融合部分，可以采用单流模型或双流模型。对于单流模型，多模态的拼接方式和类别嵌入可能会有所不同。而对于双流模型，交叉注意力的实现方式也可能有所不同。

总结起来，多模态对齐是指将不同模态的信息进行匹配和融合，以实现更好的理解和处理多模态数据。在对齐过程中，可以运用实体、注意力或事件等方法。融合阶段可以采用链接、接地、结构等方式。尽管目前还缺乏明确的洞见，但通过单流或双流模型的实现，可以更好地处理多模态对齐的问题。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [模态对齐与融合](https://blog.csdn.net/weixin_52471370/article/details/129798870)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]