清华大学Cui Peng与Zhang Ziwei的跨模态学习讲习班

"跨模态学习NLPCC2020讲习班内容.pdf是由清华大学的Cui Peng和Zhang Ziwei分享的关于多模态深度学习和计算机视觉的资料，涉及了图神经网络和网络嵌入的前沿研究，以及在自然语言处理、知识图谱和视觉问答等多个领域的应用。" 在当今的智能系统中，跨模态学习已经成为一个关键的研究领域，尤其是在自然语言处理（NLP）和计算机视觉（CV）的交叉点。这次NLPCC2020讲习班的内容强调了数据的关系和网络表示的重要性，这为我们理解复杂的数据结构提供了基础。 1. **网络与图**：网络或图是一种通用的数据结构，用于描绘各种类型的数据之间的关系，如社会网络、生物网络、金融网络、物联网、信息网络和物流网络等。这些网络模型有助于分析和理解不同领域的复杂交互。 2. **图神经网络（GNN）在NLP中的应用**：在自然语言处理中，图可以用来表示句法依赖关系和词共现，如通过图卷积网络（GCN）编码句子进行语义角色标注、大规模层次文本分类以及AMR到文本的生成。这些方法展示了如何利用图结构提升NLP任务的性能。 3. **知识图谱**：知识图谱是表示实体和关系的重要工具，链接丰富的信息以支持问答系统和信息检索。通过构建和查询企业知识图谱，我们可以更有效地存储和访问信息。对知识图谱的研究包括了如何构建和查询，以及在问答系统中的应用。 4. **NLP与CV的结合**：跨模态学习的一个重要应用是将NLP与CV相结合。例如，神经动机用于场景图解析，通过全局上下文理解视觉场景；对齐的双通道图卷积网络用于视觉问题回答，这种技术能够处理图像和文本的联合理解。场景图和视觉问答是这一领域的重要研究方向。 5. **为什么网络很重要？**：在大多数情况下，我们关注的不仅仅是单个主体，更重要的是它与其他元素的关联。网络能够捕获这些关联，提供更全面的洞察，对于理解和预测系统行为至关重要。 跨模态学习通过结合不同模态的数据，如文本、图像和语音，能够实现更高级别的理解和推理。在NLPCC2020讲习班中，学者们探讨了如何利用图神经网络和网络嵌入技术来推动这一领域的前沿发展，这对于解决现实世界的问题具有深远意义。