AIGC与多模态知识图谱：相互促进的未来

"AIGC时代的多模态知识工程思考与展望.pdf" 这篇分享主要探讨了AIGC（人工智能生成内容）时代下，多模态大模型与多模态知识图谱之间的对比及其各自的优势和不足。李直旭研究员在DataFunSummit2023的“知识图谱与AIGC论坛”上提出了这一主题。 首先，多模态大模型如ChatGPT等在AIGC时代展现出了显著的优点。它们能够通过学习大量跨模态知识模式，实现隐空间中的关联推理，具有优秀的泛化能力，可以处理各种跨模态任务。此外，这些模型减少了对人工Schema设计和数据标注的依赖，通过训练优化或Prompt对话方式适应新领域和任务，降低了人工成本。然而，多模态大模型也存在明显的缺陷，如生成内容的可靠性较低，容易出现误差累积和隐私泄露问题，不适合高精度任务。它们在知识推理方面相对较弱，不具备因果推理能力，同时虽然引入了COT（对话上下文理解）技术，但可解释性仍待提高。高昂的训练成本是另一个挑战，需要大量计算资源和时间。 相比之下，多模态知识图谱提供了更为专业和可信的知识表示。它们的结构清晰，易于理解和解释，可支持人类在特定领域的决策。知识图谱的构建虽能提供精细的结构化信息，但其推理能力有限，仅能处理已知知识和关系，对于未知或不确定领域的知识建模和推理较弱。此外，知识图谱的构建过程依赖人工或半自动方式，自动化程度不高，且基本架构通常固定，难以灵活调整以适应新数据和场景。 演讲内容还涵盖了AIGC在多模态知识图谱（MMKG）的应用，以及MMKG如何反过来促进AIGC的发展，提出AIGC与MMKG的结合可能带来新的突破。演讲者李直旭博士在知识图谱、知识工程及认知智能等领域有着丰富的研究经验，并与多家人工智能企业保持着合作。 总结来看，AIGC时代带来了内容生成的新纪元，但同时也暴露出在知识理解和推理方面的局限性。多模态知识图谱则以其结构化的知识表示和解释性优势，成为AI发展的关键辅助工具。两者结合，有望推动人工智能在知识理解、推理和生成方面取得更大的进步。