M6：超大规模多模态预训练模型与商业应用

《3-1+超大规模多模态预训练模型M6》是一篇关于人工智能领域的研究论文，由达摩院智能计算实验室的林俊旸所著。该模型M6在当时的预训练领域取得了显著突破，它是一个前所未有的大规模多模态模型，旨在通过统一的预训练和微调策略，提升跨模态任务处理的能力。 论文的核心内容聚焦于以下几个方面： 1. **模型规模与进步**： - M6模型的发展经历了多个阶段，从2020年的3亿参数多模态模型，到2021年1月的100亿参数版本，再到同年4月的1000亿参数，显示了模型容量的快速提升。2021年6月，M6进一步扩展到万亿参数级别，展现了在计算效率和性能上的巨大飞跃。 2. **多模态技术**： - M6支持多种模态输入，包括文本、图像、语音等，使得模型能够理解和生成跨越不同媒介的信息，这对于实际应用中的内容理解、搜索、文本生成以及生成式设计如服饰生成具有重要意义。 3. **应用场景与落地**： - M6在2021年6月的文生图任务中取得显著成果，并被用于论文录用于KDD大会，展示了模型在实际工作中的实用性。此外，它还被应用于内部服务，日调用量达到上亿次，表明其商业价值和广泛应用。 4. **训练方法与架构**： - M6采用多任务学习的Mega-transformer架构，包括Backbone、Backbone+、Joint Training和Linear Proj等技术，这些技术共同推动了模型在多模态任务中的表现优化。 5. **商业化与平台**： - 2021年9月，M6服务化平台正式上线，标志着模型不仅限于学术研究，还构建了商业化解决方案，为企业和个人用户提供定制化的服务。 M6预训练模型在规模、技术、应用和商业化方面均实现了重大突破，代表了当时人工智能领域的最新进展，对推动多模态技术在各个行业的应用具有深远影响。