深度学习框架与动态shape：Nimble和DISC的探索

"该文件是关于深度学习框架与动态shape的演讲稿，主要讨论了Nimble和DISC两个项目，这两个项目旨在提高动态模型在深度学习中的效率和性能。内容涉及动态shape的概念、挑战以及Nimble和DISC对此所做的贡献。" 深度学习框架在现代AI应用中扮演着至关重要的角色，它们为开发人员提供了构建和训练复杂神经网络的工具。然而，传统的深度学习框架主要针对静态shape设计，即模型中每个操作的输入和输出形状在计算图执行之前就已经确定。这种方式便于编译期进行优化，例如张量内存的预分配，但限制了对动态数据结构和控制流的支持。 动态shape，或称动态模型，允许模型在运行时改变其输入和输出的形状，这在处理如自然语言处理（NLP）等需要灵活结构的任务时非常有用。然而，动态shape带来了新的挑战，如无法预先知道张量形状，导致内存管理困难，以及优化算子性能的难度增加，因为静态优化技术在面对形状不确定性时可能失效。 Nimble和DISC是两个针对这些问题的研究项目。Nimble提出了一个端到端的动态模型推理系统，它设计了一套动态类型系统、内存规划策略以及设备选择机制来适应动态shape的变化。动态类型系统使得系统能在运行时处理形状不确定性，而内存规划则解决了内存无法预分配的问题。设备选择机制则优化了模型在不同硬件上的执行效率。 DISC，全称为Dynamic Shape Compiler，是针对机器学习工作负载的动态形状编译器。它专注于为动态模型生成高效的运算符，并解决因形状变化带来的优化难题。DISC的目的是通过提供更高效的编译策略和运行时支持，来提升动态模型的执行性能和内存效率。 Nimble和DISC的工作为动态模型在深度学习中的应用开辟了新路径，克服了静态编译和优化技术的局限，提升了处理动态数据结构和控制流的效率，这对于未来深度学习框架的发展具有重要意义。随着深度学习在更多领域的应用，理解和掌握动态shape以及相关的优化技术将变得越来越重要。