知存科技WTM2101编译工具链：加速神经网络映射与优化

WTM2101编译工具链是知存科技自主研发的针对神经网络模型移植的专业软件栈，其核心是witin_mapper。该工具链基于RISC-V和MPU架构，致力于简化量化后的神经网络模型在WTM2101 MPU加速器上的部署过程。它提供了一整套编译流程，包括算子和图级别的转换与优化，能够将预训练权重适配到存算阵列中，从而加快模型移植的开发速度和提升算法开发效率。 witin_mapper的架构设计包含以下几个关键组件： 1. **软件整体框架**：软件架构图展示了工具链的层次结构，包括软件栈、硬件接口以及内存管理和指令生成等模块。 2. **硬件及存算优化**：利用TVM进行图转换和优化，TVM是一个深度学习编译器框架，通过高效的图优化技术，将计算图转换为适合WTM2101硬件的格式。 3. **中间IR和后端转换**：通过WitinIR，实现从原始模型到中间表示（IR）的转换，然后进一步进行后端特定的优化，确保模型在目标硬件上的高效执行。 4. **硬件特定功能**：支持CNN、TDNN、DNN、LSTM、ConvT、GRU等多种神经网络结构，如卷积操作(Conv)、加法和乘法(Add/mul、Scale)、拼接(Concat)等，部分算子如Reshape、EltwiseAdd/Mul等还在优化中。 5. **内存管理和配置**：ARRAY求解器负责内存分配，ARRAY&MPUConfig则处理MPU配置，Map.bin和Register.bin文件用于存储编译后的映射信息。 6. **Runtime和编译器**：Runtime负责处理实际运行时的逻辑，而Compiler则负责模型的编译和优化过程。 7. **事件处理**：工具链能够灵活处理不同类型的事件，确保整个系统在硬件层面的高效协作。 8. **图结构优化**：工具链提供了算子融合（例如将Scale、Activation与Conv操作合并）和维度转换等功能，以减少计算量和内存访问。 9. **前端模型导入**：支持TensorFlow模型的导入，通过witin_frontend库解析模型并进行初步转换。 WTM2101编译工具链作为一个完整的解决方案，旨在降低神经网络在嵌入式硬件上的部署门槛，使得开发者能够快速、高效地将算法部署到WTM2101芯片上，实现高性能计算的同时，缩短开发周期。通过灵活的优化策略和对多种神经网络结构的支持，该工具链适应了各种不同的应用场景需求。