深度学习模型压缩：二值化、三值化与INQ解析

本资源是一份关于神经网络模型压缩技术的PPT总结，涵盖了理论介绍以及几种具体的压缩方法，如二值化网络（BWN）、三值化网络（TWN）、动态网络剪枝（DNS）和渐进式网络量化（INQ），特别提到了在移动计算领域受欢迎的MobileNet_v2的结构特点。 深度学习模型通常具有庞大的参数量，这不仅增加了计算成本，也对硬件设备的存储提出了高要求。因此，模型压缩成为了优化模型效率的关键技术。这份资料详细讲解了以下几种压缩方法： 1. **二值化网络（Binary Weight Networks, BWN）**：该方法将权重二值化，即权重被简化为+1或-1，通过引入补偿系数来保留模型的准确性。二值化的阈值设为0，大于0的权重映射为+1，小于0的权重映射为-1。补偿系数是原始权重的L1范数除以非零权重的数量，用于弥补二值化带来的信息丢失。 2. **三值化网络（Ternary Weight Networks, TWN）**：不同于BWN，TWN将权重三值化，即权重变为+1, 0或-1。阈值设定为权重均值和L1范数的平均值乘以0.7。三值化后的补偿系数是原始权重中非零项的和，除以非零项的个数。 3. **动态网络剪枝（Dynamic Network Surgery, DNS）**：DNS通过删除对模型性能影响较小的参数来实现模型压缩，同时保持模型的准确度。具体操作流程包括参数分组、量化和重训练，以确保在减少参数的同时，模型性能不受显著影响。 4. **渐进式网络量化（Incremental Network Quantization, INQ）**：INQ是一种逐步量化网络的方法，它在训练过程中逐步将全精度参数转化为低精度表示。通过迭代过程，一部分网络参数被量化，其余部分则继续进行训练，直到整个网络都被量化。此过程由绿色和浅紫色区域在示例图中表示。 5. **MobileNet_v2**：这是深度学习中一种轻量级模型，主要由两种类型的块构成：stride=1的块和stride=2的块。前者采用了残差结构，而后者用于减小特征图的尺寸。MobileNet_v2的关键创新是“倒残差”结构，通过1x1卷积调整通道数量，并利用深度可分离卷积（Depthwise Separable Convolution）降低计算复杂度。这种结构使得模型在保持高性能的同时，大幅减少了计算量和参数数量。 这份资料提供了一个简明扼要的神经网络模型压缩方法概述，适合初学者快速了解和深入研究这些技术。对于想要优化深度学习模型效率，特别是在资源有限的设备上部署模型的开发者，这些方法具有重要的实践价值。