神经网络轻量化有哪些方法？

神经网络轻量化的方法有以下几种：

1. 参数量削减：通过减少神经网络中的参数数量来减小模型大小。例如，使用稀疏矩阵表示权重、降低卷积核数量等。

2. 模型压缩：通过压缩模型的表示形式来减小模型大小。例如，使用低精度表示权重和激活值、使用哈希表表示权重等。

3. 剪枝：通过删除不必要的连接和节点来减少模型的大小。例如，使用剪枝算法来删除不重要的神经元和连接。

4. 分组卷积：将卷积核分组，可以减少运算次数和参数数量。

5. 网络蒸馏：通过训练一个小模型去学习一个大模型的知识，从而减小小模型的大小。

6. 网络结构优化：通过设计更加轻量级的网络结构来减少模型的大小，例如MobileNet、ShuffleNet等。

7. 量化：通过将网络中的浮点数转换为整数或更低精度的浮点数来减小模型大小。例如，使用二进制量化或三元量化方法。