神经网络模型量化感知训练

神经网络模型的量化感知训练是指在量化的过程中，通过对网络进行训练，使网络参数能更好地适应量化带来的信息损失。这种训练方式更加灵活，准确性普遍比后训练量化要高。然而，量化感知训练的操作起来不太方便。在量化感知训练中，使用的一种方法是Dorefa，它是一种训练低比特宽度卷积神经网络的方法。在进行低比特量化训练时，当比特数为1时，整个网络会退化成一个二值网络，这会导致网络的信息损失巨大，因此通常的训练方式很难起到作用。\[1\]\[2\]\[3\]
#### 引用[.reference_title]
- *1* *3* [神经网络量化入门--量化感知训练](https://blog.csdn.net/u012954083/article/details/123392402)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* [量化感知训练QAT，quantization aware training](https://blog.csdn.net/m0_50617544/article/details/121596406)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]