pytorchQAT

PyTorch的量化方案包括动态量化、静态量化和量化感知训练。动态量化通过在forward中添加量化和反量化函数来实现，静态量化可以基于tensor和基于channel。在PyTorch中，静态量化分为两大类：基于tensor的量化和基于channel的量化。基于tensor的量化中，每个tensor使用的S和Z是一样的；而在基于channel的量化中，每个channel的权重或者每个channel的activation是一样的。静态量化还采用了真实的rmax、rmin、qmax和qmin。此外，PyTorch的量化感知训练采用KL散度来衡量量化的好坏，并选取使相对熵最小的阈值来做饱和量化。目前，PyTorch的量化模型仅支持CPU计算。希望在未来，PyTorch的量化方案能够更加完善。