PTQ

前言 模型量化是一种流行的深度学习优化方法，它将模型数据（包括网络参数和激活）从浮点表示转换为低精度表示，通常使用 8 位整数。这样做有几个好处： 在处理 8 位整数数据时，GPU（如英伟达）采用速度更快、成本更低的 8 位张量核心来计算卷积和矩阵乘法运算。这将产生更多的计算吞吐量，对计算受限的层尤 ......