1,挑选校准数据集,如测试集,bad case数据
2,将部分cos较低的层,设置成fp16或者int16
3,部分cos较低的层,想办法从源头提高cos,如加上一个BN,换上adam优化器,而不是adamw
4,brecq/qdrop,或者we,或者联合使用
5,qat
1,挑选校准数据集,如测试集,bad case数据
2,将部分cos较低的层,设置成fp16或者int16
3,部分cos较低的层,想办法从源头提高cos,如加上一个BN,换上adam优化器,而不是adamw
4,brecq/qdrop,或者we,或者联合使用
5,qat