QAT
PTQ&QAT
前言 模型量化是一种流行的深度学习优化方法，它将模型数据（包括网络参数和激活）从浮点表示转换为低精度表示，通常使用 8 位整数。这样做有几个好处： 在处理 8 位整数数据时，GPU（如英伟达）采用速度更快、成本更低的 8 位张量核心来计算卷积和矩阵乘法运算。这将产生更多的计算吞吐量，对计算受限的层尤 ......
TLS 加速技术：Intel QuickAssist Technology（QAT）解决方案
作者：vivo 互联网服务器团队- Ye Feng 本文介绍了 Intel QAT 技术方案，通过Multi-Buffer技术和QAT硬件加速卡的两种方式实现对TLS的加速 一、背景 当前 TLS 已经成为了互联网安全的主要传输协议，TLS带来更高的安全性的同时，也带来了更多的性能开销。特别是在建连 ......