SpecInfer

近日，来自卡耐基梅隆大学（CMU）的 Catalyst Group 团队发布了一款「投机式推理」引擎 SpecInfer，可以借助轻量化的小模型来帮助大模型，在完全不影响生成内容准确度的情况下，实现两到三倍的推理加速。 随着 ChatGPT 的出现，大规模语言模型（LLM）研究及其应用得到学术界和工 ......