SmartMoE

tag: AI category: 系统论文 2 Background and Motivation MoE：Misture-of-Expertsn FFN为MoE模型中的专家，多个FFN和一个Gating组成了基本的MoE模型。 2.2 混合和自动并行化 训练密集型深度学习网络的常见的三种并行方式 ......