Transformmer

下面是整理的一个思维导图 2010年Mikolov提出了RNN网络，RNN网络存在长距离依赖(梯度消失)，计算效率(RNN 难以并行)两个问题 2017年Transformmer网络结构问世，Transformer 网络架构架构由 Ashish Vaswani 等人在 Attention Is Al ......