AFT

注意力机制作为现代深度学习模型的基石，能够毫不费力地对长期依赖进行建模，并关注输入序列中的相关信息。然而，需要点积自注意力 - 广泛使用在Transformer架构中的一个关键组件 - 已被证明在序列长度方面具有二次空间复杂度，因此不适用于处理长输入。在本文中，我们介绍了Attention Free ......