【近期调研】位置编码

发布时间 2023-06-13 11:06:23作者: ninisong

一.DPE 动态位置编码映射:使用卷积位置编码设计动态位置编码

DWConv为零填充的的深度可分离卷积。
优点:一方面,卷积对任何输入形式都很友好,也很容易拓展到空间维度统一编码时空位置信息。另一方面,深度可分离卷积十分轻量,额外的零填充可以帮助每个token确定自己的绝对位置。

二、绝对位置编码