一.DPE 动态位置编码映射:使用卷积位置编码设计动态位置编码
DWConv为零填充的的深度可分离卷积。
优点:一方面,卷积对任何输入形式都很友好,也很容易拓展到空间维度统一编码时空位置信息。另一方面,深度可分离卷积十分轻量,额外的零填充可以帮助每个token确定自己的绝对位置。

二、绝对位置编码
DWConv为零填充的的深度可分离卷积。
优点:一方面,卷积对任何输入形式都很友好,也很容易拓展到空间维度统一编码时空位置信息。另一方面,深度可分离卷积十分轻量,额外的零填充可以帮助每个token确定自己的绝对位置。
