flashtext

在自然语言处理当中，经常对数据集进行一些数据字符的替换，表情的替换，以便在tokenizer的时候不被识别成[unk],造成信息的缺失 常规方法使用python自带的replace方法实现，但数据量很大时，效率显得低了 比如下面的代码，处理60000条数据需要3+小时 from tqdm.noteb ......