布隆去重

发布时间 2023-10-26 22:31:18作者: 冰底熊

1.安装

pip install bloom_filter

2. 简单使用

# coding=utf8
"""
author:dengjiyun
"""

from bloom_filter import BloomFilter

# 生成一亿个大小的
bloom=BloomFilter(max_elements=1000000000,error_rate=0.1)

# 向bloom添加url
bloom.add('https://www.tianyancha.com/company/23402373')
# 判断url 是否存在 res=bloom.__contains__('https://www.tianyancha.com/company/23402373') print(res) # 存在返回 True ,不存在 返回False