有50亿号码，有10W号码，如何快速准确判断这些号码是否已经存在？
- 通过数据库查询：实现快速有点困难。
- 数据存放在set中：内存不够
- hyperloglog：实现精准有点难。
其他类似的问题：
- 文字处理软件的错误单词检测，如何判断这个但是是对的还是错的
- 网络爬虫重复的url检测，如何判断这个url是否被爬过。
实现原理：一个很长的二进制字符串和若干个哈希函数
数据经过多个哈希函数计算，对应的位都是1的话，则说明这个元素存在。
存在误差率：对的数据肯定是对的（构建时的预写已经记录下来了），错的数据有可能被判断为对（对应位置的二进制已经被其他数据给标记为1了），哈希函数越多，误差率越低。
Guava中有布隆过滤器的实现。缺点是每个做不到分布式，即单机容量有限而且没办法给多个节点共享。所以可以使用基于redis实现的布隆过滤器，这样的实现中需要设置多个位，可以用pipeline来优化速度
标签：号码,实现,redis,布隆,哈希,过滤器 来源： https://www.cnblogs.com/hellohello/p/12146911.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。