标签：推广 项目 08 succ cookie 2019 清洗 数据

1、背景

　　数据初次清洗完成后，在做任务的过程中数据会不断衰减。当把初次清洗的数据后续衰减后，再次以做任务的方式清洗（做任务成功就代表数据可用）发现数据又可用了。由此推测部分数据可能有个冷却时间，当冷却时间过后又可以做任务，针对这种分析结果设计了旧数据循环清洗的功能。

2、设计方案

2.1、每10天的数据维护到一张历史表，例如：his_cookie_t2019082,his_cookie_t2019083分别代表2019-08-11至2019-08-20和2019-08-21至2019-08-31的数据；

2.2、每10以上将所有历史表数据按照关键字段去重后插入到初次清洗表cookie_clean_t；

2.3、正常清洗数据存储符合的数据到cookie_succ_t;

2.4、将初次清洗符合的数据（cookie_succ_t）和系统正常运营的数据（cookie_used_t）关联删除清洗符合的数据（cookie_succ_t）中重复数据；

2.5、分配符合的数据（cookie_succ_t）去做任务；

2.6、机器人做任务成功的数据uuid存储到redis；

2.7、从redis提取出来的数据插入到系统正常运营的数据（cookie_used_t）重复使用；

标签：推广,项目,08,succ,cookie,2019,清洗,数据
来源： https://www.cnblogs.com/xx0829/p/11566834.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。