1.数据同步看数据量和增删改查的原因确定是否是增量同步还是全量同步
1.一般mongo表使用增量数据，因为我们业务数据mongo存储的内容较多，如果每天都使用使用全量的话，占用太大了（不区别etl_dt）
2.一般mysql表使用全量数据，因为mysql表极限在千万级别，所以删除和修改的操作更多一些，整体量级比mongo小，这样可以使用全量（每一个etl_dt，都是那一天之前所有的全量数据）
3.增量有etl_dt，比如埋点数据，只有新增，所以我们一般用增量同步，但是也有etl_dt，这样我们如果回溯之前的某段时间的埋点数据的话，
只需要取etl_dt在（20210901～20210902）之间新增的埋点数据即可，增加查询效率，因为埋点数据比较多。
标签：同步,全量,增量,埋点,数据,dt,etl 来源： https://www.cnblogs.com/geogre123/p/15251144.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。