ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

数仓-拉链表

2022-06-23 10:35:42  阅读:164  来源: 互联网

标签:数仓 21 记录 拉链 数据仓库 date dw


一,什么是拉链表
拉链表是针对数据仓库设计中表存储数据的方式而定义的,顾名思义,所谓拉链,就是记录历史。记录一个事物从开始,一直到当前状态的所有变化的信息。

二,用在什么地方
在数据仓库的数据模型设计过程中,经常会遇到这样的需求:

数据量比较大;
表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等;
需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态,
比如,查看某一个用户在过去某一段时间内,更新过几次等等;
变化的比例和频率不是很大,比如,总共有1000万的会员,每天新增和发生变化的有10万左右;
如果对这边表每天都保留一份全量,那么每次全量中会保存很多不变的信息,对存储是极大的浪费;
拉链历史表,既能满足反应数据的历史状态,又可以最大程度的节省存储;

三,举例
举个简单例子,比如有一张订单表,
6月20号有3条记录,

到6月21日,表中有5条记录,

到6月22日,表中有6条记录:

数据仓库中对该表的保留方法,

只保留一份全量,则数据和6月22日的记录一样,如果需要查看6月21日订单001的状态,则无法满足;

每天都保留一份全量,则数据仓库中的该表共有14条记录,但好多记录都是重复保存,没有任务变化,如订单002,004,数据量大了,会造成很大的存储浪费;

如果在数据仓库中设计成历史拉链表保存该表,则会有下面这样一张表:

说明:

dw_begin_date表示该条记录的生命周期开始时间,dw_end_date表示该条记录的生命周期结束时间;
dw_end_date = '9999-12-31’表示该条记录目前处于有效状态;
如果查询当前所有有效的记录,则select * from order_his where dw_end_date = ‘9999-12-31’
如果查询2012-06-21的历史快照,则select * from order_his where dw_begin_date <= ‘2012-06-21’ and end_date >= ‘2012-06-21’,这条语句会查询到以下记录:
和源表在6月21日的记录完全一致。

可以看出,这样的历史拉链表,既能满足对历史数据的需求,又能很大程度的节省存储资源;

补充
补充一下每日的用户更新表该怎么获取,据笔者的经验,有以下方式拿到或者间接拿到每日的用户增量,因为它比较重要,所以详细说明:

我们可以监听Mysql数据的变化,比如说用Canal,最后合并每日的变化,获取到最后的一个状态。
假设我们每天都会获得一份切片数据,我们可以通过取两天切片数据的不同来作为每日更新表。
每日的变更流水表。
通过etl工具对操作型数据库按照时间字段增量抽取到ods或者数据仓库(每天抽取前一天的数据),形成每天的增量数据(实际中使用最多的情形)。

标签:数仓,21,记录,拉链,数据仓库,date,dw
来源: https://www.cnblogs.com/andy0816/p/16404237.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有