分层原因:
- 把复杂问题简单化,每一层只处理简单的任务,方便定位问题;
- 减少重复开发,规范数据分层,通过中间层数据能够减少重复计算,且增加计算结果的复用性;
- 隔离原始数据,不论是数据的异常还是数据的敏感性,使真实数据与统计数据解耦开。
ods(原始数据层):数据准备区,也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份,以此减少对业务系统的影响,也是后续数据仓库加工数据的来源。业务DB基本上是直接同步过来,LOG主要做结构化。
建模方式及原则
- 从业务系统增量抽取;
- 保留时间由业务需求决定;
- 可分表进行周期存储;
- 数据不做清洗转换与业务系统数据模型保持一致;
- 按主题逻辑划分。
针对HDFS上的用户行为数据和业务数据,我们如何规划处理?
- 保持数据原貌不做任何修改,起到备份数据的作用;
- 数据采用压缩,减少磁盘存储空间;
- 创建分区表,防止后续的全表扫描。
DWD是业务层与数据仓库的隔离层,主要对ODS数据层做一些数据清洗(去除空值、脏数据、超过极限范围的数据)、规范化、维度退化、脱敏等操作。
标签:原始数据,数据仓库,业务,分层,数据,减少 来源: https://www.cnblogs.com/weijia-home/p/16505786.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。