数据中台架构

2022-01-26 17:30:00 阅读：172 来源： 互联网

基础设施
HDP + 私有云 + k8s/docker
存储组件
Hadoop/hive/ELK/GP/Tidb/hbase/kudu
离线ETL
HQL/spark/presto/kettle
实时ETL
Kafka/cdc/flink/spark streaming
OLAP分析
Kylin/clickhouse/BI
数据仓库建模 kimball/inmon建模
基于sap / wms / crm; sap(mm/sd/fico)
流程Ods / dwd/dwm /dws/ops
Kimball: 大量事实表和维度表，包括事务事实表，周期快照表，累积快照事实
Inmon : 企业级数仓，兼顾公司所有业务，ER模型

上层应用
数据治理
功能：元数据管理，主数据管理，数据质量，数据标准，数据安全
实现方案: atlas，数据治理平台
安全: Ranger/kerberos/SSL/TLS和用户权限管理
监控运维：prometheus+python脚本自动运维
数据分析
BI指标，对比分析，python数据分析，机器学习决策,深度学习预测

标签：架构,运维,python,BI,快照,spark,数据,ETL
来源： https://blog.csdn.net/a1282032739/article/details/122705950

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

数据中台架构