标签：Altas Hadoop apache 数据管理 Atlas 血缘 数据

一. 简介

1. 概述

Atlas 是一个可伸缩且功能丰富的数据管理系统，深度集成了 Hadoop 大数据组件。简单理解就是一个跟 Hadoop 关系紧密的，可以用来做元数据管理的一个系统,整个结构 图如下所示

官网: https://www.cloudera.com/products/open-source/apache-hadoop/apache-atlas.html
http://atlas.apache.org/#/

为组织提供开放式元数据管理和治理功能，用以构建数据资产目录，对这些资产进行分类和管理，并未数据分析和数据治理团队，提供围绕这些数据资产的协作功能

ods,dwd,dws,ads
1.表与表之间的血缘依赖
2.表与表之间字段间的血缘依赖

2. 数据管理

数据字典

​ 对资产进行分类和管理
​ 包含对所有库和表字段的表述
血缘追溯
​ 表的追索和表字段的追索

3. 数据治理

数据安全
-Ranger ->Hive
权限控制，数据脱敏
数据质量
-Shell + HQL ,Griffin
期望+使用预期
数据完整性
数据一致性
数据不重复性
元数据管理
-Atlas

​

4. Atlas 架构

标签：Altas,Hadoop,apache,数据管理,Atlas,血缘,数据
来源： https://blog.csdn.net/zhanggqianglovec/article/details/115699779

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。