标签：数据库 数据仓库 BI day1 MySQL 维度 数据 商业智能

什么是BI？
BI为商业智能简称，指用数据仓库技术、线上分析处理技术、数据挖掘和可视化技术进行数据分析来实现商业价值。
BI是一套完整的解决方案，用于将企业中现有的数据进行有效整合，快速准确的提供报表和决策依据，帮助企业对业务经营做出明智决策。

一、BI开发工作流程
ETL开发->数据仓库开发(重点)->可视化报表

1.ETL开发：
定义：用来描述将数据从来源端经过抽取（extract）、转换/清洗（transform）、加载（load）至目的端的过程。
常用工具：kettle(免费)、Datastage(付费)、Informatica(付费)
数据的源端：源数据库、业务库

2.数据仓库开发（重点）：

ODS—贴源层
数据来源：业务库（如MySQL数据库、Oracle数据库、DB2数据库）
常用kettle工具从业务库中抽取数据加载到数据仓库（即ETL过程），手动抽取|定时抽取
一般是要求抽取的数据与源业务库的数据保存一致。

DW—数据仓库层
数据来源：ODS层中获得的数据按照主题建立各种数据模型。（维度|事实概念？）

DM—主题层
数据来源：DW层
该层主要是提供数据产品和数据分析使用的数据，一般存放在es、MySQL等系统中供线上系统使用
也可能存在HIVE中供数据分析和挖掘使用。

3.可视化报表：
常用工具：帆软(FineReport)、tableau、PowerBI、

二、数据库与数据仓库的区别
数据库(DB)：简而言之可视为电子化的文件柜，用户可对文件中的数据做增|删|改|查操作。（表结构）
数据库管理软件：Oracle、MySQL、DB2

数据仓库(DW)：指从业务数据中创建的信息数据库，并针对决策和分析进行优化。数据仓库中的信息是面向主题的、集成化的、稳定的、随时间变化的数据集合。用来支持管理决策的过程。数据仓库中的数据来自多个数据源。

区别：1.数据库是面向事务的设计，数据仓库是面向主题的设计
2.数据库一般存在线交易数据(30天-90天)，数据仓库一般存历史数据（5年-10年）
3.数据库设计是尽量避免冗余，数据仓库设计是有意引入冗余
4.数据库为捕获数据，数据仓库为分析数据

三、数据仓库的演变
传统数仓->数据湖->数据中台

四、数据仓库的数据模型
维度建模法：专门用于分析型数据库、数据仓库、数据集市建模的方法。
维度建模本身属于一种关系建模方法，但在此基础上增加了维度、事实概念。
1.维度表
表示对分析主题所属类型的描述。
例：昨天晚上我在天猫买了一台手机，花费3000元。以购买为主题，从这段信息可提取到
时间维度（昨天晚上）、地点维度（天猫）、商品维度（手机）。通常维度表信息比较固定、数据量小。
2.事实表
表示对分析主题的度量。上述例子中，3000元就是事实信息。
事实表包含了与各维度表相关联的外码，并通过JOIN方式与维度表关联。事实表的度量通常是数值，且
记录数会不断增加，表规模迅速增长。

模型1：星型模型（常用）

a.维度表只和事实表关联。
b.每个维度表的主码为单列，且主码放置在事实表中作为两边连接的外码。
c.以事实表为核心，维度表围绕核心呈星型分布。

模型2：雪花模型（开发难度大不常用）

模型3：星座模型（最常用）

五、BI开发核心技能
1 SQL、SQL调优
2 ETL 工具
3 报表工具
4 建模
5 HDFS HIVE HIVESQL
6 掌握一门高级语言：Python、Java
7 相关行业项目经验

项目经历
优化简历

六、数据库管理软件
Navicat for MySQL —— MySQL
PLSQL —— Oracle

标签：数据库,数据仓库,BI,day1,MySQL,维度,数据,商业智能
来源： https://blog.csdn.net/weixin_42899502/article/details/119080891

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。