ICode9

精准搜索请尝试: 精确搜索
  • 大数据平台实时数仓从0到1搭建之 - 10 阶段回顾2021-10-03 22:31:43

    大数据平台实时数仓从0到1搭建之 - 10 阶段回顾 概述jpsall 目前所有进程整体架构 概述 截止Flink安装完成,其实一个简单的架构已经可以用了,这里整理下现在集群上安装的各种服务 jpsall 目前所有进程 jpsall,展示出目前三台节点上所有的java进程 [root@server110 opt]# .

  • 大数据平台实时数仓从0到1搭建之 - 02 架构设计2021-10-01 20:58:48

    大数据平台实时数仓从0到1搭建之 - 02 架构设计 模拟业务需求架构选型lambda架构Kappa架构lambda & Kappa 对比 框架选择环境枚举收尾 模拟业务需求 统计公司销售情况,需要统计截止到统计当时的年度、季度、月度的销售情况。包含当天的数据。 实时大屏展示 架构选型 lam

  • Hive中的ODS、 DWD、 DWS、 ADS 数仓分层2021-09-29 18:02:13

    1、数据仓库   我们常提的数仓(DataWarehouse),就是在我们已有的数据库(他是对数据的存储)的基础之上,增加了对数据的OLAP(On-Line Analytical Processing),支持复杂的数据分析操作,更侧重决策支持,提供直观易懂的查询结果,而数据库更着重的是事务处理。换句话讲,就是在数据库已经大量存在的

  • 数仓建模2021-09-24 13:04:17

    订阅专栏 1.数据仓库建模的目的? 为什么要进行数据仓库建模?大数据的数仓建模是通过建模的方法更好的组织、存储数据,以便在 性能、成本、效率和数据质量之间找到最佳平衡点。一般主要从下面四点考虑 访问性能:能够快速查询所需的数据,减少数据I/O 数据成本:减少不必要的数据冗

  • 如何建设实时数仓2021-09-23 21:37:10

    1 为什么要建设实时数仓 在开始说如何建设实时数仓之前,我们先说一下建设实时数仓的目的,实时数仓解决了什么问题。 其实在很多情况下,我们对于实时数仓的定位可能是没有那么准确的。我们都知道,传统数仓一个非常重要的功能是用于记录历史,而实时数仓恰恰相反,它更重视处理当前的状态。

  • 美团外卖离线数仓建设实践2021-09-15 13:04:55

    文章作者:惠明 美团外卖 技术专家 编辑整理:史士博 出品平台:DataFunTalk 导读:美团外卖数据仓库主要是收集各种用户终端业务、行为数据,通过统一口径加工处理,通过多种数据服务支撑主题报表、数据分析等多种方式的应用。数据组作为数据基础部门,支持用户端、商家端、销售、广告、算

  • 阿里实时数仓分布式事务Scale Out设计2021-09-14 22:58:33

    简介: Hybrid Transaction Analytical Processing(HTAP) 是著名信息技术咨询与分析公司Gartner在2014年提出的一个新的数据库系统定义,特指一类兼具OLTP能力(事务能力)和OLAP能力(分析能力)的数据库系统。在传统场景中,承担OLTP任务和OLAP任务的数据库是两个不同的系统。 作者 | 泽

  • 数仓中指标-标签,维度-度量,自然键-代理键等各名词解析及关系2021-09-09 14:03:39

    作为一个数据人,是不是经常被各种名词围绕,是不是对其中很多概念认知模糊。有些词虽然只有一字之差,但是它们意思完全不同,今天我们就来了解下数仓建设及数据分析时常见的一些概念含义及它们之间的关系。 本文结构如下图所示: 一、数仓中常见概念解析 1. 实体 实体是指依附的主体,就是

  • 好未来 x DorisDB:全新实时数仓实践,深入释放实时数据价值2021-09-05 13:34:19

    业务背景 业务场景分类 在教育场景下,根据数据时效性划分,数据分析处理可分为离线和实时两大部分: 离线 离线数据以8大数据域(日志、营销、交易、服务、教学、内容、学习、画像)建设为主,主要处理核心历史数据,解决“业务运营、分析师、算法”等海量数据多维度分析和挖掘等,采用批处理

  • 快手基于 Flink 构建实时数仓场景化实践2021-08-27 14:35:23

    简介: 一文了解快手基于 Flink 构建的实时数仓架构,以及一些难题的解决方案。 本文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题《快手基于 Flink 构建实时数仓场景化实践》,内容包括: 快手实时计算场景 快手实时数仓架构及保障措施 快手场景问题及

  • 项目流程及阿里云工具2021-08-21 14:04:13

    数据仓库定义:为企业所有的决策制定过程,提供所有系统数据支持的战略集合来源:日志采集系统业务系统数据库爬虫系统等数据仓库是做什么的:清洗,转义,分类,重组,合并,拆分,统计等数据仓库输出到哪:报表系统,用户画像,机器学习,推荐系统,风控系统项目需求分析:1、采集埋点日志数据 以文件存储2、采

  • 数仓面试题22021-08-21 14:01:53

    数仓与关系型数据库的区别?1、数据库有相对复杂的表格结构,存储结构相对紧致而数据仓库则是相对简单的表格结构,存储结构相对松散2、数据库在读和写两方面都有优化,数据仓库一般只是读优化3、数据库单次操作作用于少量数据,数据仓库单次操作作用与大量的数据4、数据库支持单条数据的修

  • 电商零售数仓建模之平台01:平台业务模型2021-08-17 15:03:55

    ​一、前言 数仓建模的成熟度在金融领域,尤其是银行、保险和证券行业得益于传统数据仓库服务厂商的推动,具有非常好的最佳实践,但是在互联网领域却从未形成真正的标准和规范。本文基于汽车电商零售领域的实践总结和沉淀而来,作为随笔,发布与此,共享给大家。 二、工作流程 数仓模型设计的

  • 8.5学习日记2021-08-05 22:57:38

    刘润的商业通识三十讲: 物物交换的社会存在两个问题 第一,生产者的物品有时效性,第二要找到愿意交换的人 比如 张三种田得到了1000斤米,他也吃不了这么多,他要在米坏之前拿他的米去换老李家的猪肉,老钱家的布。 于是出现了货币和商人,货币切分了买卖,商人连接了交易。 有了货币和交易

  • Filnk实时数仓(Clickhouse)2021-08-03 23:34:19

    第1章 Clickhouse简介   ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。    OLAP场景的关键特征:     1)大多数是读请求     2)数据总是以相当大的批(> 1000 rows)进

  • 大数据Flink电商实时数仓实战项目流程全解(六)DWM层业务实现2021-08-01 19:31:16

    项目概要 之前我们已经通过动态分流把数据分到了我们想要的位置,为了方便后续内容的讲解方便,所以接下来我们可以把配置表的信息进行导入了,然后通过动态分流的方法,把数据发往对应的kafka主题或者是hbase的维度表中: //配置信息表: CREATE TABLE `table_process` ( `s

  • 大数据Flink电商实时数仓实战项目流程全解(五)2021-07-30 19:32:57

    前提概要:之前我们已经实现了动态分流,即通过TableProcessFunction1类把维度数据和事实数据进行了分流处理,接下来就是把数据写入Hbase表和Kafka主题表中: hbaseDS.addSink(new DimSink()); kafkaDS.addSink(kafkaSink); 此时的动态分流后的2种数据类型大致为: 在代码注释种我

  • 数仓分层理论和应用2021-07-29 21:30:47

    一、数据分层概念及用途 1.数据运营层:ODS(Operational Data Store),数据来源经过ETL存入hive后就是ODS层。 2.数仓:ODS经过按照主题建立各种数据模型,细分如下: 1)数据明细层:DWD(Data Warehouse Detail),按照业务处理方式将各个专业数据进行集中,保证数据完整性和质量。 2)数据中间层:D

  • 数据仓库建设的理解2021-07-29 15:33:19

    一、什么是数据仓库 数据仓库,最早由比尔·恩门(Bill Inmon)于1990年提出,主要功能是将组织或企业里面的联机事务处理(OLTP)所累积的大量数据,透过数据仓库理论所特有的储存架构,进行系统的分析整理,以利于各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)的进行,并进而支持

  • 王炸结营!实时计算 Flink 版 + Hologres,《实时数仓入门训练营》课程内容合集2021-07-23 12:04:10

    简介:阿里云超强专家阵容倾力打造的实时数仓 “王炸组合”,现已将所有课程整理出来供同学们学习~ 5 月份,实时计算 Flink 版 + Hologres 组建 “王炸组合”,联合推出的《实时数仓入门训练营》受到了广大开发者同学们热情的关注。训练营的全部内容已经整理在文章末尾处~ 《实时数

  • 实时数仓入门训练营:Hologres性能调优实践2021-07-22 12:59:49

    简介:《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵,合力搭建此次训练营的课程体系,精心打磨课程内容,直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实

  • 实时数仓入门训练营:Hologres性能调优实践2021-07-19 11:32:34

    简介: 《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵,合力搭建此次训练营的课程体系,精心打磨课程内容,直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数

  • 基于Flink构建全场景实时数仓2021-07-17 13:01:32

    目录: 一. 实时计算初期 二. 实时数仓建设 三. Lambda架构的实时数仓 四. Kappa架构的实时数仓 五. 流批结合的实时数仓 实时计算初期 虽然实时计算在最近几年才火起来,但是在早期也有部分公司有实时计算的需求,但是数据量比较少,所以在实时方面形成不了完整的体系,基本所有的开发都

  • 实时数仓入门训练营:实时计算 Flink 版 SQL 实践2021-07-15 14:00:06

    简介: 《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵,合力搭建此次训练营的课程体系,精心打磨课程内容,直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有