1.数据管理中心 1.1.数据库 引用百度百科的解释：数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。 数据库是长期储存在计算机内、有组织的、可共享的数据集合。数据库中的数据指的是以一定的
1.实时数仓概述 1.1实时数仓产生背景 传统的OLTP数据库: 面向事务处理、面向业务、进行增删改查、反映最新状态 数据仓库: 面向主题、集成、相对稳定、反应历史变化 1.2离线数仓架构 1.3实时数仓架构 1.3.1实时数仓的Lambda架构 1.3.2实时数仓的kappa架构 1.3.3实时数仓的OLAP
简介： 本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓 作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合。 深圳来电科技有限公司（以下简称“来电科技”）是共享充电宝行业开创企
简介： 数据仓库概念从1990年提出，经过了四个主要阶段。从最初的数据库演进到数据仓库，到MPP架构，到大数据时代的数据仓库，再到今天的云原生的数据仓库。在不断的演进过程中，数据仓库面临着不同的挑战。 作者 张良模 阿里云智能资深产品专家 谈到数据仓库，我们往往容易忽略“数据
简介： 数据仓库概念从1990年提出，经过了四个主要阶段。从最初的数据库演进到数据仓库，到MPP架构，到大数据时代的数据仓库，再到今天的云原生的数据仓库。在不断的演进过程中，数据仓库面临着不同的挑战。 作者 张良模 阿里云智能资深产品专家 谈到数据仓库，我们往往容易忽略“数据”两个
之前做过一个大数据离线数仓项目，然后写下了一篇总结????大数据实战【千亿级数仓】项目总结。那一篇博客主要针对方向是项目本身，那如果我们把眼光放远，讨论的方向放到数仓设计上面，那该如何总结呢？ 不用担心，本篇博客将告诉你答案！ 文章目录 ① 构建
摘要：数据仓库建设过程中，总是会涉及到不同平台、同一平台物理环境搬迁，由于数据仓库数据量庞大，往往数据搬迁不可能在一个短周期内完成，会涉及数据同步、校验、追批并跑、再校验过程。 本文主要阐述数据校验过程设计，供相关人员借鉴。 数据一致性校验最核心内容项 校验手段 根据常见
摘要：孙子兵法云：“谋定而后动，知止而有得”，做任何事一定要进行谋划部署，做好准备，这样才能利于这件事的成功，切不可莽撞而行。同样，GaussDB（DWS）执行查询语句也会按照预定的计划来执行，给定硬件环境的情况下，执行的快慢全凭计划的好坏，那么一条查询语句的计划是如何制定的呢，本文将为大家解读计
为什么会产生数据湖 数据量比较大，越来越不满足处理结构化的数据，比如说数仓，数仓就是处理结构化数据。什么是结构化数据，就是数据成数据库来的，传统型的数据库有：MySQL数据库、Oracle、SQLserver，从这些库里面过来的数据都是结构化数据。日志、json、xml是属于半结构化数据，结构化
大数据已经渗透到当今每一个行业，成为重要的生产因素，未来的时代将会是数据为王的时代。从互联网发展前景来看，Java程序员学习大数据开发技术已经成为必然，本教程精心打造，浓缩大数据核心精华，用上帝视角，俯瞰全局，以当前大厂热门的实时数仓平台架构为基础，融合核心框架Hadoop、离线数仓
大数据已经渗透到当今每一个行业，成为重要的生产因素，未来的时代将会是数据为王的时代。从互联网发展前景来看，Java程序员学习大数据开发技术已经成为必然，本教程精心打造，浓缩大数据核心精华，用上帝视角，俯瞰全局，以当前大厂热门的实时数仓平台架构为基础，融合核心框架Hadoop、离线数仓
一、数据准备 store.txt数据： 名称，月份，资金 a,01,150 a,01,200 b,01,1000 b,01,800 c,01,250 c,01,220 b,01,6000 a,02,2000 a,02,3000 b,02,1000 b,02,1500 c,02,350 c,02,280 a,03,350 a,03,250 二、创建表： create table t_store( name string, months int, money int )
本书于2003年出版，至今已经接近20年历史，很多东西可能与当今技术的发展不相符，但是看完第一章维度建模初步，我觉得有助于我了解数仓的一些基本知识与维度建模的基本构建过程，适合我这种刚开始接触数仓的菜鸟，本篇博客是本书的读书笔记，若出现的内容与当今情况不符，望各位不吝赐教。 第一
数据漂移的概念： 同一业务日期下的数据包含了不属于该业务日期的数据（上一天数据漂移到当天，或者当天数据漂移到下一天）或者缺失了该业务日期数据或该业务日期下的数据非最新 数仓常用4个时间介绍 （1）数据库表中用于记录具体业务过程发生时间的时间戳字段（假设这类字段叫create_time
目录 一、前言 二、关于内推or猎头or招聘软件的选择 三、面试形式 四、面试流程选择 五、面试点 六、结尾 一、前言 笔者是19届硕士，以接近硕2的工作经验进行了毕业以来第一次社招的面试，最终结果还不错。经历这两个月的面试，笔者发现在数据仓库、数据开发的面试中，各个公司考察的
一、普通实时计算和实时数仓的比较 普通实时计算优先考虑时效性，从数据采集经过计算直接得到结果，时效性更好，但是中间结果没有沉淀下来，当面临大量实时计算的时候，计算的复用性差，开发成本大大提高； 实时数仓是基于数仓理论对数据分层，提高数据的复用率； 二、实时数仓分层
作者介绍杭州@阿坤母婴电商行业数据分析师兼数据产品经理致力于研究电商行业的数据驱动增长以及数据产品从0到1的搭建“数据人创作者联盟” 成员前言埋点是将用户在App或者网页上各种行为记录下来并且上报的机制。埋点能有效的记录用户各式各样的行为，帮助我们更好的了解用户在我们
引言 近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 Flin
数据已成为很多公司的核心资产，而在数据开发的过程中会引入各种质量、效率、安全等方面的问题，而数据治理就是要不断消除引入的这些问题，保障数据准确、全面和完整，为业务创造价值，同时严格管理数据的权限，避免数据泄露带来的业务风险。数据治理是数字时代很多公司一项非常重要的核
数据已成为很多公司的核心资产，而在数据开发的过程中会引入各种质量、效率、安全等方面的问题，而数据治理就是要不断消除引入的这些问题，保障数据准确、全面和完整，为业务创造价值，同时严格管理数据的权限，避免数据泄露带来的业务风险。数据治理是数字时代很多公司一项非常重要的核心能
摘要：在数据仓库平台建设过程中，数据的加载、卸载，各层数据模型之间的数据流转，业务规则的实现等等数据加工过程都会以ETL任务的方式实现。 一、前言 在数据仓库平台建设过程中，数据的加载、卸载，各层数据模型之间的数据流转，业务规则的实现等等数据加工过程都会以ETL任务的方式实现。 构
1、数据仓库的发展趋势 1.1数据仓库的趋势 关于数据仓库的概念就不多介绍了。 数据仓库是伴随着企业信息化发展起来的，在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变的越来越大，数据格式越来越多，决策要求越来越苛刻，数据仓库技术也在不停的发展。 数据仓库的趋势：
数仓分析 ShopXO免费开源商城系统、国内领先企业级B2C免费开源电商系统，包含PC、h5、微信小程序、支付宝小程序、百度小程序、头条&抖音小程序、QQ小程序、APP、多商户，遵循MIT开源协议发布、基于 ThinkPHP5.1框架研发 1.开启服务 Apache HTTP服务器是世界上使用最广泛的Web服
在数据仓库领域，有两位大师，一位是“数据仓库”之父 Bill Inmon，一位是数据仓库权威专家 Ralph Kimball，两位大师每人都有一本经典著作，Inmon大师著作《数据仓库》及Kimball大师的《数仓工具箱》，两本书也代表了两种不同的数仓建设模式，这两种架构模式支撑了数据仓库以及商业智能近二十年
摘要：本文简单介绍GaussDB(DWS)函数下推属性的相关知识，并提供几个函数属性相关的典型案例供大家参考。 用户在使用GaussDB(DWS)时，应该正确指定函数属性，错误指定函数属性不仅会导致查询语句执行效率低，而且可能会导致结果集不稳定的情况。本文简单介绍GaussDB(DWS)函数下推属性的相关
