ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

第七章_分桶表

2022-01-29 18:32:59  阅读:148  来源: 互联网

标签:log 分桶 -- event 第七章 type id


1. 什么是分桶表
-- 根据指定的分桶字段 和 分桶数,将数据划分成 不同的数据文件
-- hash(分桶字段) % 分桶数 = 文件分桶编号

2. 分桶和分区的区别
-- 1. 分桶针对 数据文件进行 拆分
-- 分区针对 数据文件存储路径进行 拆分
-- 2. 分区字段 并不是数据文件的一部分
-- 分桶字段 是数据文件的一部分
3. 数据分桶的作用
1. 方便抽样
2. 提高join查询效率
4. 创建分区表
--3. 创建分桶表
create table home.ods_track_log_dd (
log_id string comment '日志id',
log_type string comment '日志类型',
event_key string comment '用户行为表示')
comment '后端日志表(天级)'
clustered by(log_type)
into 2 buckets
row format delimited fields terminated by '\t'
lines terminated by '\n'
stored as orc;


--4. 向分桶表中 写入数据
insert overwrite table home.ods_track_log_dd

select 1 as log_id,'展示' as log_type,'首页展示' as event_key union all
select 2 as log_id,'点击' as log_type,'首页点击' as event_key union all
select 3 as log_id,'展示' as log_type,'落地页展示' as event_key union all
select 4 as log_id,'点击' as log_type,'首页结果页' as event_key union all
select 5 as log_id,'点击' as log_type,'首页点击1' as event_key union all
select 6 as log_id,'点击' as log_type,'首页点击2' as event_key;

-- 查看数据目录
/user/hive/warehouse/home.db/ods_track_log_dd/000000_1
-rw-r--r--    root    supergroup    506 B    Jan 29 17:01    3    256 MB    000000_1
-rw-r--r--    root    supergroup    517 B    Jan 29 17:01    3    256 MB    000001_0
View Code

 

 

标签:log,分桶,--,event,第七章,type,id
来源: https://www.cnblogs.com/bajiaotai/p/15855593.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有