Hive基本操作之用户访问次数统计

2021-09-12 23:02:19 阅读：190 来源： 互联网

标签：01 -- mn userId Hive 次数基本操作 2017 u01

# 前言
根据对用户ID、访问日期、访问次数的若干条数据，分析得出每个用户的累计访问次数，涉及字符串替换、时间函数、开窗、求和等技术。
## 1. 假如有用户访问数据（用户ID，访问日期，访问次数）
|userId|visitDate|visitCount|
| -- | -- | -- |
|u01|2017/1/21|5|
|u02|2017/1/23|6|
|u03|2017/1/22|8|
|u04|2017/1/20|3|
|u01|2017/1/23|6|
|u01|2017/2/21|8|
|u02|2017/1/23|6|
|u01|2017/2/22|4|

## 2. 希望得到每个月用户的访问累计次数

|用户id|月份|小计|累积|
| -------- | -------- | -------- |
|u01|2017-01|11|11|
|u01|2017-02|12|23|
|u02|2017-01|12|12|
|u03|2017-01|8|8|
|u04|2017-01|3|3|

## 3. 启动hive，选库，建表

```
create table action
   (userId string,
   visitDate string,
   visitCount int)
row format delimited fields terminated by "\t";
```

## 4. 将数据导入表

```
load data local inpath '/data/action.dat' into table action;
```

## 5. 转换日期字符串为标准格式

```
select
userId,
date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn,
visitCount
from
action;
```
|userid|mn|visitcount|
| -- | -- | -- |
|u01|2017-01|5|
|u02|2017-01|6|
|u03|2017-01|8|
|u04|2017-01|3|
|u01|2017-01|6|
|u01|2017-02|8|
|u02|2017-01|6|
|u01|2017-02|4|

## 6. 计算每人单月访问量

```
select
userId,
mn,
sum(visitCount) mn_count
from
(select
userId,
date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn,
visitCount
from
action) as t1
group by
userId,mn;
```
|userid|mn|mn_count|
| -- | -- | -- |
|u01|2017-01|11|
|u01|2017-02|12|
|u02|2017-01|12|
|u03|2017-01|8|
|u04|2017-01|3|

## 7. 按月累计访问量

```
select
userId,
mn,
mn_count,
sum(mn_count) over(partition by userId order by mn)
from (select
userId,
mn,
sum(visitCount) mn_count
from
(select
userId,
date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn,
visitCount
from
action) as t1
group by
userId,mn) as t2;
```

|userid|mn|mn_count|sum_window_0|
| -- | -- | -- | -- |
|u01|2017-01|11|11|
|u01|2017-02|12|23|
|u02|2017-01|12|12|
|u03|2017-01|8|8|
|u04|2017-01|3|3|

# The End

标签：01,--,mn,userId,Hive,次数,基本操作,2017,u01
来源： https://blog.csdn.net/ya0ng/article/details/120257642

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Hive基本操作之用户访问次数统计