首页 > 其他分享> 文章详细

bigdata_hive进阶

2021-10-26 21:01:59 阅读：149 来源： 互联网

标签：join 函数 jar bigdata hive maven 数据进阶

一、hive分区

分区操作属于hive操作的重量级操作

分区在hdfs上物理结构是目录

非严格模式：no~

表数据删除方法对比说明：

drop，delete，truncate

联系：都可以达到删除数据的目标。

区别：Drop：把数据和元数据全删除；

delete：按照条件删除数据；（只会删除实体数据）

Truncate：截断数据，元数据不动，状态数据会删掉。

大数据环节中写入：

1.是否要求输出目录存在；

2.写模式，是覆盖写，还是增量写

二、DQL

1，各种join使用，Union

inner join

将左表和右表满足联接条件的数据，全部查询出来

left outer join

以左表为主，将左表数据全部保留，右表没有关联上数据字段置成NULL

right outer join 同理

full outer join
- 没有关联上数据字段全部置成NULL
- full join=inner join+left join+right join
union [all]
将所有表数据，完全叠加在一起，不去重。（没有all则为去重）

要求：所有表的字段和类型完全一致。
注意hive中子查询必学给与别名

2，内置函数（系统函数）

使用help解决一个函数不知道怎么用的问题：

desc function{方法}

常用函数：

count：行数

IF( Test Condition, True Value, False Value ) ：判断

COALESCE( value1,value2,... )返回函数第一个不为空的值：

case...when ：判断

split：将字符串拆分成数组。

explode：表成生成函数

lateral view：与explode连用制表

三、自定义函数

1.UDF(user defined function)

2.流程

自定义一个java类
继承UDF类
约定俗成的重写evaluate方法
打包类所在项目成一个all-in-one的jar包并上传到hive所在机器（hdfs dfs -put）
在hive中执行add jar操作，将jar加载到classpath中。（add jar /路径）
在hive中创建模板函数，使得后边可以使用该函数名称调用实际的udf函数（
create temporary function 方法名 as 方法类路径）
hive sql中像调用系统函数一样使用udf函数

3.加入maven配置：

<project xmlns="http://maven.apache.org/POM/4.0.0"; xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"; 
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd/maven-4.0.0.xsd";>
	<modelVersion>4.0.0</modelVersion>
	<groupId>com.tianliangedu.course</groupId>
	<artifactId>TlHadoopCore</artifactId>
	<version>0.0.1-SNAPSHOT</version>
<!-- 设置编码为 UTF-8 -->
	<properties>
	  <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<maven.compiler.encoding>UTF-8</maven.compiler.encoding>
	</properties>
	<!-- 首先配置仓库的服务器位置,首选阿里云，也可以配置镜像 -->
	<repositories>
		<repository>
			<id>nexus-aliyun</id>
			<name>Nexus aliyun</name>
			<url>http://maven.aliyun.com/nexus/content/groups/public</url>
		</repository>
	</repositories>
                
	<dependencies>
		<!-- 引入hadoop-cli-2.7.4依赖 -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.7.4</version>
			<scope>provided</scope>
		</dependency>
             
		<dependency>
			<groupId>org.apache.hive</groupId>
			<artifactId>hive-cli</artifactId>
			<version>1.2.1</version>
			<scope>provided</scope>
		</dependency>         
	</dependencies>
	<build>
		<finalName>TlHadoopCore</finalName>
		<plugins>
			<plugin>
				<artifactId>maven-assembly-plugin</artifactId>
				<configuration>
					<descriptorRefs>
						<descriptorRef>jar-with-dependencies</descriptorRef>
					</descriptorRefs>
				</configuration>
				<executions>
					<execution>
						<id>make-assembly</id>
						<phase>package</phase>
						<goals>
							<goal>assembly</goal>
						</goals>
					</execution>
				</executions>
			</plugin>
			<plugin>
				<artifactId>maven-compiler-plugin</artifactId>
				<version>2.3.2</version>
				<configuration>
					<source>1.7</source>
					<target>1.7</target>
					<encoding>UTF-8</encoding>
				</configuration>
			</plugin>
		</plugins>
	</build>
</project>

标签：join,函数,jar,bigdata,hive,maven,数据,进阶
来源： https://blog.csdn.net/JIE_ling8/article/details/120965206

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

bigdata_hive进阶