ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

CDP大数据平台hive表格与CDH的不同

2022-02-09 20:00:41  阅读:342  来源: 互联网

标签:表格 CDH hive tez CDP yarn


一、概述

  CDP大数据平台是CDH和HDP合并之后的新版本,使用的hive是3.0版本。CDP在使用上和CDH有很大的不同。

二、Hive默认创建表格不同

  CDP默认创建的表格都是事务表;可以进行增、删、改、查操作,不支持设置事务表的相关参数;应该是默认已经设置好了。而CDH需要指定创建的表格时事务表并且需要设置事物操作参数:hive.support.concurrency=true;和hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;才可以对事务表进行删除和更新操作。

三、Hive操作表格方式不同

  CDH直接链接hive的hiveserver2就可以通过jdbc的方式操作hive表格;而CDP将hive分为了hive组件、TEZ组件和hive on  tez 三部分;三者缺一不可;安装完hive和tez之后,需要再安装hive  on  tez,并且修改hive on tez的默认端口10000位其他值,不然会报错与hive的端口冲突。再操作读写hive表格时需要链接hive on tez的hiveserver2。

 不然会报错:

 

  由此可见,hive on tez 是将hive和tez搭建起来的桥梁,需要通过hive  on tez的服务来操作CDP的hive表格。

四、yarn资源队列创建方式不同

  4.1 CDH创建资源队列方式

CDH需要先进入到yarn组件,然后使用yarn提供的界面可以直接创建yarn的执行任务的队列。

 

 

 4.2 CDP创建资源队列方式

 CDP直接通过管理界面,进入到yarn的Yarn Queue  Manger UI来进行操作。

 

 

  

  

标签:表格,CDH,hive,tez,CDP,yarn
来源: https://www.cnblogs.com/chhyan-dream/p/15876530.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有