sqoop学习

2021-04-13 15:04:20 阅读：139 来源： 互联网

标签：insert -- into sqoop 学习 values mysql table

以下为生产环境的sqoop配置

一.登录Mysql,创建数据库和表,以及插入数据。

1.1创建数据库

create database  mydb;

1.2创建表

use  mydb;
CREATE TABLE emp(
id INT NOT NULL,
name VARCHAR(100),
deg VARCHAR(100),
salary BIGINT,
dept VARCHAR(50)
);
CREATE TABLE empp(
id INT NOT NULL,
name VARCHAR(100),
deg VARCHAR(100),
salary BIGINT,
dept VARCHAR(50)
);

1.3插入数据

insert into emp values(1201,'gopal','manager','50000','TP');
insert into emp values(1202,'manisha','Proof reader','50000','TP');
insert into emp values(1203,'khalil','php dev','30000','AC');
insert into emp values(1204,'prasanth','php dev','30000','AC');
insert into emp values(1205,'kranthi','admin','20000','TP');
insert into empp values(12011,'gopal','manager','50000','TP');
insert into empp values(12022,'manisha','Proof reader','50000','TP');
insert into empp values(12033,'khalil','php dev','30000','AC');
insert into empp values(12044,'prasanth','php dev','30000','AC');
insert into empp values(12055,'kranthi','admin','20000','TP');

二.######sqoop import 从数据库导入到Hive

一般RDBMS的导出速度控制在60~80MB/s，每个 map 任务的处理速度5~10MB/s 估算，即 -m 参数一般设置4~8，表示启动 4~8 个map 任务并发抽取 ##最好不要超过6个

#sqoop  首先要kinit 才可以 如果是hive 要有hive的权限 如果是hdfs 要有acl的权限 不然无法写入和读取
kint user/user  -kt  /opt/user.keytab    
username='admin'
psd='123456'
table=('emp' 'empp')
for mysql_table in ${table[@]}
do
sqoop import \
--connect jdbc:mysql://192.168.10.41:3307/mydb \
--username ${username} \
--password  ${psd} \
--table  ${mysql_table} \
--hive-import \
--hive-drop-import-delims \
--hive-database emp \
--hive-table mysql_${mysql_table} \
--fields-terminated-by '\t' \
--m 6 \
--delete-target-dir \
--null-string '\\N' \
--null-non-string '\\N'
done

三.######sqoop export 从Hive导入到大数据

kint user/user  -kt  /opt/user.keytab
username='admin'
psd='123456'
table=('emp' 'empp')
for mysql_table in ${table[@]}
do
sqoop export \
--connect jdbc:mysql://192.168.10.40:3307/mydb \
--username ${username} \
--password  ${psd} \
--table  ${mysql_table} \
--export-dir '/user/hive/warehouse/mydb.db/'mysql_${mysql_table} \
--input-null-string '\\N' \
--input-null-non-string '\\N' \
--fields-terminated-by '\t' \
--input-fields-terminated-by '\t' \
--m 6
done

标签：insert,--,into,sqoop,学习,values,mysql,table
来源： https://blog.51cto.com/wsxxsl/2703341

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

sqoop学习