标签：sqoop -- 08 Sqoop 导入 mysql password root

Sqoop数据迁移

一、sqoop概述

1、简介

Sqoop是Apache的一款开源工具，Sqoop主要用于在Hadoop和关系数据库或大型机之间传输数据，可以使用Sqoop工具将数据从关系数据库管理系统导入（import）到Hadoop分布式文件系统中，或者将Hadoop中的数据转换导出（export）到关系数据库管理系统。

2、原理

二、sqoop的安装配置

1、下载

2、上传服务器

3、解压

4、配置

标准的apach项目文件

将模板配置文件拷贝一份

cp sqoop-env-template.sh sqoop-env.sh

修改配置文件

5.测试

bin/sqoop list-databases \
  -connect jdbc:mysql://localhost:3306/ \
  --username root \
  --password root \

出现错误,无驱动包

6、解决错误

需要上传MySQL的java驱动包

7、再次执行命令

bin/sqoop list-databases \
  -connect jdbc:mysql://hadoop01:3306/ \
  --username root \
  --password Root123! \

三、sqoop指令介绍

四、数据的导入

1、导入命令

bin/sqoop import \
  -connect jdbc:mysql://hadoop01:3306/azkaban \
  --username root \
  --password Root123! \
  --target-dir /azkaban/execution_logs \
  --table execution_logs \
  --num-mappers 1

2.启动hadoop

3.启动yarn

4、执行命令

在webUI上查看

五. Mysql表导入HDFS

1.数据准备

首先先新建一个目录

之后创建一个新的数据库

并且新建一个表格

并添加字段

插入数据

2.数据导入

将该表导入hdfs

bin/sqoop import \
  --connect jdbc:mysql://hadoop01:3306/sqoop \
  --username root \
  --password Root123! \
  --target-dir /sqoop/mysql_hdfs_append \
  --table salary \
  --num-mappers 1

在webUI上查看结果

六. Mysql表数据子集导入

bin/sqoop import \
  --connect jdbc:mysql://hadoop01:3306/sqoop \
  --username root \
  --password Root123! \
  --where "jobtittle='Java工程师'"\
  --target-dir /sqoop/where \
  --table salary \
  --num-mappers 1

在webUI上查看运行结果

标签：sqoop,--,08,Sqoop,导入,mysql,password,root
来源： https://blog.csdn.net/kc44601/article/details/122582285

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。