标签：opt sqoop 安装 Sqoop hadoop 详细 mysql cdh5.14 soft
1.Sqoop作用
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库（如MySQL，Oracle）导入数据到Hadoop HDFS，并从Hadoop文件系统导出到关系数据库。
2.安装教程
下载安装包
下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.14.2.tar.gz
解压到opt目录下
tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz
改名并移到指定opt目录下的新建子目录soft下
mv sqoop-1.4.6-cdh5.14.2 soft/sqoop146
导mysql驱动包mysql-connector-java-5.1.38到sqoop146的lib文件夹下
官网下载mysql驱动包：
mv mysql-connector-java-5.1.38-bin.jar /opt/soft/sqoop146/lib
另一种方法：
到IDEA本地仓库去找到mysql驱动包拖到lib文件夹下
导hadoop驱动包到sqoop的lib文件夹
主要有3个 ：
hadoop-common-2.6.0-cdh5.14.2.jar
hadoop-hdfs-2.6.0-cdh5.14.2.jar
hadoop-mapreduce-client-core-2.6.0-cdh5.14.2.jar
cp /opt/soft/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/soft/sqoop146/lib
cp /opt/soft/hadoop260/share/hadoop/hdfs/hadoop-hdfs-2.6.0-cdh5.14.2.jar /opt/soft/sqoop146/lib
cp /opt/soft/hadoop260/share/hadoop/mapreduce2/hadoop-mapreduce-client-core-2.6.0-cdh5.14.2.jar /opt/soft/sqoop146/lib
如下图所示：
到sqoop的conf文件下更改配置
cd soft/sqoop146/conf/
改文件名并修改配置
cp sqoop-env-template.sh sqoop-env.sh
修改sqoop-env.sh 中配置
添加以下配置信息
//hadoop目录
export HADOOP_COMMON_HOME=/opt/soft/hadoop260
//hadoop目录
export HADOOP_MAPRED_HOME=/opt/soft/hadoop260
//hive环境变量目录
export HIVE_HOME=/opt/soft/hive110
//zookeeper配置文件目录
export ZOOCFGDIR=/opt/soft/zk345/conf
//hbase环境变量目录
export HBASE_HOME=/opt/soft/hbase120
配置sqoop环境变量
vi /etc/profile
//sqoop目录
export SQOOP_HOME=/opt/soft/sqoop146
export PATH=$PATH:$SQOOP_HOME/bin
激活配置
source /etc/profile
验证是否安装成功
以下命令用于验证Sqoop版本。
sqoop-version
如图所示出现版本信息，sqoop已经安装成功！
列出mysql中所有数据库
sqoop list-databases --username root --password root --connect jdbc:mysql://localhost:3306/
列出mysql中某个数据库的所有表
sqoop list-tables --username root --password ok --connect jdbc:mysql://localhost:3306/数据库名
下篇文章中小编会整理出如何使用sqoop从RDB到HDFS的数据迁移、到Hive的数据迁移、到Hbase的数据迁移，以及Hadoop的HDFS中的数据导进到RDB，和一些导数据中遇到的常见报错和解决方案
标签：opt,sqoop,安装,Sqoop,hadoop,详细,mysql,cdh5.14,soft 来源： https://blog.csdn.net/u011250186/article/details/118898082
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。