Sqoop安装部署

2021-06-17 23:33:34 阅读：245 来源： 互联网

标签：bin sqoop 部署 Sqoop bigdata hadoop install hbase 安装

第一步：下载安装包

https://mirrors.bfsu.edu.cn/apache/sqoop/1.4.7

第二步：上传并解压

将我们下载好的安装包上传到hadoop03服务器的/bigdata/soft路径下，然后进行解压

cd /bigdata/soft/
tar -xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /bigdata/install

第三步：修改配置文件

更改sqoop的配置文件

cd /bigdata/install/sqoop-1.4.7.bin__hadoop-2.6.0/conf/
mv sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/bigdata/install/hadoop-3.1.4

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/bigdata/install/hadoop-3.1.4

#set the path to where bin/hbase is available
export HBASE_HOME=/bigdata/install/hbase-2.2.6

#Set the path to where bin/hive is available
export HIVE_HOME=/bigdata/install/hive-3.1.2

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/bigdata/install/zookeeper-3.6.2

第四步：添加两个必要的jar包

sqoop需要两个额外依赖的jar包，将课件资料当中两个jar包添加到sqoop的lib目录下

cd /bigdata/soft
cp java-json.jar mysql-connector-java-5.1.38.jar /bigdata/install/sqoop-1.4.7/lib/

第五步：配置sqoop的环境变量

sudo vim /etc/profile	

# 添加如下内容
export SQOOP_HOME=/bigdata/install/sqoop-1.4.7
export PATH=:$SQOOP_HOME/bin:$PATH

让环境变量生效

source /etc/profile

1. sqoop help有warning日志

执行命令sqoop help，有warning日志
解决方案

[hadoop@hadoop03 bin]$ pwd
/bigdata/install/sqoop-1.4.7/bin
# 搜索HCAT_HOME,将下图红框内容注释掉
[hadoop@hadoop03 bin]$ vim configure-sqoop

2. sqoop help有错误

运行sqoop help有错误：
- 错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty
此错误，不影响sqoop的；可以忽略不管
- 如果有洁癖，可以看如下方式解决

1. 解决方案一：

简单的做法，直接用修改过的hbase文件，替换集群3个节点目录/bigdata/install/hbase-2.2.6/bin中的hbase文件
重启hbase集群即可

2. 解决方案二

hadoop01修改hbase命令文件

[hadoop@hadoop01 bin]$ cd /bigdata/install/hbase-2.2.6/bin/
[hadoop@hadoop01 bin]$ vim hbase

如下图显示，找到指定的位置（根据行号或关键字内容进行定位）
- 新增第一个红框的内容；注意缩进
```
    # Needed for GetJavaProperty check below
    add_to_cp_if_exists "${HBASE_HOME}/hbase-server/target/classes"
```
- 将第二个红框的内容注释掉
继续查找hbase文件，定位到如下黄框内容
在上图322行（第一个黄色框）增加下图①的代码；注意缩进

  temporary_cp=
  for f in "${HBASE_HOME}"/lib/hbase-server*.jar; do
    if [[ ! "${f}" =~ ^.*\-tests\.jar$ ]]; then
      temporary_cp=":$f"
    fi
  done

将上图的第二个黄色框的内容修改成下图②的代码；注意缩进

  HADOOP_JAVA_LIBRARY_PATH=$(HADOOP_CLASSPATH="$CLASSPATH${temporary_cp}" "${    HADOOP_IN_PATH}" \

保存退出
将hbase分发到另外两个节点

[hadoop@hadoop01 bin]$ pwd
/bigdata/install/hbase-2.2.6/bin
[hadoop@hadoop01  bin]$ scp hbase hadoop02:$PWD
[hadoop@hadoop01  bin]$ scp hbase hadoop03:$PWD

重启hbase

标签：bin,sqoop,部署,Sqoop,bigdata,hadoop,install,hbase,安装
来源： https://www.cnblogs.com/tenic/p/14897765.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9