标签：cloudera CM CDH 6.3 CM6.3 var foo com

一，概述

我依照博文：https://www.cnblogs.com/liugp/p/16286645.htm ，进行了CDH集群的部署。总体来说，基本比较顺利。

在部署过程中，发生了一些小问题。本文以原博主的步骤 进行说明，详细说明我在部署过程中遇到的问题以及解决方法。

 

二，机器环境配置

以下步骤默认为集群内每个机器进行配置。单独为master机器的配置将另行标明。

 

1、机器信息
2、修改主机名

这一步应该配置主机名为“全限定主机名（ fully qualified domain name (FQDN) ）” ，比如 foo-1.example.com  。随后，可添加“非全限定名称” ：foo-1

sudo hostnamectl set-hostname foo-1.example.com

配置FQDN, 后续在 CM安装web  “配置主机”页面上，可以主动搜寻到“受管机器” 。

在这一步之后，我增加了一个步骤：

2.1 配置 /etc/sysconfig/network 文件， 使用“全限定名”。

HOSTNAME=foo-1.example.com

3、配置/etc/hosts , 举例如下

1.1.1.1  foo-1.example.com  foo-1
2.2.2.2  foo-2.example.com  foo-2
3.3.3.3  foo-3.example.com  foo-3

4、关掉防火墙
5、禁用SELINUX
6、时间同步
7、安装python
8、端口
9、配置免密登录
9、安装JDK
10、交换分区和大页设置

 

三， 安装CM前期准备 

1、组件版本
2、安装Mysql（CDH master节点）
3、为 Cloudera 各软件创建数据库（CDH master节点）
4、安装 MySQL JDBC

三， 安装 CM Server 和 CM Agent

原博客：5、启动CM服务（CM节点）

$ systemctl start cloudera-scm-server
$ systemctl status cloudera-scm-server
$ jps
# 会启动端口7180的服务，服务启动有点慢，需要等待一段时间
netstat -tnlp|grep 7180
# 日志目录：/var/log/cloudera-scm-server/

可以通过日志，查看启动情况，如果有异常，可以定位问题。

sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

当出现：INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.  表示启动成功。

 

四，通过CM web安装CDH 6.3.2

原博客第4步 : 选择集群机器：

如果之前没有配置“全限定机器名” ，“当前管理的机器” 不能找到集群内节点机器，并且要求你再次安装 cloudera-manager-agent

 

 

五，补充：

以上步骤已经完成了集群部署。我这里补充下，官方文档里下载发布一个本地仓库的步骤。

1，下载和发布Parcels 本地仓库。（CM master机器）

注意：cloudera 官方软件库已经不支持下载，需要付费。（文件夹：/var/www/html/cloudera-repos  为本地仓库目录）

sudo mkdir -p /var/www/html/cloudera-repos
sudo wget --recursive --no-parent --no-host-directories https://USERNAME:PASSWORD@archive.cloudera.com/p/cdh6/CDH version/parcels/ -P /var/www/html/cloudera-repos
sudo wget --recursive --no-parent --no-host-directories https://USERNAME:PASSWORD@archive.cloudera.com/gplextras6/CDH version/parcels/ -P /var/www/html/cloudera-repos
sudo chmod -R ugo+rX /var/www/html/cloudera-repos/cdh6
sudo chmod -R ugo+rX /var/www/html/cloudera-repos/gplextras6

 

2，使用一个本地Parcels 本地仓库

2.1，进入 Cloudera Manager Admin 控制web页面，找到Parcels 页面。

2.2，在配置页面，配置本地Parcles路径；

2.3, 回到本地机器（CM master机器）Parcles路径下，   为你的Parcels创建一个 SHA1  哈希文件。举例：parcels为 CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel

sha1sum CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel | awk '{ print $1 }' > CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha

 

2.4，最后页面点击“ 检查确认新的 Parcels” 文件。

　　

 

参考：

1，大数据Hadoop之——Cloudera Hadoop（CM 6.3.1+CDH 6.3.2环境部署

2，cloudera 官方文档

 

标签：cloudera,CM,CDH,6.3,CM6.3,var,foo,com
来源： https://www.cnblogs.com/gao1261828/p/16504816.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。