Cloudera定义了本主题中描述的一组角色。这些角色是基于真人的角色，其中每个角色代表一个用户类型。这个角色集合帮助定义Cloudera产品的典型用户的目标和活动。为软件产品定义角色是一个不断变化的目标，因为用户类型会随着时间而变化。 Infrastructure Data Ingest, ETL, and M
执行Spark任务的时候，之前一直运行正常，突然就报错了。不知道原因，开始先从程序日志排查解决。 看日志在调用一个python脚本是发生了错误， ExitCodeException exitCode=1: File "/etc/hadoop/conf.cloudera.yarn/topology.py", line 43 print default_rack 从
主机错误： 该主机与 Cloudera Manager Server 失去联系的时间过长。 该主机未与 Host Monitor 建立联系 解决办法： 首先查看该主机NTP服务是否启动：https://www.cnblogs.com/sisimi/p/7698452.html 如果已经启动，请查看客户端服务是否启动：/opt/cm-5.14.0/etc/init.d
今天为大家整理了部分大数据学习教程与大家共享，每个人可以根据自己的需要来选择，需要的小伙伴可以+下学习资料分享裙 199加上427最后是210数字连起来就是了。 学习大数据开发，首先我们的要学习java SE 基础和linux操作， 如果往数据分析的方向以后还有学习python， scala，等 一、L
研发集群要进行地理位置迁移，ip发生更改 环境： CDH5.15.1 apache kafka centos7.4 1.修改每台机器的hosts文件，将用户的主机名和ip对应,并将起分发到每台机器 for i in {2,3,5,6,7} do scp /etc/hosts root@dip00$i:/etc 2.重启所有机器的agent /etc/init.d/
目录遍历脚本[root@NewCDH-0--144 opt]# cat dir.sh #!/usr/bin/sh DIR=$(cd "$(dirname "$0")"; pwd) echo "当前目录:$DIR" ROOT=$DIR for file in $ROOT/* do if [ -d "$file" ] then echo "$file" cd $file #pwd &a
主节点10g 其他节点2G其他节点2G硬盘情况：[root@hadoop104 ~]# df -hFilesystem Size Used Avail Use% Mounted on/dev/sda3 47G 5.8G 39G 13% /tmpfs 4.9G 72K 4.9G 1% /dev/shm/dev/sda1 190M 39M 142M 22% /boot1.安装JDK配置
1 报错信息如下 +======================================================================+| Error: JAVA_HOME is not set and Java could not be found |+----------------------------------------------------------------------+| Please download the latest
一：当有需要CDH安装Apache Spark 2时： 老规矩，从官网开始： https://www.cloudera.com/documentation.html https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html 注意几个重要的提示： 二：按步骤进行安装： 2.1:查看自己需要安装的版本： a:To download
Hadoop简介 Hadoop是一个由Apache基金会所开发的分布式基础结构，主要包括HDFS和MapReduce两部分，HDFS是分布式文件系统，MapReduce是一个用于大数据计算的编程模型。从Hadoop 2.0开始，资源调度统一由Yarn进行管理，Yarn由ResourceManager和NodeManager两部分组成。 Hadoop发行版本，主要
安装前准备 主机和系统 Host OS Memory IP bigdata001-dev Cent OS 7.4 x64 32G 192.168.1.1 bigdata002-dev Cent OS 7.4 x64 32G 192.168.1.2 bigdata003-dev Cent OS 7.4 x64 15G 192.168.1.3 bigdata004-dev Cent OS 7.4 x64
工欲善其事必先利其器，想要学好一门技术首先得有趁手的工具，要想学好大数据技术，还是得有比较好的工具才行。本笔记记录的是安装Cloudera Manager的过程。 CDH的全称是Cloudera’s Distribution Including Apache Hadoop，是hadoop众多发行版本中的一种，是由Cloudera维护，基于稳定版本的Ap
已经将CM的Server端正确安装并重新启动，下面可以开始从网页端来安装集群 1.登录系统 输入网址http://192.168.246.160:7180 默认用户名和密码都是admin。 2.选择安装版本 Clouder Manager分为免费版和企业版，企业版收费，我们只需要选择免费版就可以了，我们选择Clouder Express。
前面已经将agent安装完毕，下面可以复制安装文件到集群的结点上并进行安装。 1.复制安装文件 这一步将安装文件复制到所有的结点上，这一步取决于内网的网速和机器的性能，一般会比较快。 2.选择安装的组件 安装文件复制完毕后会进入结点检查页面，可以跳过这一步，直接进入安装组件的选
https://blog.csdn.net/wiborgite/article/details/78731944 1.1 准备工作 1. 下载虚拟机镜像包。 下载地址：https://www.cloudera.com/downloads/quickstart_vms/5-13.html 后面步骤中使用的是VMWare的虚拟机镜像文件cloudera-quickstart-vm-5.12.0-0-vmware.zip。
