@[TOCUbuntu实现免密登录) 准备环境：两台Ubuntu节点server版，，ip我设置的静态，可以实现ssh远程登录window终端（cmd），也可以实现远程登录的,需要注意的是使用Ubuntu远程登录需要先登录普通用户再切换到root用户 说明：登录完毕后切换到root后，root是没有设置密码的，需要使用passwd设置一下root
一、为什么要部署MySQL的主从复制 关于这方面的理论网上可查询，这里可以参考的链接 https://blog.51cto.com/zkhylt/1773679 二、MySQL主从同步复制原理 https://blog.51cto.com/zkhylt/1773679 三、实验环境的部署 环境： VMware workstation --> centos7 IP:192.168.86.130 CentO
Hadoop全分布 一，网络配置 1) 修改当前机器名称 [root@VM-M-01598231825725 ~]# hostnamectl set-hostname master（master为自定义） [root@VM-M-01598231825725 ~]# bash 可以看到主机名称已变更为master 两台子节点修改当前机器名 slave
一、复制文件 1. 找到mongodb的安装目录，复制两份并改名(随便什么名称) 2. 找到mongodb的log和data目录，同样复制两份 二、修改配置文件 1. 修改第一步中，复制的两份mongodb文件中的配置文件 别忘了把主服务的配置文件中的replication项也加上相应的值 # mongod.conf # Where and
基于Kubernetes/K8S构建Jenkins持续集成平台(上)-1 Jenkins的Master-Slave分布式构建 什么是Master-Slave分布式构建 Jenkins的Master-Slave分布式构建，就是通过将构建过程分配到从属Slave节点上，从而减轻Master节点的压力，而且可以同时构建多个， 有点类似负载均衡的概
实验一：高可用集群启动 实验任务一：HA的启动 步骤一：启动journalnode守护进程 [hadoop@master hadoop]$ hadoop-daemons.sh start journalnode master: starting journalnode, logging to /usr/local/src/hadoop/logs/hadoop-root-journalnode-master.out slave1: starting jou
在伪分布式的基础上我们继续配置 目录 master配置 slave1配置 启动并测试 master配置 首先查询主机master的节点是否运行 root@master:~# jps 5379 NameNode 5699 SecondaryNameNode 5513 DataNode 8844 Jps 看来节点是正常的，接下来我们继续。 在master上修改本地解析 vim
/ / / / 先创建master、slave1、slave2三个文件夹，将redis.conf分别赋值到三个文件夹中，再进行修改
其实完全分布式跟伪分布式的搭建方式基本相同，只有个别文件需要更改，那我们下面开始吧！ 第一步还是配置IP地址，主机名，以及主机与IP地址的映射，教程在我上一篇的伪分布式搭建里面都有，在这里就不再叙述啦。 注：Hadoop完全分布式分为主从两个节点，主节点有一个，我这里将主节点的主机名命名
临近毕业，签的公司（国企），和新发offer的公司，都是数据挖掘的岗位，都要求会hadoop、spark等大数据框架，于是自己开始着手学习hadoop，断断续续摸索、看博客等两周时间才搞清楚基本的linux操作（CentOS7），和hadoop的安装。为了写这篇博文，及熟练hadoop分布式的安装，把之前安装好的全部删了，一边安装
一、基础搭建 1.1 配置hosts文件 通过ifconfig查看各节点的 IP 地址，将三个节点的 IP 地址以及其对应的名称写入hosts文件 xxx.xxx.xxx.xxx master xxx.xxx.xxx.xxx slave1 xxx.xxx.xxx.xxx slave2 1.2 关闭防火墙 关闭防火墙：systemctl stop firewalld 查看状态：systemctl sta
https://blog.csdn.net/weixin_44985601/article/details/110948081?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EB
场景 CentOS7中怎样修改主机名和hosts文件(配置IP和主机名的对应管理)： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119245448 在上面的基础上。 Hadoop中的NameNode和DataNode数据通信采用了SSH协议，需要配置master对各 slave节点的免秘钥登录。 注： 博客： https://
Linux伪分布式配置免密登录 一、说明 该项使用hadoop用户身份配置即可，无需使用超级用户该项按照下面步骤依次在各个节点配置即可。 二、配置 在主节点master上 在主节点master输入以下命令生成秘钥 [hadoop@master ~]$ ssh-keygen -t rsa # 留意前面的中括号和美元符号 复制公
jmeter分布式 jmeter分布式 1、下载jmeter5.1.1的tgz版本，然后上传到Linux 2、修改环境变量 3.发布系统环境变量 4、修改从机配置文件 5、修改主机配置文件 6、启动从机--Linux 7、启动主机--windows 8、非gui模式 问题记录 下面的slave 代表执行机的ip地址 参考文档： https://www
参考资料（直接看官网介绍还是最靠谱的，其他文章可作辅助参考）： https://elk-docker.readthedocs.io/#elasticsearch-cluster-single-host 下文是基于 Docker 安装 ELK 已经完成的基础上，对elasticsearch单节点进行横向扩展，扩展后为一主二从，原有的节点作为主节点。 主节点（mast
教程目录 0x00 教程内容 0x01 配置YARN 1. 备份yarn-site.xml 2. 配置HA 3. 同步到从节点 0x02 校验结果 1. 启动YARN 2. 校验配置 3. 查看ZK变化 0x03 恢复回非HA模式 0xFF 总结 0x00 教程内容 配置YARN 校验结果 恢复回非HA模式 PS：与HDFS的HA类似，但比HD
文章目录 0x00 文章内容 0x01 HDFS之HA环境准备 1. 集群规划 2. 备份原本的配置 3. 停止HDFS集群 0x02 配置HA实战 1. 修改hdfs-site.sh配置 2. 修改core-site.sh配置 3. 同步配置到slaves 4. 启动journalnode并同步元数据 5. 校验HA配置 0x03 配置Zookeeper自动切换状态 1.
想部署hadoop集群和hbase的集群，我的方式是建议先在一台虚拟机上面部署hadoop伪分布+hbase伪分布，再以这台虚拟机生成克隆，防止出现难以解决的问题，备份一台，给自己必须留一手！！！！ 进行hadoop的集群时每各节点已经部署hadoop的伪分布，所以jdk和hadoop都已经安装。 软件：VMware Workstati
首先，高可用集群是建立在zookeeper搭建没有问题的前提下来完成的，没有搭建好zookeeper的，先搭好才可以做以下操作。 一：前期准备（只需要在主节点master上完成） 1.拍摄快照 想拍就拍，不想拍算了，建议还是拍一个，毕竟万一搭不好，还可以回到你这个状态，记得给快照加个备注，以防忘记你这个快
河北农业大学第一届“红亚华宇杯” 大数据技能竞赛选拔赛指导手册 1、引言…1 1.1 编写目的…1 1.2 读者对象…1 1.3 环境要求…1 2、操作说明…1 2.1 登陆方式…1 2.2 比赛进行中…2 2.3 比赛已结束…5 大数据竞赛本地源介绍…5 大数据竞赛题目操作手册…7 基础部分…7 1、
。 图 8 比赛已结束 大数据竞赛本地源介绍 本次比赛提供相应的软件压缩包以及相关的 xml 配置文件、数据集，其地址为 http://10.10.30.2:8000/bigdata/。具体如下： 相关安装软件、xml 配置文件 Bigdata_Conf.tar.gz 的路径为 http://10.10.30.2:8
1.背景 在hadoop集群上安装flume，将日志数据传输到HDFS上去 2.规划 三台主机的主机名分别为master,slave1,slave2(防火墙已关闭) 由slave1和slave2收集日志信息,传给master,再由master上传到hdfs上 3.配置 3.1上传解压 在slave1上的usr文件夹下新建个flume文件夹,用作安装路
安装虚拟机后，可以将安装好的一个虚拟机复制两份出来，这样就有了三个安装好的虚拟机，分别命名为master，slave1，slave2. 在VMWare中将复制出来的两个虚拟机加载进来，这个时候会发现slave1和slave2的IP和master的IP是一样的，并且发现master能 通过curl www.baidu.com命令上网， 但是slav
下载erlang安装包 链接：https://pan.baidu.com/s/1Ma_FCTXZvjWvYK8yymiLZw 提取码：9zpv 1.安装依赖包。 [root@slave1 ~]# yum -y install make gcc gcc-c++ m4 ncurses-devel openssl-devel unixODBC-devel 2.安装erlang。 把erlang安装包上传到/usr/local目录，解压 [root@sla
