上传 spark-3.1.2-bin-hadoop3.2.tgz 到 /export/software/ # 解压安装cd /export/software/tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C /export/server # 重命名cd /export/servermv spark-3.1.2-bin-hadoop3.2 spark-standalone# 重新构建软连接rm -rf sparkln -s spark-stan
因为Hadoop需要依赖java环境，因此需要先安装JDK1.8（大于1.8版本的jdk需要收费，因此很多厂家开发都是依赖与jdk1.8,hadoop当然也是啦） 1.安装JDK1.8 下载JDK1.8安装包，直接清华源：https://mirrors.tuna.tsinghua.edu.cn/AdoptOpenJDK/，可以到其他的方去下载。我给忘记了是不是从这个
这些天入门hadoop，结果视频里连装hadoop分布式集群都没提，直接开始讲概念，我琢磨了几周还是搞定了，小问题太多，资料又比较乱，各个博客讲的都不一样，还得汇总去搞，出了问题解决方法也千奇百怪，所以这里把我成功的经历记录下，希望对新搞的人有所帮助 参考博客： https://blog.csdn.net/xiao
Centos7系统的Hadoop3.2.2集群环境搭建 准备工作： jdk-8u291-linux-x64.tar.gz hadoop-3.2.2.tar.gz 虚拟机hadoop，hadoop1，hadoop2配置： hadoop就Hadoop1hadoop2IP192.168.10.100192.168.10.101192.168.10.102 集群规划： hadoophadoop1hadoop2HDFSNameNode DateNodeDateNodeSec
本人比较喜欢折腾 有新的不弄旧的 不知道这个习惯好不好 废话不说来记录下今天踩的坑 1.最大的坑 flink 1.8版本之后默认包里面没有了hadoop相关的连接jar 由于版本很新所以在阿里的镜像库里面没有找到然后从网友那里获得这里也免费奉上：flink-shaded-hadoop-3-uber-3.1.1.7.1
CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群 VMWare 安装CentOS 7使用Xshell连接虚拟机集群设置安装JDK 1.8SSH 免密登陆安装hadoop 3.2安装Spark 3.0.1总结 VMWare 安装CentOS 7 推荐使用VMware Workstation Pro 16，下载安装即可。下载最新的CentOS 7 Minimal-2009.i
一、环境准备 ①准备三台虚拟机，配置静态IP ②先修改主机名(每个节点统一命名规范) vim /etc/hostname master #重启生效 配置DNS每个节点 vim /etc/hosts 192.168.60.121 master192.168.60.122 salve1 192.168.60.123 salve2 永久关闭防火墙 systemctl stop firewalld sys
下面列出我搭建hadoop应用环境的文章整理在一起，不定期更新，供大家参考，互相学习！！！ 1.1 hadoop3.2.0的安装并测试https://www.cnblogs.com/CQ-LQJ/p/11602927.html1.2 编译Hadoop连接eclipse的插件遇见的一系列错误，崩溃的操作 https://www.cnblogs.com/CQ-LQJ/p/11450677.html1.3
