标签：学习 Hadoop hadoop 8.24 集群 暑假 mapreduce node3 node2

今日学习内容补充：

1.hadoop介绍：

狭义:

核心组件，Hadoop

hdfs  分布存储

yarn   资源管理和任务调度框架

mapreduce  计算  （企业基本不再直接使用）

 

广义：

围绕Hadoop打造的大数据生态圈

 

Hadoop发行版本：

开源社区：http://hadoop.apache.org/

商业版本：cloudera和hortonworks

Hadoop架构变迁：

1.0-2.0框架优化

2.0-3.0性能优化

 

 

2.Hadoop集群概述：

包括，hdfs，yarn 逻辑上分离，物理上在一起，标准的主从架构集群

不存在mapreduce集群，mapreduce是计算框架，位于代码层面，不存在集群的说法

 

 

 3.Hadoop集群的安装

下载网址;Index of /dist/hadoop/common/hadoop-3.3.0 (apache.org)

课程提供了安装包，有编译好的安装包。

3.1集群角色规划

3.2基础环境准备

部分提前配置过了，以下是验证：

免密登录ssh：

 

时间同步：

创建统一工作目录：

 

安装jdk在三台机器上：

node1：先拖动导server目录下

解压并且验证安装：

 

 

拷贝到node2下jdk：

 

node3：修改上面的node2为node3即可

拷贝环境变量：

 

拷贝结束后同时重新加载环境变量

使用命令：

source /etc/profile

下面主要通过node1安装，node2，node3通过scp命名

上传Hadoop资源并且解压：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

标签：学习,Hadoop,hadoop,8.24,集群,暑假,mapreduce,node3,node2
来源： https://www.cnblogs.com/diandianzai/p/16622744.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。