1.准备虚拟机，安装linux系统 我安装的是centos7 , 在阿里镜像下载的， 地址 http: //mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso 历史版本目录地址 http: //mirrors.aliyun.com/centos/ 【//前去掉空格】 vm 使用 16pro版本 ， 安装3个虚拟机
问题场景 今天刚装完hbase,启动后，主节点的 HMaster 直接挂了，但是 backup-masters 启动了，查看了 主节点的 master 的日志如下： 2022-05-09 15:51:16,355 INFO [Thread-14] wal.ProcedureWALFile: Archiving hdfs://hadoop201:8020/hbase/MasterProcWALs/pv2-00000000000000000
目录Flume组件安装配置1、下载和解压 Flume2、Flume 组件部署3、使用 Flume 发送和接受信息 Flume组件安装配置 1、下载和解压 Flume # 传Flume安装包 [root@master ~]# cd /opt/software/ [root@master software]# ls apache-flume-1.6.0-bin.tar.gz hadoop-2.7.1.tar.gz jd
几年前搞过一段时间hadoop，现在又要开始搞了，发现环境都不会搭建了。写个博客记录下搭建过程。 目录1、创建虚拟机及规划2、设置各主机之间免密登录1、在每台主机hosts文件中添加IP与主机名的映射关系2、设置互信(每台主机都执行)3、安装JDK和hadoop1、上传软件包2、安装Java，设置
1、 MapReduce是什么 Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词， 2、 MapReduce做什么 MapR
目录一、下载安装IDEA二、搭建本地hadoop环境（window10）三、安装Maven四、新建项目和模块1）新建maven项目2）新建flink模块五、配置IDEA环境（scala）1）下载安装scala插件2）配置scala插件到模块或者全局环境3）创建scala项目4）DataStream API配置1、Maven配置2、示例演示5）Table API & SQL配置1、
原始数据: Map阶段 1.每次读一行数据, 2.拆分每行数据, 3.每个单词碰到一次写个1 <0, "hello tom"> <10, "hello jerry"> <22, "hello kitty"> <34, "hello world"> <46, "hello tom"> 点击查看代码 /** * @ClassName:WordCo
一、什么是hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File
写在前面 必须要先保证hadoop是正常启动的，hadoop安装配置见《CentOS7安装Hadoop集群》 HIVE是正常的，Hive安装配置见《CentOS7安装Hive》 Spark是正常的，Spark安装配置见《CentOS7安装Spark集群（yarn模式）》 其它配置 HDFS创建以下路径，用于存储相关jar包 解压缩spark-3.0.0-bin-wit
1. 实验一：Flume 组件安装配置 1.4.1. 实验任务一：下载和解压 Flume 使用 root 用户解压 Flume 安装包到“/usr/local/src”路径，并修改解压后文件夹名 为 flume。 [root@master ~]#tar zxvf /opt/software/apache-flume-1.6.0-bin.tar.gz -C /usr/local/src [root@master ~]#cd /
下载并传入包 下载地址:https://archive.apache.org/dist/flume/1.6.0/ 部署flume组件 #解压包 [root@master ~]# tar xf apache-flume-1.6.0-bin.tar.gz -C /usr/local/src/ #进入目录 [root@master ~]# cd /usr/local/src/ #修改名字为flume [root@master src]# mv apache-flum
HDFS shell API HDFS作为大数据的文件系统，可以放置数据文件，列举几个常用的shell脚本命令，用法和linux中的基本类似，不过这个是hadoop里的一套，所以我们要用hadoop fs开头具体可以使用hadoop fs --help 查看帮助信息 例如：lshadoop fs -ls / mkdirhadoop fs -mkdir -p /hdfsapi/test
shell定时上传linux日志信息到hdfs 从标题可以分析出来，我们要使用到shell，还要推送日志信息到hdfs上。 定义出上传的路径和临时路径，并配置好上传的log日志信息。这里我使用了上一节配置的nginx的error.log #上传log日志文件的存放路径 /bigdata/logs/upload/log/ #上传log日志
创建Hadoop系统用户 为Hadoop开启Kerberos， 需为不同服务准备不同的用户。 启动服务时需要使用相应的用户。 须在所有节点创建以下用户和用户组。 用户划分： User: Group Daemons hdfs: hadoop NameNode, Secondary NameNode, JournalN
1.工作流调度器 1.为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例如，我们
报错1 22/05/0305:48:53 WARN DFSClient: Failed to connect to /10.0.24.10:9866 for block, add to deadNodes and continue. org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.cha
集群部署规划 hadoop132 hadoop133 hadoop134 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManager 配置集群 自定义配置文件存放在$HADOOP_HOME/etc
目录前言一、配置主机名与网络二、配置免密登录三、安装JDK四、安装Hadoop修改hadoop-env.sh配置文件修改core-site.xml配置文件修改hdfs-site.xml配置文件修改yarn-site.xml配置文件修改mapred-site.xml.template配置文件修改slaves配置文件文件分发拷贝五、从节点操作六、启动集
hadoop无法退出安全模式，报"name node is in safe mode"错误提示。 集群安全模式 集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。 基本语法： （1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态） （2）bin/hdfs dfsadmin -safemode enter （功能
目录Sqoop组件安装与配置1、使用xftp将软件包上传到/opt/software2、部署sqoop(在master上执行)3、启动sqoop集群(在master上执行)4、连接hive配置(在master上执行）5、在Hive中创建sample数据库和student数据表6、从MySQL导出数据，导入Hive7、将数据从hive中导出到mysql数据库中(在m
下载和解压 Flume 实验环境可能需要回至第四，五，六章(hadoop和hive)，否则后面传输数据可能报错（猜测）！ 可 以 从 官 网 下 载 Flume 组 件 安 装 包 ， 下 载 地 址 如 下 URL 链 接 所 示：https://archive.apache.org/dist/flume/1.6.0/ 使用 root用户解压 Flume安装包到“/usr/local/sr
本地Spark程序调试需要使用local提交模式，即将本机当做运行环境，Master和Worker都为本机。运行时直接加断点调试即可。如下： 创建SparkConf的时候设置额外属性，表明本地执行： val conf = new SparkConf().setAppName("WC").setMaster("local[*]") 如果本机操作系统是windows，如
Hive3.1.2安装指南 1、安装Hive3.1.2 首先需要下载Hive安装包文件， Hive官网下载地址 #解压安装包 hadoop@hadoop-master:~$ sudo tar xf apache-hive-3.1.2-bin.tar.gz -C /usr/local/ hadoop@hadoop-master:~$ cd /usr/local/ hadoop@hadoop-master:/usr/local$ sudo mv apache-h
一、准备 1.1 软件版本 1.2 网络规划 1.3 软件包拷贝 1.4 SSH设置 1.5 绑定IP和修改计算机名 1.5.1 修改/etc/hosts,添加IP绑定，并注释127.0.1.1（不注释会影响hadoop集群） 1.5.2 修改/etc/hostname,为绑定计算机名。（计算机名和上面hosts绑定名必须一致） 1.6 SSH无密码登陆(需提前安
