Flume 组件安装配置

2022-05-06 17:02:13 阅读：195 来源： 互联网

标签：Flume flume hdfs hadoop a1 master 组件安装

1. 实验一：Flume 组件安装配置

1.4.1. 实验任务一：下载和解压 Flume

使用 root 用户解压 Flume 安装包到“/usr/local/src”路径，并修改解压后文件夹名
为 flume。

[root@master ~]#tar zxvf /opt/software/apache-flume-1.6.0-bin.tar.gz -C /usr/local/src 
 
[root@master ~]#cd /usr/local/src/ 
 
[root@master ~]#mv apache-flume-1.6.0-bin/ flume # 修改Flume安装路径文件夹 名称 [root@master ~]#chown -R hadoop:hadoop flume/ # 修改文件夹归属用户和归属组为 hadoop 用户和 hadoop 组

1.4.2. 实验任务二：Flume 组件部

1.4.2.1. 步骤一：使用 root 用户设置 Flume 环境变量，并使环境变量对所有用户生效

[root@master ~]#vi /etc/profile 			 # 编辑系统环境变量配置文件
# set flume environment export FLUME_HOME=/usr/local/src/flume  # Flume 安装路径 export PATH=$PATH:$FLUME_HOME/bin				 # 添加系统 PATH 环境变量

1.4.2.2. 步骤二：修改 Flume 相应配置文件。

首先，切换到 hadoop 用户，并切换当前工作目录到 Flume 的配置文件夹。

[root@master ~]#su - hadoop 
 
[hadoop@master ~]$source /etc/profile 
 
[hadoop@master ~]$cd /usr/local/src/flume/conf

拷贝 flume-env.sh.template 文件并重命名为 flume-env.sh。 [

[hadoop@master ~]$cp flume-env.sh.template flume-env.s

1.4.2.3. 步骤三：修改并配置 flume-env.sh 文件。

删除 JAVA_HOME 变量前的注释，修改为 JDK 的安装路径。

[hadoop@master ~]$ vi /usr/local/src/flume/conf/flume-env.sh 
# 修改 JAVA_HOME 参数值为 jdk 安装路径
export JAVA_HOME=/usr/local/src/jdk1.8.0_152

使用 flume-ng version 命令验证安装是否成功，若能够正常查询 Flume 组件版本为
1.6.0，则表示安装成功。

[hadoop@master ~]$ flume-ng version  Flume 1.6.0 
# 查询到 Flume 版本为 1.6.0 

Source code repository: https://git-wip-us . apache . org/ repos/asf/ flume. git Revision: 2561a23240a71ba20bf288c7c2cda88f443c2080 Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015 From source with checksum b29e416802ce9ece3269d34233baf43f

1.4.3. 实验任务三：使用 Flume 发送和接受信息

通过 Flume 将 Web 服务器中数据传输到 HDFS 中。

1.4.3.1. 步骤一：在 Flume 安装目录中创建 simple-hdfs-flume.conf 文件。

[hadoop@master ~]$ cd /usr/local/src/flume/ [hadoop@master ~]$ vi /usr/local/src/flume/simple-hdfs-flume.conf a1.sources=r1 a1.sinks=k1 a1.channels=c1 a1.sources.r1.type=spooldir a1.sources.r1.spoolDir=/usr/local/src/hadoop/logs/ a1.sources.r1.fileHeader=true a1.sinks.k1.type=hdfs a1.sinks.k1.hdfs.path=hdfs://master:9000/tmp/flume  a1.sinks.k1.hdfs.rollsize=1048760  a1.sinks.k1.hdfs.rollCount=0  a1.sinks.k1.hdfs.rollInterval=900  a1.sinks.k1.hdfs.useLocalTimeStamp=true   a1.channels.c1.type=file  a1.channels.c1.capacity=1000 a1.channels.c1.transactionCapacity=100 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1

1.4.3.2. 步骤二：使用 flume-ng agent 命令加载 simple-hdfs-flume.conf 配置信息，启动 flume 传输数据。

[hadoop@master flume] $ flume-ng agent --conf-file simple-hdfs-flume.conf --name a1

1.4.3.3. 步骤三：查看 Flume 传输到 HDFS 的文件，若能查看到 HDFS 上/tmp/flume 目录有传输的数据文件，则表示数据传输成功。

[hadoop@master flume] $ hdfs dfs -ls /tmp/f1ume 

# 查看 HDFS 文件系统 /tmp/f1ume 目录下文件 -rw-r--r--  2 root super group  1325 2019-06-05 11:14 /tmp/f1ume/F lumeData. 1559747635008 -rw-r--r--  2 root super group  1344 2019-06-05 11:14 /tmp/f1ume/F1umeData. 1559747635009 -rw-r--r--  2 root super qroup  1442 2019-06-05 11:14 /tmp/f1ume/F lumeData.1559747635010

标签：Flume,flume,hdfs,hadoop,a1,master,组件,安装
来源： https://www.cnblogs.com/wengfy/p/16229511.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9