标签:Flume hdfs sinks 实践 a1 简易 k1 conf flume
解压
1.解压 tar zxvf /apache-flume版本所在路径 -C /解压后的位置 2.修改名字 mv /apache-flume版本号 flume 3.修改权限 chown -R hadoop:hadoop flume/ 4.环境配置 (环境配置需要 root 用户操作) vi /etc/profile # set flume environment export FLUME_HOME=/flume安装路径 export PATH=$PATH:$FLUME_HOME/bin 5.修改配置文件 su - hadoop source /etc/profile 6.重新命名 dxc/flume的路径/conf cp /flume-env.sh.template flume-env.sh 7.修改配置文件flume-env.sh vi /flume的路径/conf/flume-env.sh # 修改 JAVA_HOME 参数值为 jdk 安装路径 export JAVA_HOME=/jdk的安装路径 8.验证 flume-ng version 9.实验 在flume安装目录中创建 simple-hdfs-flume.conf 文件 cd /flume的路径 vi /flume的路径/simple-hdfs-flume.conf a1.sources=r1 a1.sinks=k1 a1.channels=c1 a1.sources.r1.type=spooldir a1.sources.r1.spoolDir=/usr/local/src/hadoop/logs/ a1.sources.r1.fileHeader=true a1.sinks.k1.type=hdfs a1.sinks.k1.hdfs.path=hdfs://master:9000/tmp/flume a1.sinks.k1.hdfs.rollsize=1048760 a1.sinks.k1.hdfs.rollCount=0 a1.sinks.k1.hdfs.rollInterval=900 a1.sinks.k1.hdfs.useLocalTimeStamp=true a1.channels.c1.type=file a1.channels.c1.capacity=1000 a1.channels.c1.transactionCapacity=100 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 10.使用flume-ng agent 命令加载 simple-hdfs-flume.conf 配置信息 flume agent --conf-file simple-hdfs-flume.conf --name a1 Ctrl+c 退出 flume 传输 11.查看文件 hdfs dfs -ls /tmp/flume
标签:Flume,hdfs,sinks,实践,a1,简易,k1,conf,flume 来源: https://blog.51cto.com/u_15165233/2704010
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。