标签：flume 0.0 绑定 Avro agent a1 安装

一、安装flume

1.解压安装包

 

 

 切换到解压路径下，将解压的文件名改为flume，简化操作：

 

 

2.配置环境变量

 添加如下代码，JAVA_HOME已经设置的按照之前的设置即可：

修改flume-env.sh配置文件：

 

 

 添加下面一行，用于设置JAVA_HOME变量：

 

 

 由于会与安装的hbase有冲突，将hbase的hbase.env.sh一行的配置注销即可

 

 

 

3.查看 flume 版本信息

安装成功则出现如下

二、测试flume

1.案例 1：Avro source Avro 可以发送一个给定的文件给 Flume，Avro 源使用 AVRO RPC 机制。

 

 

 

a）创建agent配置文件

 

 

 然后写入如下内容：

 

 

 上面 Avro Source 参数说明如下： Avro Source 的别名是 avro,也可以使用完整类别名称 org.apache.flume.source.AvroSource，因此，上 面有一行设置是 a1.sources.r1.type = avro，表示数据源的类型是 avro。 bind 绑定的 ip 地址或主机名，使用 0.0.0.0 表示绑定机器所有的接口。a1.sources.r1.bind = 0.0.0.0，就 表示绑定机器所有的接口。 port 表示绑定的端口。a1.sources.r1.port = 4141，表示绑定的端口是 4141。 a1.sinks.k1.type = logger，表示 sinks 的类型是 logge

 b) 启动 flume agent a1

c) 创建指定文件 先打开另外一个终端，在/usr/local/flume 下写入一个文件 log.00,内容为 hello,world:

我们再打开另外一个终端，执行bin/flume-ng avro-client --conf conf -H localhost -p 4141 -F /usr/local/flume/log.00

 

 

 

 

 

 

 

 

 此时我们可以看到第一个终端（agent 窗口）下的显示，也就是在日志控制台，就会把 log.00 文件的内 容打印出来：

 

 

 

 

2.案例 2：netcatsource

a) 创建 agent

 

 

 输入如下内容：

 

 

 

 

 

 

 b)启动 flume agent (即打开日志控制台)：

 

 

 

 

 

 再打开一个终端，输入命令:telnet localhost 44444

然后我们可以在终端下输入任何字符，第一个终端的日志控制台也会有相应的显示，如我们输 入”hello,world”、“hey boy” ,

 

 

 如上则netcatsource 运行成功！

标签：flume,0.0,绑定,Avro,agent,a1,安装
来源： https://www.cnblogs.com/codecodee/p/16284539.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。