ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

切记,在进行flume监测文件时采用的是正则表达式

2020-07-18 17:02:58  阅读:442  来源: 互联网

标签:flume k2 sinks 切记 正则表达式 channels sources type r1


# Name the components on this agent
a1.sources = r1
a1.channels = c1 c2
a1.sinks = k1 k2

#将数据流复制给所有channel
#下边这句是默认的,不配置也可以
#a1.sources.r1.selector.type = replicating

#source
a1.sources.r1.type = TAILDIR
a1.sources.r1.positionFile = /opt/module/flume/taildir_position.json
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /opt/module/flume/test/.\*.log

#此处若只写.log那么肯定不行啊,这样就只监测文件名称为.log的文件而不是后缀为.log的文件,若想监测后缀为.log的文件那么采用上边标红的正则表达式,小伙子,去练练正则也可以哈

#channel

a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 10000

a1.channels.c2.type = memory
a1.channels.c2.capacity = 10000
a1.channels.c2.transactionCapacity = 10000


#sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop103
a1.sinks.k1.port = 4141

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop104
a1.sinks.k2.port = 4142

# Bind the source and sink to the channel
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

标签:flume,k2,sinks,切记,正则表达式,channels,sources,type,r1
来源: https://www.cnblogs.com/zlshtml/p/13336345.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有