标签：Flume channel 基础 Agent Source Sink Channel
.png)
Fulme定义：
Flume是Clourdera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flumens基于流式架构，灵活简单。
Flume最主要的作用就是实时读取服务器本地磁盘的数据，将数据传输到HDFS。
Flume的优点：
（1）可以和任意存储进程集成。
（2）输入的数据速率大于写入目的的存储的速率，Flume会进行缓冲，减小HDFS的压力。
（3）Flume中的事务基于channel，使用了两个事务模型（sender+receiver），确保消息可靠发送。Flume使用两个独立的事务分别负责从source到channel，以及从channel到sink的时间传递。一旦事务中所有的数据全部成功提交到channel，那么source才认为该数据读取完成。同理，只有成功被sink写出去的数据，才会从channel中移除
。
Flume的组成架构
Web-Server-->Agent[Source-->channel-->Sin-->HDFS
Agent:是一个JVM进程，它以事件的形式将数据从源头送至目的地。由三部分组成Source、Channel、Sink。
Source：Source是负责接收数据到Flume Agent的组件，Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling diretory、netcat、sequence generator、syslog、http、legacy。
Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。
Flume自带两种Channel：Memory Channel（复制到全部Channel中）和File Channnel（指定Channel中）。
Menory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。
File Channel是将所有事件写到磁盘。因此在程序关闭或者机器宕机的情况下不会丢失数据。
Sink：Sink不断轮询Channel中的时间且批量地移除它们，并将这些时间批量写入到存储或索引系统、或者被发送到另外一个Flume Agent。
Sink是完全事务性的。在从Channel批量删除数据之前，每个Sink用Channel启动一个事务。批量时间一旦成功写出到储存系统或者下一个Flume Agent，Sink就利用Channel提交事务。事务一旦被提交，该Channel从自己的内部缓冲区删除事件。
Sink组件目的地包括：HDFS、logger、avro、thrift、ipc、file、null、HBase、solr、自定义。
Event：传输单元，Flume数据传输的基本单元，以事件的形式将数据从源头送至目的地。Event由可选的header和载有数据的一个byte array 构成。Header是容纳了key-value字符串对的HashMap。
Flume拓扑结构：
（1）1个Agent的Sink连接另一个Agent的Source
.png)
（2）1个Agent有1个Source，多个Channel和多个Sink
.png)
（3）1个Agent有1个Source，1个Channel和多个文件系统（HDFS、JMS、Agent）
（4）1个Agent有1个Source和多个Sink，传入多个Agent
.png)
（5）多个Agent传入1个Agent的Source
.png)
标签：Flume,channel,基础,Agent,Source,Sink,Channel 来源： https://www.cnblogs.com/datacan/p/11000077.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。