标签：Flume Source 介绍 source sink 组件 Event Channel
|
名称 |
解析 |
|
Event |
一个数据单元，带有一个可选的消息头，其实就是一条消息，一个日志；（Kafka 的消息没有消息头，因此，Flume 的消息进入 Kafka 后，消息头就丢失了） |
|
Flow |
数据流，Event 从源点到达目的点的迁移的抽象 |
|
Client |
操作位于源点处的 Event，将其发送到 Flume Agent |
|
Agent |
一个独立的 Flume 进程，包含组件 Source、Channel、Sink |
|
Source |
用来获取 Event 并写入 Channel |
|
Channel |
中转 Event 的一个临时存储，保存有 Source 组件传递过来的 Event，可以认为是一个队列 |
|
Sink |
从 Channel 中读取并移除 Event，将 Event 传递到 Flow Pipeline 中的下一个 Agent 或者其他存储系统 |
常用 Source: exec source, kafka source, netcat source, http source, spooling Directory source, tailDirSource, avro source (多层flume 必需)
常用 Channel: file channel, memory channel, kafka channel (有副本机制, 安全性更高)
常用 Sink: kafka sink, hdfs sink, hbase sink, avro sink
标签：Flume,Source,介绍,source,sink,组件,Event,Channel 来源： https://blog.csdn.net/a308601801/article/details/88647860
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。