|NO.Z.00038|——————————|BigDataEnd|——|Hadoop&Flume.V01|-------------------------------------------|Fl

2022-04-07 15:04:54 阅读：128 来源： 互联网

一、Flume概述

### --- [数据采集工具-Flume]

~~~     [Flume简介]
~~~     [Flume拓扑结构]
~~~     [Flume体系架构]
~~~     [Flume内部原理]

### --- 概述(什么是、体系结构、拓扑结构、内部原理)
### --- 安装配置
### --- 应用(基础、高级)

~~~     无论数据来自什么企业，或是多大量级，通过部署Flume，
~~~     可以确保数据都安全、及时地到达大数据平台，用户可以将精力集中在如何洞悉数据上。

二、 Flume的定义

### --- Flume的定义

~~~     Flume由Cloudera公司开发，是一个分布式、高可靠、高可用的海量日志采集、聚合、传输的系统。
~~~     Flume支持在日志系统中定制各类数据发送方，用于采集数据；
~~~     Flume提供对数据进行简单处理，并写到各种数据接收方的能力。

三、简单的说，Flume是实时采集日志的数据采集引擎。

### --- Flume有3个重要组件：Source、Channel、Sink

~~~     # 特点：
~~~     分布式：flume分布式集群部署，扩展性好
~~~     可靠性好: 当节点出现故障时，日志能够被传送到其他节点上而不会丢失
~~~     易用性：flume配置使用较繁琐，对使用人员专业技术要求高
~~~     实时采集：flume采集流模式进行数据实时采集
~~~     适用场景：适用于日志文件实时采集。

### --- 其他数据采集工具还有：dataX、kettle、Logstash、Scribe、sqoop。

~~~     dataX是阿里开源软件异构数据源离线同步工具。
~~~     实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、
~~~     FTP等各种异构数据源之间稳定高效的数据同步功能。

~~~     # 特点：
~~~     易用性：没有界面，以执行脚本方式运行，对使用人员技术要求较高
~~~     性能：数据抽取性能高
~~~     部署：可独立部署
~~~     适用场景：在异构数据库/文件系统之间高速交换数据

### --- kettle开源ETL工具。

~~~     支持数据库、FTP、文件、rest接口、hdfs、hive等平台的据进行抽取、转换、传输等操作，
~~~     Java编写跨平台，C/S架构，不支持浏览器模式。

~~~     # 特点：
~~~     易用性：有可视化设计器进行可视化操作，使用简单
~~~     功能强大：不仅能进行数据传输，能同时进行数据清洗转换等操作
~~~     支持多种源：支持各种数据库、FTP、文件、rest接口、hdfs、Hive等源
~~~     部署方便：独立部署，不依赖第三方产品
~~~     适用场景：数据量及增量不大，业务规则变化较快，要求可视化操作，对技术人员的技术门槛要求低。

### --- Logstash。

~~~     应用程序日志、事件的传输、处理、管理和搜索的平台。
~~~     可以用它来统一对应用程序日志进行收集管理，提供了Web接口用于查询和统计。
~~~     Scribe是Facebook开源的日志收集系统，它能够从各种日志源上收集日志，存储到
~~~     一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。

===============================END===============================

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ——W.S.Landor

来自为知笔记(Wiz)

标签：Flume,V01,---,采集,v01,日志,数据,###
来源： https://www.cnblogs.com/yanqivip/p/16112318.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

|NO.Z.00038|——————————|BigDataEnd|——|Hadoop&Flume.V01|-------------------------------------------|Fl