| 失效链接处理 |
|
Flume学习文档(1)_Flume基本概念、Flume事件概念与原理 PDF 下载
本站整理下载：
提取码：0saz
相关截图：
主要内容：
总内容：Flume基本概念、Flume事件概念与原理、Flume安装部署、Flume配置文件
日志数据收集 收集的是非结构化数据
flume不能传输图片`，文本文件可以
sqoop收集的是结构化数据，sqoop全量导入
1.Flume基本概念
1> Flume由Cloudera公司开源。是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。
分布式：数据源多样化，数据源分散
可靠性：保证不丢数据，允许丢部分数据
可扩展：数据源可能会不断增加、通过并行提高性能
可定制
flume类似于一个中间件：屏蔽了数据源和数据存储系统的异构性
2>Flume特点：
可靠性：数据不易丢失
可扩展性：各组件数目可扩展
高性能：吞吐率很高，能满足海量数据手机需求
可管理性：可动态增加和删除组件
文档丰富，社区活跃
3>Flume有两个版本
Flume OG(之前版本) “Original G”
Flume NG(精简代码，架构简化)，用后一个版本
4>主要的作用：实时读取服务器本地磁盘的数据将数据写入到HDFS
2.Flume事件概念与原理
|
| Java1234官方群25： | 
|
| Java1234官方群25： | 838462530 |
苏公网安备 32061202001004号
