失效链接处理 |
Flume学习文档(1)_Flume基本概念、Flume事件概念与原理 PDF 下载
本站整理下载:
提取码:0saz
相关截图:
主要内容:
总内容:Flume基本概念、Flume事件概念与原理、Flume安装部署、Flume配置文件
日志数据收集 收集的是非结构化数据
flume不能传输图片`,文本文件可以
sqoop收集的是结构化数据,sqoop全量导入
1.Flume基本概念
1> Flume由Cloudera公司开源。是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制,具有强大的功能和容错能力。它使用一个简单的可扩展数据模型,允许在线分析应用程序。
分布式:数据源多样化,数据源分散
可靠性:保证不丢数据,允许丢部分数据
可扩展:数据源可能会不断增加、通过并行提高性能
可定制
flume类似于一个中间件:屏蔽了数据源和数据存储系统的异构性
2>Flume特点:
可靠性:数据不易丢失
可扩展性:各组件数目可扩展
高性能:吞吐率很高,能满足海量数据手机需求
可管理性:可动态增加和删除组件
文档丰富,社区活跃
3>Flume有两个版本
Flume OG(之前版本) “Original G”
Flume NG(精简代码,架构简化),用后一个版本
4>主要的作用:实时读取服务器本地磁盘的数据将数据写入到HDFS
2.Flume事件概念与原理
|