链接：https://pan.baidu.com/s/1aDldMfZTjFUTjkS_sOlpxw 

提取码：6f78 

 

一．flume组成架构

1.agent的组成

 

Source数据采集，channel数据缓存，sink数据发送

 

2.event

传输单元，是flume数据传输的基本单元

 

3.agent详细

常用source

Exec 可以对文件进行实时追加的监控，不能实现断电续传

Spooldir 可以监控同步的新文件，但不适合试试追加日志的文件进行监听和同步

Taildir 可以监听多个实时追加的文件，能实现断点续传

4.启动命令：

1 bin/flume-ng agent –-conf /conf –-name xx(文件中的agent名称) –conf-file 配置文件路径

  -Dflume.root.logger=INFO,console   日志级别包括:log、info、warn、error

2 bin/flume-ng agent –c /conf –n xx –f 配置文件路径

二．Flume事务

 

Source先推给pulllist做判断，如果失败则回滚 -> 下一步发送到channel进行缓存-> takeList拿到channel数据做判断，失败则返回channel继续缓存 -> 发送给sink

Agent内部原理：

 

由source接收数据，但不直接发送给channel进行缓存，中间还需要几个步骤做判断：source -> channel processor进行处理 -> 多个interceptor进行拦截/拆分 -> channel processor –> channel selector进行分类发送给channel(replicating可以发送给全部的channel，而multiplexing可以指定发送) –> 相应的channel接收 -> sinkprocessor (loadbalancingsinkprocessor负载均衡,failoversinkprocessor故障转移) -> 给多个sink

负载均衡和故障转移

 

1）故障转移：FailoverSinkProcessor

特点：一个source，一个channel，多个sink

原理：由主机的多个sink分别发往其他几台服务器的source，由其他的agent进行处理，可以使用priority指定优先级，数值越大优先级越高，如果优先级大的服务器发生故障，则会交给其他的服务器实现故障转移。

2）负载均衡：loadBalancingSinkProcessor

特点：一个source，一个channel，多个sink

原理：同FailoverSinkProcessor一样，他可以设置processor的类型，random随机发往下一级的服务器，load_balance负载均衡给其他服务器，不指定优先级，随机发往下级的agent