失效链接处理 |
Flume 构建高可用可扩展的海量日志采集系统 PDF 下载 下载地址:
版权归出版社和原作者所有,链接已删除,请购买正版
用户下载说明:
电子版仅供预览,下载后24小时内务必删除,支持正版,喜欢的请购买正版书籍:
http://product.dangdang.com/1072748367.html
相关截图: ![]() 资料简介: 《Flume:构建高可用、可扩展的海量日志采集系统》从Flume的基本概念和设计原理开始讲解,分别介绍了不同种类的组件、如何配置组件、如何运行FlumeAgent等。同时,分别讨论Source、Channel和Sink三种核心组件,不仅仅阐述每个组件的基本概念,而且结合实际的编程案例,深入、全面地介绍每个组件的详细用法,并且这部分内容也是整个Flume框架的重中之重。之后,讲解拦截器、Channel选择器、Sink组和Sink处理器等内容,它们为Flume提供灵活的扩展支持。最后,介绍了Flume的高级使用,如何使用Flume软件开发工具集(SDK)和EmbeddedAgentAPI,如何设计、部署和监控Flume生产集群。 总而言之,《Flume:构建高可用、可扩展的海量日志采集系统》是一本理论结合实战,深度、广度兼备的海量日志采集系统的著作。 资料目录:
译者序?v序?xiii前言?x第1章?认识Apache?Hadoop和Apache?HBase?1分布式文件系统HDFS?1HDFS?的数据格式?3处理HDFS?中的数据?4Apache?HBase?4总结?5参考文献?6第2?章?用Apache?Flume?处理流数据?7我们需要Flume?7Flume?是否适合呢??9Flume?Agent?内部原理?10配置Flume?Agent?13Flume?Agent?之间的相互通信?17复杂的流?17复制数据到不同目的地?20动态路由?21Flume?的数据丢失保证,Channel?和事务?22Flume?Channel?中的事务?23Agent?失败和数据丢失?25批量的重要性?26重复怎么样??27运行Flume?Agent?27总结?29参考文献?30第3?章?源(Source)?31Source?的生命周期?31Sink-to-Source?通信?33Avro?Source?34Thrift?Source?37RPC?Sources?的失败处理?39HTTP?Source?40针对HTTP?Source?写处理程序*?42Spooling?Directory?Source?47使用Deserializers?读取自定义格式*?50Spooling?Directory?Source?性能55Syslog?Source?55Exec?Source?59JMS?Source?61转换JMS?消息为Flume?事件*?63编写自定义Source*?65Event-Driven?Source?和Pollable?Source?66总结?73参考文献?73第4?章?Channel?75事务工作流?76Flume?自带的Channel?78Memory?Channel?78File?Channel?80总结?86参考文献?86第5?章?Sink?87Sink?的生命周期?88优化Sink?的性能?89写入到HDFS?:HDFS?Sink?89理解Bucket?90配置HDFS?Sink?93使用序列化器控制数据格式*?100HBase?Sink?106用序列化器将Flume?事件转换成HBase?Put?和Increment*?108RPC?Sink?113Avro?Sink?113Thrift?Sink?115Morphline?Solr?Sink?116Elastic?Search?Sink?119自定义数据格式*?121其他Sink?:Null?Sink、Rolling?File?Sink?和Logger?Sink?124编写自定义Sink*?125总结?129参考文献?129第6章?拦截器、Channel选择器、Sink组和Sink处理器?131拦截器?131时间戳拦截器?132主机拦截器?133静态拦截器?133正则过滤拦截器?134Morphline?拦截器?135UUID?拦截器?136编写拦截器*?137Channel?选择器?140复制Channel?选择器?140多路复用Channel?选择器?141自定义Channel?选择器*?144Sink?组和Sink?处理器?146Load-Balancing?Sink?处理器?148Failover?Sink?处理器?151总结?153参考文献?154第7?章?发送数据到Flume*?155构建Flume?事件?155Flume?客户端SDK?156创建Flume?RPC?客户端?157RPC?客户端接口?157所有RPC?客户端的公共配置参数?158默认RPC?客户端?165Load-Balancing?RPC?客户端?168Failover?RPC?客户端?171Thrift?RPC?客户端?172嵌入式Agent?173配置嵌入式Agent?175log4j?Appender?180Load-Balancing?log4j?Appender?181总结?182参考文献?183第8?章?规划、部署和监控Flume?185规划一个Flume?部署?185修复时间?185我的Flume?Channel?需要多少容量??186多少层??186通过跨数据中心链接发送数据?188层分片?190部署Flume?191部署自定义代码?191监控Flume?193从自定义组件报告度量?196总结?196参考文献?196索引?197
|