失效链接处理 |
Hadoop专家_管理、调优与Spark·YARN·HDFS安全 PDF 下载
本站整理下载:
版权归出版社和原作者所有,链接已删除,请购买正版
用户下载说明:
电子版仅供预览,下载后24小时内务必删除,支持正版,喜欢的请购买正版书籍:
http://product.dangdang.com/26916618.html
相关截图:
资料简介: 本书翻译自Sam R. Alapati 的Expert Hadoop Administration。Sam R. Alapati 是Sabre 公司的首席Hadoop 管理员,具有多年的Hadoop 运维管理经验。他希望通过本书,为Hadoop 集群开发与管理人员提供一些有益指导。从事Hadoop 的管理工作,首先要了解Hadoop 的架构,只进行单纯的操作并不能被称为合格的管理员。基于此,本书在介绍Hadoop 及其生态组件时,都会首先介绍其架构,以期读者能够在更高的层次认识管理工作。本书首先介绍了Hadoop 的整体架构及其部署与使用;然后着重介绍了两个重要的计算引擎MapReduce 与Spark ;接着介绍了Hadoop 的数据存储与安全、数据均衡等特性;*后则介绍了如何进行参数调优与故障排除。整个流程下来,读者能够建立起完整的关于Hadoop 管理的体系架构。 资料目录: 第Ⅰ部分 Hadoop架构与Hadoop集群介绍 第1章 Hadoop与Hadoop环境介绍............................................................................... 3 Hadoop简介.........................................................................................................................4 Hadoop 的特性............................................................................................................5 Hadoop 与大数据........................................................................................................5 Hadoop 的典型应用场景............................................................................................6 传统数据库系统..........................................................................................................7 数据湖..........................................................................................................................9 大数据、数据科学和Hadoop ..................................................................................10 Hadoop集群与集群计算................................................................................................... 11 集群计算.................................................................................................................... 11 Hadoop 集群..............................................................................................................12 Hadoop组件和Hadoop生态..............................................................................................14 Hadoop管理员需要做些什么...........................................................................................16 Hadoop 管理—新的范式......................................................................................17 关于Hadoop 管理你需要知道的.............................................................................18 Hadoop 管理员的工具集..........................................................................................19 Hadoop 1和Hadoop 2的关键区别....................................................................................19 架构区别....................................................................................................................20 高可用性....................................................................................................................20 多计算引擎................................................................................................................21 xiv 目录 分离处理和调度........................................................................................................21 Hadoop 1 和Hadoop 2 中的资源分配.....................................................................22 分布式数据处理:MapReduce和Spark、Hive、Pig ......................................................22 MapReduce ................................................................................................................22 Apache Spark .............................................................................................................23 Apache Hive ...............................................................................................................24 Apache Pig .................................................................................................................24 数据整合:Apache Sqoop、Apache Flume和Apache Kafka ..........................................25 Hadoop管理中的关键领域...............................................................................................26 集群存储管理............................................................................................................26 集群资源分配............................................................................................................26 作业调度....................................................................................................................27 Hadoop 数据安全......................................................................................................27 总结....................................................................................................................................28 第2章 Hadoop架构介绍............................................................................................. 31 Hadoop与分布式计算.......................................................................................................31 Hadoop 架构......................................................................................................................32 Hadoop 集群..............................................................................................................33 主节点和工作节点....................................................................................................33 Hadoop 服务..............................................................................................................34 数据存储—Hadoop分布式文件系统...........................................................................35 HDFS 特性................................................................................................................35 HDFS 架构................................................................................................................36 HDFS 文件系统........................................................................................................38 NameNode 操作........................................................................................................41 利用YARN(Hadoop操作系统)进行数据处理...........................................................45 YARN 的架构............................................................................................................46 ApplicationMaster 如何与ResourceManager 协作进行资源分配..........................51 总结....................................................................................................................................54 第3章 创建和配置一个简单的Hadoop集群................................................................ 55 Hadoop发行版本和安装类型...........................................................................................56 目录xv Hadoop 发行版本......................................................................................................56 Hadoop 安装类型......................................................................................................57 设置一个伪分布式Hadoop集群.......................................................................................58 满足操作系统的要求................................................................................................58 修改内核参数............................................................................................................59 设置SSH ...................................................................................................................64 Java 需求....................................................................................................................65 安装Hadoop ..............................................................................................................66 创建必要的Hadoop 用户.........................................................................................66 创建必要的目录........................................................................................................67 Hadoop初始配置...............................................................................................................67 环境变量配置文件....................................................................................................69 只读默认配置文件....................................................................................................70 site 专用配置文件.............................................................. |