| 失效链接处理 |
|
Hadoop完全分布模式安装 PDF 下载
本站整理下载：
提取码：1234
相关截图：
 主要内容：
【实验目的】 1.了解Hadoop的完全分布式安装完成后各节点上都运行了哪些进程，以及各自的作用 2.熟练掌握Hadoop完全分布模式安装流程 3.培养独立完成Hadoop完全分布模式安装能力 【实验原理】 Hadoop的运行模式分为3种：本地运行模式，伪分布运行模式，完全分布式运行模式。 完全分布式模式：Hadoop的守护进程运行在由多台主机搭建的集群上，是真正的生产环境。在所 有的主机上安装JDK和Hadoop，组成相互连通的网络。 对于完全分布式模式Hadoop的集群来讲，可以分成两大类角色：Master和Salve。当开启Hadoop 集群时，Master节点和各个Slave节点里的相关进程如下图所示： 各进程的作用如下： （1）NameNode：相当于一个领导者，负责调度。比如你需要存一个640M的文件，如果按照64M 分块，那么NamenNode就会把这10个块（这里不考虑副本）分配到集群中的DataNode上，并记 录对应关系 。 当要下载这个文件的时候NameNode就知道在哪些节点上获取这些数据了。它主要 维护两个Map一个是文件到块的对应关系，一个是块到节点的对应关系。 （2）SecondaryNameNode：辅助NameNode，分担其工作量；定期合并fsimage和edits，推送给 NameNode；紧急情况下，可辅助恢复NameNode，但Secondary NameNode并非NameNode的热 备。（3）NodeManager：它是YARN中每个节点上的代理， 它管理Hadoop集群中单个计算节点，包 括与ResourceManger保持通信，监督Container的生命周期管理，监控每个Container的资源使用 （内存、CPU等）情况，追踪节点健康状况，管理日志和不同应用程序用到的附属服务（auxiliary
service）。 （4）DataNode： ①DataNode需要完成的首要任务是KV存储。 ②完成和NameNode通信 ，这个通过IPC心跳连接实现，此外还完成与客户端或其它DataNode之 间的信息交换 。 ③完成和客户端还有其它DataNode节点之间的大规模通信，这个需要直接通过socket协议实现。 （5）ResourceManager：管理所有可用的集群资源并协助管理运行在YARN上的分布式应用的主 要组件。RM与每个节点的NodeManagers (NMs) 和每个应用的ApplicationMasters (AMs)一起工 作。①NodeManagers 遵循来自ResourceManager的指令来管理单一节点上的可用资源。 ②ApplicationMasters负责与ResourceManager协商资源并与NodeManagers合作启动容器。 【实验环境】 Linux Ubuntu 14.04 【实验内容】 在只有Linux系统的服务器上，进行Hadoop2.6.0完全分布模式安装，使得启动后集群中各节点的相 关进程如下： 【实验步骤】 1.此步为可选项，建议用户创建一个新用户及用户组，后续的操作基本都是在次用户下来操作。但 是用户亦可在自己当前非root用户下进行操作。 创建一个用户，名为zhangyu，并为此用户创建home目录，此时会默认一个与zhangyu同名的用户 组。1. sudo useradd ‐d /home/zhangyu ‐m zhangyu
为zhangyu用户设置密码，执行下面的语句 1. sudo passwd zhangyu 按提示消息，输入密码以及确认密码即可，此处密码设置为zhangyu 将zhangyu用户的权限，提升到sudo超级用户级别 1. sudo usermod ‐G sudo zhangyu 后续操作，我们需要切换到zhangyu用户下来进行操作。 1. su ‐ zhangyu 2.添加hosts的地址映射 用ifconfig 或 ip a 命令获取三台服务器的ip地址；
|
| Java1234官方群25： | 
|
| Java1234官方群25： | 838462530 |
苏公网安备 32061202001004号
