失效链接处理 |
Hadoop 集群配置 PDF 下载
本站整理下载:
相关截图:
主要内容:
准备工作
Hadoop 集群的安装配置大致为如下流程:
1.选定一台机器作为 Master
2.在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
3.在 Master 节点上安装 Hadoop,并完成配置
4.在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
5.将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
6.在 Master 节点上开启 Hadoop
配置 hadoop 用户、安装 SSH server、安装 Java 环境、安装 Hadoop 等过程已经在Hadoop安装教程_单机/伪分布式配置
继续下一步配置前,请先完成上述流程的前 4 个步骤。
网络配置
假设集群所用的节点都位于同一个局域网。
如果使用的是虚拟机安装的系统,那么需要更改网络连接方式为桥接(Bridge)模式,才能实现多个节点互连,例如在 VirturalBox 中的设置如下图。此外,如果节点的系统是在虚拟机中直接复制的,要确保各个节点的 Mac 地址不同(可以点右边的按钮随机生成 MAC 地址,否则 IP 会冲突):
VirturalBox中节点的网络设置
Linux 中查看节点 IP 地址的命令为 ifconfig,即下图所示的 inet 地址
首先在 Master 节点上完成准备工作,并关闭 Hadoop (/usr/local/hadoop/sbin/stop-dfs.sh),再进行后续集群配置。
为了便于区分,可以修改各个节点的主机名(在终端标题、命令行中可以看到主机名,以便区分)。在 Ubuntu中,我们在 Master 节点上执行如下命令修改主机名(即改为 Master,注意是区分大小写的):
1.sudo vim /etc/hostname
然后执行如下命令修改自己所用节点的IP映射:
1.sudo vim /etc/hosts
例如使用两个节点的名称与对应的 IP 关系如下:
192.168.1.121 Master
192.168.1.122 Slave1
我们在 /etc/hosts 中将该映射关系填写上去即可,如下图所示(一般该文件中只有一个 127.0.0.1,其对应名为 localhost,如果有多余的应删除,特别是不能有 “127.0.0.1 Master” 这样的记录):
|