失效链接处理 |
大数据实践-hadoop集群安装与配置 PDF 下载
本站整理下载:
相关截图:
主要内容:
一、实践目的
1.初步掌握Hadoop集成环境搭建。
2.学习相关配置。
二、实践内容
集群安装与配置,性能优化
准备安装文件、设置安装目录及权限、安装与配置JDK、配置网络、配置SSH、修改主机名、修改配置文件、格式化HDFS。
三、实践过程
1. VmWare 11安装 CentOS6.5;
输入主机名。
为使用方便,用户名,密码均为 hust.
2. 克隆虚拟机slave;
3. Linux设置;
HadoopMaster 节点设置机器名
登录后,查看主机 ip 地址。
可以看到 master 的 ip 为 192.168.81.134。
同样,查看 slave 的 ip为 192.168.81.135
编辑主机名,使用 root 用户。
[hust@bogon ~]$ su root
[root@bogon hust]# vi /etc/sysconfig/network
修改配置信息为
NETWORKING=yes
HOSTNAME=master
执行命令,使修改生效。
[root@bogon hust]# hostname master
查看主机名
[root@bogon hust]# hostname
重启虚拟机,可看到机器名已更改。
以 root 登录,修改 hosts 文件。
[root@master hust]# vi /etc/hosts
192.168.81.134 master
192.168.81.135 slave
在 slave 上重复 master 的操作,将主机名修改为 slave。
重启后查看机器名。
最后ping验证
配置静态 ip
在 master 上配置静态 ip
以 root 执行命令
[root@master hust]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
文件内容
DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0C:29:B8:5C:72"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="1ba24e95-83f0-4bc1-b8ae-ac0d0e98a39f"
IPADDR=192.168.81.134
NETMASK=255.255.255.0
GATEWAY=192.168.8.2
DNS1=8.8.8.8
配置 ssh 免密钥登录
以 root 登录 master 和 slave,执行命令关闭防火墙。
[root@master hust]# service iptables stop
永久关闭防火墙命令为
[root@master hust]# chkconfig iptables off
用 hust 登录,在 master 上创建公钥。
[hust@master ~]$ ssh-keygen -t rsa
显示如下
修改权限
[hust@master ~]$ chmod 700 /home/hust/.ssh
将公钥发送到 master
[hust@master ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hust@master
将公钥发送到 slave
[hust@master ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hust@slave
用 ssh 连接 slave,若不提示密码,表示修改成功。
[hust@master ~]$ ssh slave
|