| 失效链接处理 |
|
搭建伪分布模式Hadoop PDF 下载
本站整理下载：
提取码：9v78
相关截图：
主要内容：
（3）解压JDK并重命名
mkdir -p /export/server //创建一个专用目录
cd /export/server
tar -zxvf /root/jdk-8u131-liux-x64.tar.gz //解压jdk安装包 Tab键可以补全版本号
mv jdk1.8.0_131/ jdk1.8 //重命名jdk
（4）配置JAVA环境变量
pwd //显示java安装路径
vi /etc/profile //使用vi编辑器编辑配置文件 按i进入编辑
JAVA_HOME=/export/server/jdk1.8 //JAVA_HOME=jdk路径
export PATH=$PATH:$JAVA_HOME/bin //统一这么写
//按Esc退出编辑 shift+wq保存并退出
source /etc/profile //使设置的环境变量生效
（5）检查JDK是否安装成功
java -version //若成功则会出现jdk版本号信息
3.安装Hadoop
分区 Hadoop环境搭建 的第 2 页
3.安装Hadoop
(1)上传Hadoop安装包至Linux
过程与上传jdk类似
a.进入官网下载安装包：[hadoop官网](http://hadoop.apache.org/)
b.使用WinSCP软件上传
（2）解压Hadoop安装包
cd /export/server //进入专用目录
tar -zxvf /root/hadoop-2.7.2.tar.gz
(3)配置Hadoop环境变量
cd hadoop-2.7.2/
pwd //显示hadoop安装路径
vi /etc/profile //按i进入编辑
JAVA_HOME=/export/server/jdk1.8 //已有不用写
HADOOP_HOME=/export/server/hadoop-2.7.2 //HADOOP_HOME=hadoop安装路径
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME HADOOP_HOME PATH
//按Esc退出编辑 shift+wq保存并退出
source /etc/profile //使设置的环境变量生效
（4）检查Hadoop是否安装成功
hadoop version //若成功则会出现hadoop版本号信息
2.搭建伪分布式模式Hadoop
(1)hadoop-env.sh
该文件为Hadoop的运行环境配置文件，Hadoop的运行需要依赖JDK，
将其中的export JAVA_HOME的值改为我们安装JDK的路径
1.到hadoop目录中
cd /export/srever //到hadoop环境安装目录中
cd hadoop-2.7.2/ //到hadoop安装目录中
cd etc/hadoop/ //到hadoop文件配置目录中
分区 Hadoop环境搭建 的第 3 页
cd etc/hadoop/ //到hadoop文件配置目录中
2.修改hadoop-env.sh配置文件
（2）core-site.xml
该文件用于定义系统级别的参数
1.修改core-site.xml配置文件
vi core-site.xml
//不想自己写的同学可以直接复制此代码到<configuration></configuration>中，但请注意填入自己的主机名
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/export/server/hadoop-2.7.2/tmp</value>
</property>
（3）hdfs-site.xml
该文件为HDFS核心配置文件，如：文件副本的个数，块大小及是否使用强制权限等
1.修改hdfs-site.xml配置文件
vi hdfs-site.xml
//不想自己写的同学可以直接复制此代码到<configuration></configuration>中，但请注意填入自己的主机名
<property>
<name>dfs.replication</name>
<value>1</value>
分区 Hadoop环境搭建 的第 4 页
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>主机名:50090</value>
</property>
（4）mapred-site.xml
这个文件本不存在，但有一个模板文件mapred-site.xml.template,
我们将模板文件改名为mapred-site.xml,然后进行编辑
mv mapred-site.xml.template mapred-site.xml //将mapred-site.xml.template改名为mapred-site.xml
vi mapred-site.xml
//不想自己写的同学可以直接复制此代码到<configuration></configuration>中
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
（5）yarn-site.xml
该文件为YARN框架配置文件，配置ResourceManager,nodeManager的通信端口，web监控端口等
1.修改yarn-site.xml配置文件
vi yarn-site.xml
//不想自己写的同学可以直接复制此代码到<configuration></configuration>中
<property>
分区 Hadoop环境搭建 的第 5 页
<property>
<name>yarn.resourcemanager.hostname</name>
<value>ky002</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
4.启动与关闭分布式Hadoop
(1)格式化DFS(Distributed File System)
hdfs namenode -format
如果在格式化的日志中看到succefully format字样，就证明格式化成功。反之，失败。
(2)启动DFS及Yarn
start-dfs.sh
start-yarn.sh
在启动过程中，需要输入几次root账号的密码
(3)关闭DFS及Yarn
stop-dfs.sh
stop-yarn.sh
5.配置SSH免密登入
（1）什么是SSH?
SSH是Secure Shell的缩写，由IETF的网络工作小组所制定。
SSH是建立在应用层和传输基础上的安全协议，专为远程登录会话和其他网络服务提供安全的协议，即
利用SSH协议可以有效防止远程管理过程中的信息泄露问题，目前SSH较可靠。
（2）为什么Hadoop集群需要配置SSH免密登录
1.Hadoop集群之间的交互是不用密码的，如果每次通信都必须输入密码会非常麻烦。
2.Hadoop运行过程中需要管理远程Hadoop守护进程，在Hadoop启动后，
NameNode是通过SSH来无密码登录，启动和停止各个DataNode上的各个守护进程的。
同理，DataNode也能使用SSH无密码登录到NameNode。
3.SSH免密登录是让几台主机（或虚拟机）之间能够相互免密访问，虽然伪分布式模式Hadoop只安装在一台主机上，但
伪分布模拟了多个节点进程运行在这台主机上，所以进程间的访问需要配置SSH免密登录
（3）SSH免密登录原理
|
| Java1234官方群25： | 
|
| Java1234官方群25： | 838462530 |
苏公网安备 32061202001004号
