失效链接处理 |
CentOS7 Hadoop 2.7.X 安装部署 PDF 下载
本站整理下载:
提取码:1234
相关截图:
主要内容:
Hadoop 2.7.X 单机伪分布式安装
1.准备软件包(我这里是2.7.7,其余2.7.X也都差不多)
JDK: jdk-8u40-linux-x64.gz
Hadoop:hadoop-2.7.7.tar.gz
2.创建用户Hadoop并上传软件包
1)新建用户
groupadd hadoop
useradd -g hadoop -d /home/hadoop -s /bin/bash -m hadoop
echo hadoop:hadoop|chpasswd
2)新建无密码登陆
mkdir -p .ssh
ssh-keygen -t dsa -f ~/.ssh/id_dsa -P ""
cd .ssh/
cat id_dsa.pub > authorized_keys
设置authorized_keys权限
$ chmod 600 authorized_keys
设置.ssh目录权限
$ chmod 700 -R .ssh
3)上传软件包,这个省略
XXX
3.安装JDK
1)卸载系统自带的open-jdk
[root@hadoop ~]# rpm -qa | grep java
java-1.7.0-openjdk-headless-1.7.0.191-2.6.15.5.el7.x86_64
tzdata-java-2018e-3.el7.noarch
python-javapackages-3.4.1-11.el7.noarch
java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64
java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64
javassist-3.16.1-10.el7.noarch
javamail-1.4.6-8.el7.noarch
java-1.7.0-openjdk-1.7.0.191-2.6.15.5.el7.x86_64
javapackages-tools-3.4.1-11.el7.noarch
[root@hadoop ~]# rpm -e --nodeps java-1.7.0-openjdk-headless java-1.8.0-openjdk-headless java-1.8.0-openjdk java-1.7.0-openjdk
[root@hadoop ~]# rpm -qa | grep java
tzdata-java-2018e-3.el7.noarch
python-javapackages-3.4.1-11.el7.noarch
javassist-3.16.1-10.el7.noarch
javamail-1.4.6-8.el7.noarch
javapackages-tools-3.4.1-11.el7.noarch
[root@hadoop ~]#
2)安装JDK并配置环境变量
tar -zxvf jdk-8u40-linux-x64.gz -C /home/hadoop
#set java environment
export JAVA_HOME=/home/hadoop/jdk1.8.0_40
export JRE_HOME=/home/hadoop/jdk1.8.0_40/jre
export CLASSPATH=.:$JRE_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
4.安装Hadoop
1)解压:tar -zxvf hadoop-2.7.7.tar.gz
2)需要配置文件
创建目录:
TMP DIR:
[hadoop@hadoop ~]$ mkdir -p /home/hadoop/hadoop/tmp
NameNode DIR:
[hadoop@hadoop ~]$ mkdir -p /home/hadoop/hadoop/hdfs/name
DataNode DIR:
[hadoop@hadoop ~]$ mkdir -p /home/hadoop/hadoop/hdfs/data
vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/hadoop/tmp</value>
</property>
</configuration>
|