链接：https://pan.baidu.com/s/1tBkw2aYW-mFmwCoC4zcTCw 

提取码：frym 

 

1、准备工作：Hadoop安装完成

2、下载Spark和Scala的安装包

3、上传并解压Spark和Scala的安装包

4、 重命名

5、配置Path环境变量，增加spark/bin和scala/bin（三

台都需要）

6、配置

a、cp spark-env.sh.templete spark-env.sh

b、修改spark-env.sh添加如下内容

c、cp slaves.templete slaves

d、修改slaves文件添加

export JAVA_HOME=/home/jdk1.8 export HADOOP_HOME=/home/hadoop export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$SCALA_HOM E/bin:$SPARK_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib:$CLASSPATH export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HIVE_HOME=/home/hive export SCALA_HOME=/home/scala export SPARK_HOME=/home/spark export JAVA_HOME=/home/jdk1.8 export HADOOP_HOOME=/home/hadoop export HADOOP_CONF_DIR=/home/hadoop/etc/hadoop export SCALA_HOME=/home/scala export SPARK_MASTER_HOST=master#（或者 SPARK_MASTER_IP） export SPARK_MASTER_PORT=7077 export SPARK_WORKER_CORES=1#使用几核心CPU export SPARK_WORKER_MEMORY=1G#每核心内存默认1G（或者1500M，必须是整数）

e、将spark、scala文件复制到其他slave服务器

原因：前面的操作只在master服务器上,master运行

f、启动Spark

1、启动Hadoop

2、cd 到 spark/sbin

3、./start-all.sh

g、jps查看：

Master和Worker

6、浏览器输入http://master:8080查看Spark的状态

7、常用端口

master端口：7077

master Web端口：8080

spark-shell 端口：4040

8、打开和关闭

打开Spark：spark-shell（启动集群需要指定master地址）

退出Spark：：quit

slave1 slave2 scp -r /home/spark root@slave1:/home/ scp -r /home/scala root@slave1:/home/ scp -r /home/spark root@slave2:/home/ scp -r /home/scala root@slave2:/home/