失效链接处理 |
hadoop与spark环境搭建 PDF 下载
本站整理下载:
提取码:kv5d
相关截图:
主要内容:
单机版的Spark可以满足对Spark的应用程序测试工作,对于初学者而言是非常有益的。安装单机版
Spark环境步骤如下。
1上传Spark安装包到software下
使用xftp工具进行上传
2 用oracle用户来登录xshell
修改Spark安装包-用sudo命令
第一次sudo时:
3 设置java_home
4 Spark的目录结构
We trust you have received the usual lecture from the local System Administrator. It usually boils down to these three things: #1) Respect the privacy of others. #2) Think before you type. #3) With great power comes great responsibility. [sudo] password for oracle: #解压Saprk sudo chown oracle:oracle spark-2.1.1-bin-hadoop2.7.tgz tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/modules/ #解压Java sudo chown oracle:oracle jdk-8u144-linux-x64.tar.gz tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/modules/ vim /etc/profile #JAVA_HOME export JAVA_HOME=/opt/modules/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin #使JAVA_HOME生效 source /etc/profile drwxr-xr-x. 2 oracle oracle 4096 4月 26 2017 bin drwxr-xr-x. 2 oracle oracle 4096 4月 26 2017 conf drwxr-xr-x. 5 oracle oracle 4096 4月 26 2017 data drwxr-xr-x. 4 oracle oracle 4096 4月 26 2017 examples
5运行Saprk案例
drwxr-xr-x. 2 oracle oracle 12288 4月 26 2017 jars -rw-r--r--. 1 oracle oracle 17811 4月 26 2017 LICENSE drwxr-xr-x. 2 oracle oracle 4096 4月 26 2017 licenses -rw-r--r--. 1 oracle oracle 24645 4月 26 2017 NOTICE drwxr-xr-x. 8 oracle oracle 4096 4月 26 2017 python drwxr-xr-x. 3 oracle oracle 4096 4月 26 2017 R -rw-r--r--. 1 oracle oracle 3817 4月 26 2017 README.md -rw-r--r--. 1 oracle oracle 128 4月 26 2017 RELEASE drwxr-xr-x. 2 oracle oracle 4096 4月 26 2017 sbin drwxr-xr-x. 2 oracle oracle 4096 4月 26 2017 yarn ./run-example SparkPi 2 #注意:找到Saprk命令的位置 其中2表示并行度 第一次执行结果 Pi is roughly 3.1415757078785393 第二次执行结果 Pi is roughly 3.146655733278666
|