链接：https://pan.baidu.com/s/1mjWYr-dzqXagF9Xa857rQg 

提取码：1mtp 

 

一、实训目的 

通过本课程实训，掌握数据采集、数据存储与管理、数据处理与分析、数据可视化等环节典型软件的安装、使用方法以及基础编程方法。

二、实训内容

实训项目包括：掌握虚拟机的安装配置以及使用、Hadoop的安装伪分布式配置和分布式配置、HBase的安装和基础编程、Linux中的MySQL安装、数据仓库Hive的安装配置、数据采集工具sqoop的安装使用、本地数据集的上传以及使用Hive进行数据分析、Hive和MySQL和HBase之间的数据互导、安装R以及利用R进行数据可视化分析等等。

三、实训步骤 

（一）虚拟机及Linux系统的安装

首先，查看计算机是否支持虚拟化，如果不支持，在开机时进入BIOS系统，点击CUPsetup，把Intel virtualization technology 选项设置为enabled。

①安装Oacle VM VirtualBox软件

②进入VirtualBox软件，创建一个虚拟机、设置虚拟机名称和系统类型、设置虚拟机内存大小、创建虚拟硬盘，最后在虚拟机上安装Linux系统。本实验所用系统为Ubuntu16.4版本，设置时需注意几个注意点：

1：内存大小建议设为3G

2：容量大小建议为30G

3：一定要记得在设置-储存界面选择镜像文件

 

（二）Eclipse的安装及使用

在Ubuntu自带的“软件中心”安装Eclipse

 

（三）Hadoop的安装及伪分布式配置

（1）创建一个Hadoop用户

（2）更新APT安装SSH

1.先更新APT：sudo apt-get update

2.安装SSH：sudo apt-get install openssh-server

     ssh localhost

3.由于登录需要频繁输入密码，为简化操作执行以下命令：

cd ~/.ssh/        # 若没有该目录，请先执行一次ssh localhost

ssh-keygen -t rsa    

cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

 

(2)安装Java环境

1. sudo apt-get install default-jre default-jdk

2.修改配置文件 vim ~/.bashrc

3.在文件最前面加单独一行export JAVA_HOME=/usr/lib/jvm/default-java

 

4. source ~/.bashrc    # 使变量设置生效

5.检验配置是否正确

echo $JAVA_HOME     # 检验变量值

java -version

 

（3）下载2.7.1版本的Hadoop解压并检查Hadoop是否可用

1.sudo tar -zxf ~/下载/hadoop-2.7.1.tar.gz -C /usr/local    

2.cd /usr/local/

3.sudo mv ./hadoop-2.7.1/ ./hadoop      # 将文件夹名改为hadoop

4.sudo chown -R hadoop ./hadoop

5.cd /usr/local/hadoop

6 ./bin/hadoop version

（4）伪分布式模式配置

1.修改配置文件，用vim编辑器打开core.sit.xml和hdfs-site.xml。