失效链接处理 |
Hive安装与使用 PDF 下载
本站整理下载:
相关截图:
主要内容:
1、完成Hive的安装与配置
2、Hive的相关服务能够正常运行
3、Hive控制台命令能够正常使用
4、表创建、数据查询等数据库操作能够正常运行
5、掌握数据仓库的使用
6、能正常操作数据库、表、数据
1、Linux CentOS7.4_64操作系统
2、选用Hive的2.1.1版本
一、Hive的基本安装
1、上传Hive软件包“Hive-2.1.1.tar.gz到admin用户的家目录的setups目录下,然后进行解压
a.上传软件包到指定目录下
2.创建存放Hive相关的目录,进入该目录,创建Hive的本地零时文件目录“tmp”将软件包进行解压
3.配置Hive相关的环境变量,对配置文件进行修改,添加以下内容
4.使配置文件生效,并查看修改的环境变量是否修改成功
5.进入Hive的配置文件目录将默认的模板问津进行拷贝重命名
6.对配置文件进行修改,找到相关的配置项对其值进行修改
7.在集群中启动zookeeper服务,并启动hadoop服务,在主节点启动Hbase服务。查看相关的进程信息
8.在HDFS中分贝创建Hive的零时文件目录“tmp”,数据存储目录“warehouse”,日志文件目录“Log”并添加目录的用户组写权限
9.对配置文件进行修改,找到name所表示的属性项名称修改七标签
11.使用相关命令启动Mysql集群,创建hive的元数据库,在CLuster-04中创建一个hive数据库。设置访问权限刷新数据库权限信息
12.进入配置文件添加MYSQL连接的相关配置信息
13.将mysql的数据库连接工具包添加到hive的“lib”目录下,添加MTSQL连接的相关配置信息,并对Hive进行初始化
二、Hive工具启动和验证
1.使用hive命令启动hive进入控制台,查看当前数据库列表,功能函数以及函数的详细信息
三、Hive的使用
1、启动相关的服务
1.再集群中所有主机启动Zookeeper服务,并查看状态
2.在主节点启动Hadoop集群
3.在主节点启动Hbase
4.启动sql服务
5.进入Hive控制台,查看当前的数据库列表
2、数据库Hive的使用
1.启动Hive进入控制台,查看当前数据库列表,创建数据库test1
2.创建表,查看创建的表,然后进行删除表和数据库的操作
3.创建数据库test2,test3,并使用数据库
4.创使用HDFS命令查看相关信息,然后进入控制台查看
5.创建数据库test4,准备数据表,在admin用户的家目录下新建sampledata.txt并添加以下内容
6.查看表信息
7.创建分区表,向分区表插入数据,并查看表的信息
8.登录http://192.168.10.111:8088/cluster/apps可以查看job执行状态
9.解析表
10.在用户家目录下分别新建student1.txt;studeng2.txt,student3.txt并写入以下内容;
11.查看相关信息,并将文件放入HDFS文件系统
12.进入Hive并创建数据库test5,使用该数据库
13.创建外部表,查询外部表信息
14.删除HDFS的student1.txt
15.将student1.txt重新放入HDFS input目录下并查看外部表
16.对数据进行HASH运算,放入笔筒文件中,降低热块,提高查询速度,根据sname进行hash运算存入5个桶中
17.在用户家目录下新建users.txt写入内容并查看结果
18.在浏览器查看
19.Hive的数据模型视图-创建视图,创建数据库并使用数据库
a.创建一个测试表
b.创建一个VIEW之前,使用explain命令查看创建的View的命令事如何被Hive解释执行的;
c.实际创建一个View;
e.最后,对VIEW执行一次查询,显示Stage-1阶段对原始表进行了Mapreduce过程
20.在浏览器可以查看到一次视图查询的任务
|