失效链接处理 |
大数据之Hive官方文档简要翻译(中文文档) PDF 下载
本站整理下载:
相关截图:
主要内容:
默认配置
默认配置设置一个嵌入式元存储,它在单元测试中使用,下一节将对此进行描述。后续章节将介绍更实用的选项。
本地/嵌入式元存储数据库(Derby)
嵌入式metastore数据库主要用于单元测试。一次只能有一个进程连接到metastore数据库,因此它不是一个真正实用的解决方案,但对于单元测试来说效果很好。
对于单元测试,元存储服务器的本地/嵌入式元存储服务器配置与嵌入式数据库一起使用。
Derby是嵌入式元存储的默认数据库。
Config Param
配置参数
Config Value
配置值
Comment
介绍
javax.jdo.option.ConnectionURL jdbc:derby:;databaseName=
../build/test/junit_metastore_db;create=true
Derby database located at hive/trunk/build...
javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Derby embeded JDBC driver class.
Derby嵌入了JDBC车手等级。
hive.metastore.warehouse.dir file://${user.dir}/../build/ql/test/data/warehouse Unit test data goes in here on your local filesystem.
单元测试数据放在本地文件系统中。
如果要将Derby作为网络服务器运行,以便可以从多个节点访问元存储,请参见在服务器模式下使用Derby配置单元。
远程元存储数据库
在这个配置中,您将使用传统的独立RDBMS服务器。对于任何实际使用,建议使用此metastore数据库配置。
Config Param
配置参数
Config Value
配置值
Comment
介绍
javax.jdo.option.ConnectionUserName <user name> user name for connecting to MySQL server
javax.jdo.option.ConnectionURL jdbc:mysql://<host name>/<database name>?createDatabaseIfNotExist=true metadata is stored in a MySQL server
javax.jdo.option.ConnectionPassword <password> password for connecting to MySQL server
javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver MySQL JDBC driver class
本地/嵌入式元存储服务器
在本地/嵌入式元存储设置中,元存储服务器组件就像配置单元客户端中的库一样使用。每个配置单元客户端都将打开到数据库的连接并对其进行SQL查询。确保从执行配置单
元查询的计算机可以访问数据库,因为这是一个本地存储。还要确保JDBC客户机库位于Hive-client的类路径中。此配置通常与HiveServer2一起使用(仅在HiveServer2 add“--
hiveconf”中使用嵌入式元存储配置 “hive.metastore.uris=' ' ”在hiveserver2的命令行参数中启动命令或使用hiveserver2-site.xml(在Hive 0.14中可用)。
Config Param
配置参数
Config Value
配置值
Comment
介绍
hive.metastore.uris not needed because this is local store
hive.metastore.local true this is local store (removed in Hive 0.10, see configuration description section)
这是本地存储(在Hive 0.10中删除,参见配置描述部分)
hive.metastore.warehouse.dir <base hdfs path> Points to default location of non-external Hive tables in HDFS
指向非外部配置单元表在HDFS的默认位置
远程元存储服务器
在远程metastore设置中,所有配置单元客户机都将连接到一个metastore服务器,该服务器依次查询数据存储(本例中为MySQL)以获取元数据。Metastore服务器和客户
端使用Thrift协议进行通信。从配置单元0.5.0开始,可以通过执行以下命令来启动Thrift服务器:hive --service metastore
在低于0.5.0的Hive版本中,需要通过直接执行Java来运行Thrift server:
$JAVA_HOME/bin/java -Xmx1024m -Dlog4j.configuration=file://$HIVE_HOME/conf/hms-log4j.properties -Djava.library.path=$HADOOP_HOME/lib/native/Linux-amd64-64/ -cp
$CLASSPATH org.apache.hadoop.hive.metastore.HiveMetaStore
如果直接执行Java,则必须正确设置Java_HOME、HIVE_HOME、HADOOP_HOME;类路径应包含HADOOP、HIVE(lib和auxlib)和javajar。
服务器配置参数
以下示例使用远程元存储数据库。
Config Param
配置参数
Config Value
配置值
Comment
介绍
javax.jdo.option.Connectio
nURL
jdbc:mysql://<host name>/<database name>?
createDatabaseIfNotExist=true
metadata is stored in a MySQL server
元数据存储在MySQL服务器中
javax.jdo.option.Connectio
nDriverName
com.mysql.jdbc.Driver MySQL JDBC driver class
JDBC驱动程序类
javax.jdo.option.Connectio
nUserName
<user name> user name for connecting to MySQL server
用于连接MySQL服务器的用户名
javax.jdo.option.Connectio
nPassword
<password> password for connecting to MySQL server
连接MySQL服务器的密码
hive.metastore.warehouse.d
ir
<base hdfs path> default location for Hive tables.
Hive表的默认位置。
hive.metastore.thrift.bind
.host
<host_name> Host name to bind the metastore service to. When empty, "localhost" is used. This
configuration is available Hive 4.0.0 onwards.
分区 hive官方文档 的第 3 页
.host configuration is available Hive 4.0.0 onwards.
元存储服务绑定到的主机名。为空时,使用“localhost”。这种配置在Hive 4.0.0之前是可用
的。
从Hive 3.0.0(Hive-16452)起,metastore数据库存储一个GUID,metastore客户端可以使用Thrift API get_metastore_db_uuid查询该GUID,以便标识后端数据库实
例。HiveMetaStoreClient可以使用getMetastoreDbUuid()方法访问此API。
客户端配置参数
Config Param
配置参数
Config Value
配置值
Comment
介绍
hive.metastore.uris thrift://<host_name>:<p
ort>
host and port for the Thrift metastore server. If hive.metastore.thrift.bind.host is specified, host should be
same as that configuration. Read more about this in dynamic service discovery configuration parameters.
Thrift metastore服务器的主机和端口。如果hive.metastore.thrift.bind.host 是指定的,则主机应与该配置相同。请在
“动态服务发现配置参数”中了解有关此方面的详细信息。
hive.metastore.local false Metastore is remote. Note: This is no longer needed as of Hive 0.10. Setting hive.metastore.uri is
sufficient.
元存储(Metastore)是远程的。注意:从Hive 0.10开始不再需要此项。设置hive.metastore.uri 足够了。
hive.metastore.warehou
se.dir
<base hdfs path> Points to default location of non-external Hive tables in HDFS.
指向HDFS中非外部配置单元表的默认位置。
|