| 失效链接处理 |
|
hive性能优化 PDF 下载
本站整理下载：
提取码：317g
相关截图：
主要内容：
接下来将详细介绍以上所列的优化方法
打开hive压缩 （中间数据、最终数据）
hive 最终输出结果压缩
hive.exec.compress.output=true
mapreduce.output.fileoutputformat.compress=true(mapreduce参数)
mapreduce.output.fileoutputformat.compress.codec=(可以通过set io.compression.codecs查看支持的压缩格式，选择一个)
mapreduce.output.fileoutputformat.compress.type=BLOCK;
hive中间结果压缩
hive.exec.compress.intermediate=true(压缩格式：mapreduce.output.fileoutputformat* 配置)
hive中间结果map输出压缩
mapreduce.map.output.compress=true
mapreduce.map.output.compress.codec=[所需压缩方式]
数据倾斜
Group by 引起数据倾斜：
hive.groupby.skewindata;
hive.groupby.mapaggr.checkinterval;
Join 引起的数据倾斜 （大表与大表）
hive.optimize.skewjoin
hive.skewjoin.key
Join 引起的数据倾斜（大表和小表）
hive.auto.convert.join
hive.mapjoin.smalltable.filesize
hive.auto.convert.join.noconditionaltask
hive.auto.convert.join.noconditionaltask.siz
|
苏公网安备 32061202001004号
