【Hive入门】Hive性能调优：小文件问题与动态分区合并策略详解

-- 开启小文件合并
SET hive.merge.mapfiles = true;  -- 合并Map-only作业输出的小文件
SET hive.merge.mapredfiles = true;  -- 合并MapReduce作业输出的小文件
SET hive.merge.smallfiles.avgsize = 16000000;  -- 平均文件大小小于该值会触发合并
SET hive.merge.size.per.task = 256000000;  -- 合并后每个文件的目标大小

• 合并为更大的文件：

SET hive.merge.mapfiles=true; 
SET hive.merge.mapredfiles=true; 
SET hive.merge.size.per.task=256000000; 
SET hive.merge.smallfiles.avgsize=16000000;

• 合并为ORC/Parquet的块（针对列式存储）：

SET hive.exec.orc.default.block.size=256000000; 
SET parquet.block.size=256000000;

• 语法

INSERT INTO TABLE employee_partitioned 
PARTITION(dept, country)
SELECT name, salary, dept, country 
FROM employee;

-- 开启动态分区
SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;-- 动态分区优化
SET hive.merge.tezfiles=true;  -- 在Tez引擎上合并文件
SET hive.merge.sparkfiles=true;  -- 在Spark引擎上合并文件
SET hive.exec.insert.into.multilevel.dirs=true;  -- 支持多级目录插入

• 限制最大动态分区数：

SET hive.exec.max.dynamic.partitions=1000; 
SET hive.exec.max.dynamic.partitions.pernode=100;

• 分区裁剪：在查询前过滤不必要分区

SET hive.optimize.dynamic.partition.prune=true;

• 合并层级控制：对于多级分区，可以控制合并粒度

SET hive.merge.level=partition; -- 按分区合并

• ORC格式优化示例：

CREATE TABLE optimized_table (...
) STORED AS ORC
TBLPROPERTIES ("orc.compress"="SNAPPY","orc.create.index"="true","orc.stripe.size"="268435456",  -- 256MB"orc.block.size"="268435456"    -- 256MB
);

• 使用Hive合并命令：

ALTER TABLE table_name CONCATENATE;

• 使用Hadoop Archive(HAR)：

hadoop archive -archiveName data.har -p /user/hive/warehouse/table /user/hive/archive

• 自定义合并脚本：

# 示例
for partition in partitions:if avg_file_size(partition) < threshold:merge_files(partition, target_size)

• 批量插入：减少INSERT操作频率
• 合理设置Reduce数量：

SET mapred.reduce.tasks=适当数量;

• 使用CTAS代替INSERT：

CREATE TABLE new_table AS SELECT * FROM source_table;

• 场景：每日用户行为日志，按dt(日期)、hour(小时)两级分区
• 问题：每小时一个约5MB的小文件
• 解决方案：

-- 建表时指定合并参数
CREATE TABLE user_behavior (user_id string,action string,...
) PARTITIONED BY (dt string, hour string)
STORED AS ORC
TBLPROPERTIES ("orc.compress"="SNAPPY","hive.merge.mapfiles"="true","hive.merge.smallfiles.avgsize"="64000000",  -- 64MB"hive.merge.size.per.task"="256000000"       -- 256MB
);-- 插入数据时控制动态分区
SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;
SET hive.exec.max.dynamic.partitions.pernode=100;INSERT INTO TABLE user_behavior 
PARTITION(dt, hour)
SELECT user_id, action, ..., dt, hour 
FROM raw_log;

• 场景：每日全量同步上游数据库表
• 问题：全表扫描产生大量小文件
• 解决方案：

-- 使用CTAS创建中间表
CREATE TABLE temp_table STORED AS ORC AS
SELECT * FROM source_table;-- 使用DISTRIBUTE BY控制文件分布
SET hive.exec.reducers.bytes.per.reducer=256000000;INSERT OVERWRITE TABLE target_table
SELECT * FROM temp_table
DISTRIBUTE BY FLOOR(RAND()*10);  -- 随机分布到10个Reducer-- 定期合并历史分区
ALTER TABLE target_table PARTITION(dt='20230101') CONCATENATE;

• HDFS命令检查：

hdfs dfs -count -q /user/hive/warehouse/db/table

• Hive元数据查询：

SELECT partition_name, file_count, total_size 
FROM metastore.PARTITIONS p 
JOIN metastore.TBLS t ON p.TBL_ID = t.TBL_ID
WHERE t.TBL_NAME = 'table_name';

• 自定义监控脚本：

# 检查分区文件数量和大小分布
for part in partitions:files = list_files(part)if len(files) > threshold:alert_small_files(part)

-- 通用小文件合并配置
SET hive.merge.mapfiles=true;
SET hive.merge.mapredfiles=true;
SET hive.merge.smallfiles.avgsize=64000000;  -- 64MB
SET hive.merge.size.per.task=256000000;      -- 256MB-- 动态分区优化配置
SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;
SET hive.exec.max.dynamic.partitions=2000;
SET hive.exec.max.dynamic.partitions.pernode=100;-- 存储格式优化
SET hive.exec.orc.default.block.size=268435456;  -- 256MB
SET parquet.block.size=268435456;               -- 256MB