Hive中Map和Reduce阶段的分工

在Hive查询执行过程中，Map和Reduce阶段有明确的分工，但实际情况要复杂一些。

基本分工原则

1. ​​Map阶段​​：

   • 主要职责是读取输入数据并进行初步处理
   • 输出键值对形式的数据

2. ​​Reduce阶段​​：

   • 接收Map阶段输出的键值对
   • 对相同键的值进行聚合/计算
   • 输出最终结果

实际执行中的复杂情况

1. Map阶段也可以进行计算

在Hive中，Map阶段并非只是简单输出键值对，它也可以进行部分计算：

• ​​Map端聚合（Map-side Aggregation）​​：

  • 当启用hive.map.aggr=true时
  • Map任务会在本地先对相同键的值进行部分聚合
  • 例如对于SELECT city, COUNT(1) FROM tb GROUP BY city：
    • Map任务会维护一个HashMap，对相同city的计数进行本地累加
    • 输出(city, partial_count)而非原始