当前位置：首页 > news >正文

【hive】函数集锦：窗口函数、列转行、日期函数

news 2025/6/9 5:17:20

窗口函数

https://www.cnblogs.com/Uni-Hoang/p/17411313.html

<窗口函数> OVER ([PARTITION BY <分组列> [, <分组列>...]][ORDER BY <排序列> [ASC | DESC] [, <排序列> [ASC | DESC]]...][<rows or range clause>])
)

窗口函数主要是三类：

聚合函数，如sum、max、avg、min 等等
排序函数，如row_number、rank、dense_rank
分析函数，如lead、lag、first_value、last_VALUE

窗口边界的使用详解

preceding	往前following	往后current row	当前行unbounded	起点unbounded preceding	从前面的起点unbounded following	到后面的终点

如果不指定 PARTITION BY，则不对数据进行分区，换句话说，所有数据看作同一个分区；
如果不指定 ORDER BY，则不对各分区做排序，通常用于那些顺序无关的窗口函数，例如 SUM()
如果不指定窗口子句，则默认采用以下的窗口定义：

a、若不指定 ORDER BY，默认使用分区内所有行 ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING.

b、若指定了 ORDER BY，默认使用分区内第一行到当前值 ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW.

explode()函数和posexplode()函数

explode就是将hive一行中复杂的array或者map结构拆分成多行
posexplode 特点是不仅炸裂出数值，还附带索引，实现多列进行多行转换；

hive>with temp  as( select 'a,b,c,d' as examp_data1,'2:00,3:00,4:00,5:00' as examp_data2)select
data1
,data2
from temp
lateral view explode(split(examp_data1,',')) view1 as data1
lateral view explode(split(examp_data2,',')) view1 as data2
data1,data2
a,2:00
a,3:00
a,4:00
a,5:00
b,2:00
b,3:00
b,4:00
b,5:00
c,2:00
c,3:00
c,4:00
c,5:00
d,2:00
d,3:00
d,4:00
d,5:00

with temp  as( select 'a,b,c,d' as examp_data1,'2:00,3:00,4:00,5:00' as examp_data2)select
data1
,data2
from temp
lateral view posexplode(split(examp_data1,',')) view1 as index1,data1
lateral view posexplode(split(examp_data2,',')) view1 as index2,data2
where index1=index2
data1,data2
a,2:00
b,3:00
c,4:00
d,5:00