Hive窗口函数

2022-05-10 12:54:15 浏览数 (1)

窗口函数

什么是窗口函数?

Hive的窗口函数over( ),可以更加灵活的对一定范围内的数据进行操作和分析。

它和Group By不同,Group By对分组范围内的数据进行聚合统计,得到当前分组的一条结果,而窗口函数则是对每条数据进行处理时,都会展开一个窗口范围,分析后(聚合、筛选)得到一条对应结果。

所以Group By结果数等于分组数,而窗口函数结果数等于数据总数。

如图所示,对省份进行Group By操作,每个省份下会有多条记录,然后对当前省份分组下的薪水做求和操作,得到的是3条结果。

而对相同的数据做窗口操作,则是在对每一条数据进行处理时,展开一个窗口,窗口中除了当前要处理的数据,还包含其它数据部分。这个窗口默认是全部数据,也可以规定窗口长度,如设定窗口与Group By一样,圈定当前省份下的数据。因为对当前数据处理时,可以参考窗口范围内的更多数据,所以在分析上更为灵活。既可以为每条数据增加一列,存放当前省份的薪水总和,也可以计算这条数据在当前省份中的薪水排名。

窗口函数over可以使用partition by、rows between … and …、range between … and …子句进

0 人点赞