窗口函数
什么是窗口函数?
Hive的窗口函数over( ),可以更加灵活的对一定范围内的数据进行操作和分析。
它和Group By不同,Group By对分组范围内的数据进行聚合统计,得到当前分组的一条结果,而窗口函数则是对每条数据进行处理时,都会展开一个窗口范围,分析后(聚合、筛选)得到一条对应结果。
所以Group By结果数等于分组数,而窗口函数结果数等于数据总数。
如图所示,对省份进行Group By操作,每个省份下会有多条记录,然后对当前省份分组下的薪水做求和操作,得到的是3条结果。
而对相同的数据做窗口操作,则是在对每一条数据进行处理时,展开一个窗口,窗口中除了当前要处理的数据,还包含其它数据部分。这个窗口默认是全部数据,也可以规定窗口长度,如设定窗口与Group By一样,圈定当前省份下的数据。因为对当前数据处理时,可以参考窗口范围内的更多数据,所以在分析上更为灵活。既可以为每条数据增加一列,存放当前省份的薪水总和,也可以计算这条数据在当前省份中的薪水排名。
窗口函数over可以使用partition by、rows between … and …、range between … and …子句进