54万行1000组随机数据分类增加汇总项,只要6秒!删除一个步骤速度翻倍!

2021-08-31 11:34:01 浏览数 (1)

- 问题 -

这个问题来自于群里,实际数据量没有这么大,但为了测试PQ的适应性,我直接生成了50多万行大约1000组的随机数据,按组分类后给每个组增加汇总项,这在Excel中用分类汇总功能卡出翔(有兴趣的朋友可以试试)……PQ里会怎样?

- 方法 -

1、将数据接入PQ后,直接分组:

2、通过修改分组公式中的所有行内容加入汇总行:

3、最后对分组内容展开即可:

- 效果 -

第一次上载稍慢,后续刷新仅需约6秒(显示数据加载完毕时间,如果含数据最后在EXCEL中显示的时间约12秒)。

然鹅,这效率还不是最高的,还有优化空间,继续看!

- 惊喜 -

上面简单实现后,觉得效率还能接受,于是就将解答文件上传至群里,不曾想,群里大佬太多了!直接跟我说:删除“更改的类型”步骤,效率翻倍!

回头一想,的确,我忽略这个将数据接入PQ时自动生成的步骤了!在这个问题上可以不要(当然,实际工作中通常都应该做好类型的转换,尤其在数据需要加载到PP里进行数据建模时,更应该把具体的类型准确调整好。),删除后,效率进一步提升:

总的来说,PQ里的分组功能在处理大量数据时,效率是非常高的,所以,我在以前的多个文章里提到,有很多数据筛选、分类比较、统计等需求,均可以通过分组功能得到较好的效率改善——这一点大家一定要善加利用。

0 人点赞