「数据ETL」从数据民工到数据白领蜕变之旅(三)-除了Excel催化剂之外PowerQuery新物种同样值得期待

2021-08-19 18:10:20 浏览数 (1)

在自助式BI时代以前,Excel级别的数据ETL工作,非常低效,动不动就要启用VBA来完成一些常见的需求,自带的原生功能,未能满足大量的繁琐数据ETL刚需功能。 在Excel2010后,PowerQuery以插件的形式横空出现,并最终在Excel2016中得以深度内置,是一款非常难得的轻量化数据ETL工具。

微软官方插件与第三方插件待遇不同

在使用第三方插件的过程中,可以弥补一些数据处理的刚需,但因每个插件的定位及用途不一,暂没有发现哪个像Excel催化剂这样专注做一些高阶的应用,同时第三方插件的使用体验,略低于原生的功能(需要安装、发布、分享等环节麻烦,同时界面操作没法做到原生那般地紧密相联)

在PowerQuery方面,其因是官方的插件,就算在Excel2010或Excel2013中使用,无论安装的成功率保障还是和原生功能的内置方面,都比我们第三方插件要强得多,同时也更容易过IT审核的关卡,毕竟是官方的插件,肯定对电脑没什么病毒后门式的顾虑。

PowerQuery一个很深入的集成性在于,其数据加载的过程中,原生地开发其以Excel智能表的形式加载出来,并且以数据连接的方式和源数据和加工过程相连接,所以非常好的体验在于数据源更新后,只需刷新一下结果表即可按原来配置过的逻辑对数据进行更新。

在第三方插件中,这个过程肯定需要重新在界面上重来一遍,所以重复性逻辑数据更新还是压倒性地好于第三方插件。

在Excel催化剂中,对于PowerQuery非常擅长的领域,Excel催化剂就比较少去开发,所以使用Excel催化剂的用户群体,更佳的方式是同时掌握Excel催化剂 PowerQuery,在两者中根据自己不同场景,选择使用哪个工具来完成,而不应该生硬地在两者中取一,通过复杂的操作才能完成可能对方很轻松胜任的任务。

PowerQuery学习之我见

PowerQuery的学习,并非是Excel高级用户的专利,相反,它更适合于初中级用户去接触,因其内核使用了.NET Framework的底层架构,非常多的.NET语言的特性都在PowerQuery中得以实现。相对Excel的高级函数技术及VBA才能处理的方案,在PowerQuery中变得非常简单。

并且在PowerQuery中,非常强调界面化操作,在界面上操作,非常直观于数据的生成可视化展现,易于理解和检查。同时PowerQuery上的操作过程,并详细记录为步骤的模块,并且步骤可以在有先后顺序的多个步骤间来回切换,感受步骤的前后对数据源产生的影响,非常好用。

所以,PowerQuery的使用,更合适于对Excel基础操作有所了解,对函数的计算原理有所掌握的群体来使用学习,可以快速地逆袭过往需要Excel高手级别才能完成的事情。

PowerQuery学习资源

在这两年里,PowerBI技术持续地火热,图书、视频市场已经出现非常丰富的中文习资源了。基本上市面上能够找到的热门的学习资料都值得入手学习。

以下这些是笔者有接触过的或购买过的图书,非常不错,可以系统地用来学习。

第1本,有笔者的推荐语,入门口碑最佳。

同样地学习过程中,需要把握和平衡,使用二八原则的学习方式产出是最大的,例如PowerQuery,尽量学习下界面的操作,再加一些通用性套路玩法即可满足大部分的工作场景,复杂的场景虽然PowerQuery可能也可完成,但可能其他方式的实现成本更低如使用Excel催化剂、SQL、SSIS、VBA等方式。

同样地PowerBI社区的一些公众号、博客文章,也是一个很不错的补充学习,如国内最发烧的施阳大神开辟的博客https://pqfans.com/,和其他公众号、知乎等渠道的PowerBI主题文章里也经常有一些碎片化的学习资料。

同样地,PoweBI社区的免费知识星球【PowerBI朋友圈(P圈)】,里面也汇集了社区内大部分的免费学习资源。

结语

本篇从工具的角度,分析在笔者眼中的PowerQuery的功能特性及价值。是轻量级别的中小型数据ETL场景中非常好用的工具,结合Excel催化剂的功能,实现双方的互补,能够给广大普通Excel用户们带来非常大的生产力提升。

笔者只是引路者,真正扎根学习的话,建议到社区里更专业分享PowerQuery工具的老师那里学习。笔者更愿意给读者们带来笔者最擅长的企业级BI工具的分享,敬请关注后续推文。

笔者未来聚焦在数据领域的分享,不限于Excel,会分享更多Sqlserver、dotNET、Azure、PowerBI等话题,升级数据分析的能力,欢迎继续关注。*

系列文章

从数据民工到数据白领蜕变之旅(一)-工具总览 https://www.jianshu.com/p/2bd3f90206ec 从数据民工到数据白领蜕变之旅(二)-重温Excel催化剂经典 https://www.jianshu.com/p/cb89929bb8ae

0 人点赞