正如前系列《有理由爱Sqlserver》所介绍过的,数据分析师可以充分利用Sqlserver的能力让自己的的数据处理、清洗、整合、分发如虎添翼。 在Azure上目前笔者给大家找到的最大的应用场景是将Sqlserver的能力转移到Azure上来,可以轻松享受合规正版、最新版、无需IT支持部署的、外网可访问的云上Sqlserver。 所以此篇有必要带大家对照着Sqlserver的功能,在Azure上分别对应是什么功能模块,给大家一个总览的概念。因个人水平有限,难免有错漏,欢迎指正。
数据分析师关注的Azure SQL部分
Sqlserver的内容非常广大,笔者也不是这方面的专家,所以整个系列的文章必须是在一个狭隘的小范围内讨论。
正如《有理由爱Sqlserver》系列里所提到的,对于Sqlserver,数据分析师关注的点主要集中在数据的导入导出、数据查询、略懂一些权限管理、自动化操作,商业智能BI模块等。此处也带大家对比这些功能,在Azure上找到相关的服务匹配。
Azure的数据库引擎部分
区别于商业智能模块(SSAS、SSIS、SSRS),大部分的应用都在数据库引擎上,即日常的数据导入、导出都会在此实现。
SSMS登录Azure数据库引擎
对应于Azure上的订阅服务是SQL Server(逻辑服务器),如下图中的红框部分,当然黄框也是可以,数据仓库和数据库是一样的,只是性能不一样,收费不一样,对于我们部门级别的数据,SQL Server(逻辑服务器)就足够了,性价比高。
Azure的订阅服务项
Azure的数据库导入导出功能
Azure数据库上,几乎和本地的Sqlserver的T-SQL支持一致,所以在Sqlserver上该有的SQL查询,在Azure上都是正常使用的,除了级个别的OpenQuery、OpenRowset这些行集函数的支持方式有点不同(云数据库没法识别到本地的文件,所以不能像本地Sqlserver那样轻松地访问本地文件)。
导入导出向导也是正常可用的,相应地数据库的服务器名称和身份验证需要更改下。
导入导出向导
Azure的数据库CLR扩展功能
因Azure数据库有不同的等级类型,笔者说的高性价比是单一数据库和弹性池的方式,非常遗憾的是,这种方式是不支持在《有理由爱Sqlserver》中提及的CLR方式扩展Sqlserver的现有功能如正则函数和字符串聚合函数这样刚需功能。
在【托管实例】这种类型里是支持CLR扩展的。
单一数据库不支持CLR扩展
Azure上的数据ETL工具-数据工厂
在Sqlserver本地版上,若需要更复杂的数据ETL工作,可以使用SSIS来完成,在标准版及以上都有提供,但在Azure上,它就变成一种全新的方式,当然也是更进化的方式,处理的数据类型更多,特别是非结构化的数据,可以和Azure的机器学习、认识服务等一起来工作,这一块笔者也还在摸索当中,当下没什么可分享的。
Azure版ETL:数据工厂Data Factory
IT级别的产品就是这样,不断更新换代,SSIS也只能代表过去的数据时代,未来是数据工厂级别的数据ETL,活到老学到老。
Data Factory面向更高级的ETL
Azure上的分析服务
对标Sqlserver的SSAS分析服务,在Azure上是Azure Analysis Service,这是笔者最喜爱的服务,可以让PowerBI的分析模型上云,能够更好地进行数据分发(Excel PowerBI Desktop免费使用),并且在开发阶段也是更为友好,相对PowerBI Desktop的开发更好用,后续在PowerBI系列的推文上会更多介绍。
Azure Analysis Service入口
Azure上的自动化作业
在Sqlserver上,可以使用【代理】完成很多自动化的调度作业,例如每天凌晨去抽取新数据,这样的任务,在Azure上,同样又被分割到其他服务去完成,也类似Data Factory那样是一种新的存在方式,其服务名为:自动化帐户。
通过编写Runbook脚本来完成自动化的调度工作,笔者也在熟悉阶段,还没有什么产出可分享。
自动化帐户实现自动化Azure的作业调度
如果仍然可以在本地有Sqlserver可使用,Azure上的自动化仍然可以使用代理去完成,通过Sqlserver上的作业,亦可以访问Azure数据库对其进行调度,同样地Azure Analysis Service也可以写PowerShell脚本访问或用SSIS来调用相应的任务调度执行。
以上提及的许多新的技术,是指完全撇开本地Sqlserver来完成才需要独立去使用,因版权授权问题,像代理、SSIS这些服务,在Sqlserver Express免费版里是不提供的,所以从根本上合规使用的话,还是需要用这些新的方式。
结语
从Sqlserver过渡到Azure上使用,其实也是非常平滑的,特别是对数据分析师最刚需的数据导入导出,数据分享还有更高级别的使用PowerBI技术在分析服务构建多维数据模型,并在报表层做数据分享等实现上,和Sqlserver几乎是一样。
一样技术可以多种使用场景,无论是本地的简单数据存储还是到有需要考虑数据分发、共享等企业级的需求,都可以让自己的技术无缝对接到位。
Azure提供给数据分析用途上可接受的价格成本,非常值得数据分析师们的关注。欢迎继续关注后续的Azure的一些实操的推文分享。
笔者未来聚焦在数据领域的分享,不限于Excel,会分享更多Sqlserver、dotNET、Azure、PowerBI等话题,升级数据分析的能力,欢迎继续关注。
相关阅读
「Azure」数据分析师有理由爱Azure之一-Azure能带给我们什么?https://www.jianshu.com/p/cc131a8c551c
关于Excel催化剂
Excel催化剂先是一微信公众号的名称,后来顺其名称,正式推出了Excel插件,插件将持续性地更新,更新的周期视本人的时间而定争取一周能够上线一个大功能模块。Excel催化剂插件承诺个人用户永久性免费使用!
Excel催化剂插件使用最新的布署技术,实现一次安装,日后所有更新自动更新完成,无需重复关注更新动态,手动下载安装包重新安装,只需一次安装即可随时保持最新版本!
Excel催化剂插件下载链接:https://pan.baidu.com/s/1Iz2_NZJ8v7C9eqhNjdnP3Q
取名催化剂,因Excel本身的强大,并非所有人能够立马享受到,大部分人还是在被Excel软件所虐的阶段,就是头脑里很清晰想达到的效果,而且高手们也已经实现出来,就是自己怎么弄都弄不出来,或者更糟的是还不知道Excel能够做什么而停留在不断地重复、机械、手工地在做着数据,耗费着无数的青春年华岁月。所以催生了是否可以作为一种媒介,让广大的Excel用户们可以瞬间点燃Excel的爆点,无需苦苦地挣扎地没日没夜的技巧学习、高级复杂函数的烧脑,最终走向了从入门到放弃的道路。
最后Excel功能强大,其实还需树立一个观点,不是所有事情都要交给Excel去完成,也不是所有事情Excel都是十分胜任的,外面的世界仍然是一个广阔的世界,Excel只是其中一枚耀眼的明星,还有其他更多同样精彩强大的技术、工具等。*Excel催化剂也将借力这些其他技术,让Excel能够发挥更强大的爆发!
关于Excel催化剂作者
姓名:李伟坚,从事数据分析工作多年(BI方向),一名同样在路上的学习者。 服务过行业:零售特别是鞋服类的零售行业,电商(淘宝、天猫、京东、唯品会)
技术路线从一名普通用户,通过Excel软件的学习,从此走向数据世界,非科班IT专业人士。 历经重重难关,终于在数据的道路上达到技术平原期,学习众多的知识不再太吃力,同时也形成了自己的一套数据解决方案(数据采集、数据加工清洗、数据多维建模、数据报表展示等)。
擅长技术领域:Excel等Office家族软件、VBA&VSTO的二次开发、Sqlserver数据库技术、Sqlserver的商业智能BI技术、Powerbi技术、云服务器布署技术等等。
2018年开始职业生涯作了重大调整,从原来的正职工作,转为自由职业者,暂无固定收入,暂对前面道路不太明朗,苦重新回到正职工作,对Excel催化剂的运营和开发必定受到很大的影响(正职工作时间内不可能维护也不可能随便把工作时间内的成果公布于外,工作外的时间也十分有限,因已而立之年,家庭责任重大)。
和广大拥护者一同期盼:Excel催化剂一直能运行下去,我所惠及的群体们能够给予支持(多留言鼓励下、转发下朋友圈推荐、小额打赏下和最重点的可以和所在公司及同行推荐推荐,让我的技术可以在贵司发挥价值,实现双赢(初步设想可以数据顾问的方式或一些小型项目开发的方式合作)。