大家好,我是来自永洪科技的数据分析师刘宇翔。我今天分享的主题是,释放数据价值,人人都是数据分析师。
首先看一下今天的交流内容,共分成4个部分。
第一部分是关于数据分析项目的基础架构。本身我也是接触商业智能BI比较多的,有比较多的项目经验。这里为大家讲一下,在商业化的数据分析和商业智能项目里,像BI的应用、AI人工智能的应用,这样的数据分析需求在不断涌现。
第二部分是数据分析常用工具的介绍,关于比较了解的几个主要的大类。重点会去介绍商业智能BI这一部分。
第三部分是关于BI可视化分析能力。
第四部分是制造业的场景分析。制造业的话也是有比较多的主题,包括生产制造、流程、库存、采购、财务营销等等,今天主要介绍采购的分析。
01数据分析项目基础与架构
随着在信息化、数字化浪潮转型的过程中,不管是企业、政府、个人用户等,都会有比较多的数据分析需求。无论是B端还是C端,这些需求也是有共性的。
首先,有数据平台化的需求。不管是制造类型、能源、交通行业的数据,都可以分为内部和外部两种数据。对于企业内部的IT部门或者业务部门,他们之间的需求和分工发生了很大的变化。
IT部门逐渐从需求的响应方变成了平台化的部门。业务部门从简单的提出需求,到获得报告或可视化报表,逐渐转向为有自主的分析能力。从而逐步推动在企业或用户内部搭建统一的数字化平台,然后为整体的这些同事提供统一服务。
另外在业数一体化方面,通过目前比较先进的、比较敏捷的可视化技术,比如大屏、分析,以及人工智能这样的能力,把数据融到的日常业务当中。
接下来是分析全民化。目前在国内,每年数据分析师的数量增长比较迅速,而且现在随着商业智能的普及,包括像R语言、 Python等分析工具的普及,普通的用户在做业务的时,大家都可以去学习,去掌握这样的技能。
通过数据分析技能,除了日常看报告、看数据之外,对于自己的工作指导也有比较重要的数据意义。另外分析能力,在职场上也能够帮助大家升职加薪,或者提供更多的职业选择。
最后一点, AI的平民化。其实 BI和AI关联性还是比较强的,像BI的商业智能,或其他的分析领域可能比较偏向于统计分析、数理分析或者监控分析。
如果在统计分析已经做得比较好,对于业务的驱动都做得比较好的前提下,用户更进一步的都希望做AI应用。目前众多商业智能的厂商都具有深度分析的模块和能力,他们能够帮助用户在 BI的基础上做更深层次的数据应用。
近年来大环境有些变化,像地产、教育、疫情影响下的旅游、交通等行业都受到了一些影响。实际上不管是传统行业,还是一部分新兴行业,许多行业的业务运营都面临着比较大的压力和挑战。在这种情况下,提高数据化运营的程度,深挖内功也是企业和用户比较强烈的诉求。
在这样的基础上,整个数据分析的思路可以这样梳理。从问题出发,然后数据沉淀,最后是以结果为导向,共分为5个步骤。
首先对于分析来讲,第一步是要分明确分析的问题,需要去界定要分析什么内容,什么指标或者什么维度。然后再将这些分析的内容做拆解,把大的问题拆分成小的问题,接着建立维度指标以及数据的指标体系。
第二步,是去完成数据获取。数据获取有比较多的来源,像企业内部、用户内部有自己的数据源以及业务系统,比如ERP、 CM系统、 OA系统等等都可以提供数据库或数据源。
另外其他系统也有数据采集的能力,通过爬虫、Python获取外部数据的应用,还有线下的Excel表格统计数据,或者手工填报录入到业务系统或商业智能当中的数据源类型。通过构建数据仓库、数据湖等方式获取数据。
第三步,数据的探索和处理。这里是数据治理、数据清洗的内容,获取的数据如果有些问题的话,需要对它进行定义,对逻辑脚本等进行处理。
第四步,关于模型的搭建。从整个的分析逻辑,选择不同的模型,根据分析需求,选择对应的模型搭建完成。之后可视化的展示,这一部分可以依赖于不同的工具。
整个分析流程下来,我们希望创造一些价值,达成相应的收益。分成以下数据驱动业务增长的4种价值实现形式,包括像业务监控、问题诊断、智能预测和决策。
数据的应用分析以及数据挖掘,它都是为人的决策提供支持。像很多企业的基层、中层以及管理层,以往决策更依赖于经验决策、其他判断,或简单的数据决策逻辑。
但随着信息化或者数字化,包括BI的应用能够帮助他们建立科学决策,以及数据决策这样的分析思路。
从浅到深的话,首先是对于业务的核心指标监控。然后对于这些数据要全局打通,不管是生产类的,还是营销类、财务类的,把数据做汇总和整合,从而能够看到公司全域的数据。
基于该基础之上,可以去做问题诊断。比如说看异常数据,然后看当中的原因、明细、数据总体趋势、关联关系,或者运用更深层次的算法,聚类、回归等能力去做数据的挖掘和应用。
智能预测的话,可以结合AI算法,定制模型来为未来的数据做预测。这个准确率也是会依赖算法的训练,包括历史数据等比较多的因素。最终要达到,为多个层次提升决策的效率和准确度。另外还有简化整个决策和思考的过程,从凭经验、凭感觉转变成为看到数据,就可以看到数据所背后所代表的价值和信息。
下面是比较通用的,在数据分析以及BI商业智能项目上所搭建的项目架构。
架构的话是有三个层次,底层的处理层,也就是业务处理层或数据源层;中间的数据中枢层,也叫数据平台、数据汇总层。顶层是数据应用层,也是分析展示的层次。
底层的话,架构是比较清晰的。可以从多种数据源或者多个维度拿到数据,大量数据不管是通过SQL查询还是其他导入的形式,中间入到数据仓库当中进行数据汇总。汇总方面,对于做采集和存储之外,还需要做清理整合。针对不同的分析主题,分成了不同的主题域。在治理层面的话,对数据的原数据,包括质量、主数据、安全,还有数据资产类的具有管理能力。
把这个数据做了打通,汇总和清理之后的话,顶层是可以介入分析的工具或者可视化的平台,然后来做展示。最终输出的结果也是大家比较常见的,有报表类的,也有可视化报告类的,还有动态的、炫酷的大屏类的,这些都是最终的项目成果。其实在底下是有大量的数据工作的。另外像很多项目里,数据底层的处理和清洗汇总会占到更多的时间,去做最终展示的结果、可视化的界面或图形时,反而占的时间会相对少。
02数据分析常用工具
这里列举了大家常用的工具。
Excel是大家比较熟悉的入门级工具。
目前国内的很多分析场景中,Excel占据了比较高的比例。因为它简单易用,还免费,而且功能强大,操作便捷灵活。已经能够帮助满足基础的分析统计,包括数据的简单计算,像函数、可视化的能力等。
SPSS等分析软件,能够通过图形菜单驱动,并且能够去完成比较丰富的数据处理和分析。前些年,SPSS都用得比较多,最近随着报表工具,日报的工具,还有商业智能BI的兴起,目前它使用的场景会更少。
R语言。R和Python两个像兄弟一样是不分家的,这两种语言针对的都是不同的领域。R擅长于计算和作图,Python擅长可视化,包括像人工智能方面。这些都是开源免费的。
R作为编程语言,它的灵活度和能力丰富度是比较高的。不会受制于功能或需求的框架,只要我们有相应的开发能力和语言编程能力,R就能帮助我们完成比较灵活的分析和展示。
Python现在比较火。对于数据分析师来说的话,这几种工具当中 Python可以说是重要性比较靠前的,也是现在比较流行的编程语言和能力。
接着是SQL。SQL和BI是不分家的,关系比较强的。基本上商业智能BI都需要通过SQL的形式去做数据的查询,不管是简单的select,或者 group by等数据增删改查等应用,都需要去掌握SQL的能力。
最后还有商业智能BI。随着近些年的分析需求越发复杂和灵活,而且目前低代码的趋势也是决定了 BI的发展能力。
首先,BI和不同的业务系统里自带的分析模块比起来,它的区别在于:一般商业智能是会做跨平台的统一分析平台,比如说 ERP以及一些财务系统里,也有分析报表和可视化模块,但在多个系统之间的打通比较弱,可能形成数据孤岛或数据烟囱的情况。
像BI的话,是可以去通过数据汇总这样的计算,来拿到全域的数据和信息内容,从而做全局分析,包括像关联分析、联动分析。最后通过低代码拖拉拽的形式,去做可视化图表的开发和制作,这是比较敏捷和快速的。
03BI 工具可视化分析能力
关于可视化分析的能力,首先要看分析场景。如果是在会议或汇报上,想做可视化的效果去了解的业务,或在其他场景下去分析问题,这里就需要这样的工具进行分析。
总的来讲BI可以通过报表、图表、仪表盘,然后结合查询分析的能力,提供数据的预警和挖掘。
对于分析工具来讲的话,像永洪desktop这样的产品,可以连接比较丰富类型的主流的数据库。
另外数据拿到 BI分析工具当中后,可以对它做轻量级的数据处理,包括像SQL的查询、关联、去重转换、抽样排序等,这样的数据处理都可以在前端通过可视化的界面和能力去实现。
总的来讲敏捷BI的核心特色还是说在低代码开发和敏捷自主分析上。不管是说R和Python来讲,用户有一定学习门槛,学语言、逻辑,还有实现形式。对于 BI工具来说,分析过程都是拖拽的过程,可以去选 BI工具里边自带的组件。当中的组件图表都是比较丰富的。数据入到BI当中,可以用常用的分析方法。比如线图、面积图、饼图、点图以及,热力图、漏斗图等。
04制造业场景分析应用
关于制造业场景分析应用,这部分主要介绍了制造业全流程下的数据治理思考。对于制造业用户来讲,可能思考比较多的是利润下降,然后如何去降本增效,统一人财物这样的需求。整个制造业都有比较多的分析的场景,比如采购、生产、库存、销售、品控、售前、售后、财务营销等。
下面的话主要是以采购分析来举例。
其实在做分析之前,首先要分析什么内容。比如说目前是要做采购的分析,然后去分析采购成本、供应商或周转等可以列出来几个主要的分析主题。下面是比较重要的核心指标。对于采购管理来说,金额集中度、供应商、执行率、均价合格率等是比较关心的指标。根据采购金额,可以评估不同的纬度,不同的供应商或者是不同的部门,通过采购金额和成本的比例,可以知道企业的钱花在哪里,哪个地方花的比较多,或者哪个时间段花的比较猛。
第二部分是可以建立完善的供应商的画像。通过不同的分析维度给供应商做整体的评分,包括以下几个核心指标。像评价参数、价格比率、准时交货率、退完成率等综合因素,可以去画出供应商的四象限。根据里边有优质的或可以挽留的,形成重点发展的不同维度供应商,然后针对不同供应商制定不同的采购策略。
第三部,合规分析。对于采购项目和招投标项目,当中都会有合规的风险,或供应商风险的存在。这里的话对于数据做及时,进行全局的监控对于规避供货风险,或规避企业的财务风险,也是有比较重要的意义。
后面最后两部分,对于采购建议和周转分析上。采购建议周转分析的话,对于企业运营来讲,尤其是降本增效是有比较重要的含义的。比如说库存里边是有多少的库存物料,库存物料既要满足生产销售运营的要求。同时,又不能有太高的呆滞库存和呆滞物料,从而能够保持较高的库存周转率,同时有较低的金额占用,资金占用,这对于企业来说是比较重要的问题。需要通过数据分析找到在不同的时间阶段,不同的日期,整个库存安全警戒线,以及库存周转的周转率和周转的天数,还有物料估算它的在途的比例等方面,这些能对整个采购提供比较好的采购建议。