度量驱动改进活动中最大的痛点,就是搜集了一堆数据后,发现无法精确地识别哪些数据是改进信号,哪些数据是可以获取经验的经验信号。对所有数据进行根因分析,又会给团队成员增加负担,使得大家搜集度量数据的热情大打折扣,让度量驱动改进难以为继。
有些团队在进行度量驱动改进时,采用了画“红绿表”的方法。即绿色数据为达标数据,红色数据为未达标数据,如图1所示。是不是要分析每个未达标的红色数据的根因,以便改进?对于已达标的绿色数据,是不是也要做根因分析,得出可以继续保持的经验,以便保持达标?这样看起来每个数据都要做根因分析,工作量是不是太大了?为了节省成本,只挑离目标差距大的红色或绿色数据进行分析,是不是更可行?但离目标差多少,才算差距大呢?
图1 红绿表
红绿表中的数据,没法告诉我,哪些未达标的数据,是应该关注的不可预测信号,应该做根因分析,进行系统性的改进,使得系统重新回到可预测的状态。也没法告诉我,剩下的未达标的数据,是否属于正常波动的数据,无须做根因分析。而对于达标的数据,在识别达标经验的时候,也有类似的问题。
最近读了Mark Graban在2020年出版的Measures of Success一书(参见参考资料1),从中找到了解决上述问题的答案。即可以使用PBC图表来驱动改进。
PBC(Process-Behavior Chart)图表,又名控制图表,或休哈特图表。该图表由现代质量管理奠基者,美国统计学家沃特·阿曼德·休哈特在1920年发明。PBC图表,是统计过程控制(Statistical Process Control, SPC)理论中的一种工具,用于确定制造过程或业务过程是否处于可预测状态。
我们可以用PBC图表,来识别不可预测的信号,进而识别改进点和经验点。
下面首先讨论如何用PBC图表判断不可预测的信号,然后讨论用PBC图表实现度量驱动改进的步骤。
用PBC图表判断不可预测的信号
下面以控制自己体重为例,来说明如何用PBC图表的4个规则,判断不可预测的信号。
图2就是最近两年的体重的PBC图表,按月统计体重。
图2 最近两年的体重的PBC图表
首先说明一下PBC图表所包含的X图表和MR图表。这两个图表通常结对出现,X图表在上,MR图表在下。两个图表的横轴都是一样的。
X图表中的圆点,代表一个个度量数据。中间的绿线,代表所有数据的平均值。上下两条红线,代表上限和下限。X图表中的上下限,是根据SPC统计过程控制理论中的3个标准差计算出来的。
MR(Moving Range)图表上的数据,对应其上方X图表中每两个连续数据点之间差异的绝对值(即总是正数)。即X图表中后一个数据值减去前一个数据值的差的绝对值,就是后一个数据在MR图表上的数据。比如在MR图表中2020年7月的数值0.77,就是X图表中2020年7月的72.48减去6月的71.71而得到的。由于6月之前没有数据,所以MR图表中6月的数据是空。
MR图表中上面的红线,代表上限,这也是基于统计常量3.268计算出来的。
其实不必担心这些计算,Mark Graban提供的excel模版(参见参考资料2),已经包括了这些计算公式。只有在模版中输入数据,就能自动绘制PBC图表。
图2中已经框出了判断不可预测的信号的4个规则的例子。可以对照这些例子,来理解下面判断不可预测的信号的4个规则。其中前三个规则针对X图表,最后一个规则针对MR图表。
- X图表
- 规则1:任何超出上下限的数据点
- 规则2:中心线平均值同一侧连续出现了8个数据点
- 规则3:4个连续数据点中有3个,相对于中心线平均值而言,更接近上限(或下限)
- MR图表
- 规则 4:超出MR上限的任何数据点
根据图2的MR图表,我的体重在2020年10月的时候,就超出了上限,应该引发关注。但在画这张图表时,时间已经过去了1年零8个月,我也一时想不起来体重变得不可预测的根因了。这就说明,应该在当时持续地用PBC图表观察不可预测信号,从而能更容易地发现根因,尽早改进。否则,等时间过了很久再去分析根因,很多事情都淡忘了。
如果时光倒流,回到2020年11月,而且那时的我,也掌握了用PBC图表法识别不可预测信号,那么那个月的PBC图表会如图3所示。从图中能清楚地看出,11月我的体重,已经超出了X图表的上限。再查看一下日历,发现那个月我在杭州出差,由于酒店周围餐馆少,我连续吃了1个月的方便面,而且也没有怎么锻炼身体。或许这就是体重变得不可预测的根因。如果我能将度量的频度加大,每周甚至每天度量体重,那么我就能更早地发现不可预测的信号,即更早地发现改进信号,这样就能更容易地控制体重。
图3 如果能在2020年11月绘制PBC图表
从中我吸取的教训是,如果条件允许,每月度量不如每周度量,每周度量不如每日度量,且边度量,边识别改进信号和经验信号。这样才能及时发现改进时机,尽早改进。
再看一个通过PBC图表,发现经验信号的例子。图4是根据我最近9天的体重绘制的PBC图表。从中能看出,6月16日的数据,要低于X图表的下限74.49,并且竟然达成了我的把体重控制在75公斤的目标。这就是一个能让我获得减轻体重的经验的信号。那是什么原因能让我体重减轻呢?其实是那天我休年假去爬山,走了10多公里,出了很多汗,锻炼的结果。这就说明,锻炼能有效减轻体重。这是一个经过验证的经验,以后可以多采用。另外,从这个PBC图表能够看出,我只需要对6月16日这个符合规则1的不可预测的数据进行根因分析就可以了。其他所有红色的数据,都没有符合不可预测信号的4个规则,只要身体这个系统不发生根本性的变化,这些指标将来都会在平均值上下正常波动,所以不必做根因分析。这样能节省大量时间和精力,避免浪费。而图1那个红绿表,就无法明显地识别后面5个红色的数据,其实不必做根因分析了。从这一点就能看出,PBC图表要优于红绿表。
图4 最近9天的体重的PBC图表
在了解了根据PBC图表,判断不可预测的信号的方法之后,该如何用PBC图表帮助实现度量驱动改进呢?
用PBC图表实现度量驱动改进的步骤
1. 选择行动指标
首先要选择行动指标(actionable)(如网页转化率)进行度量。不要度量虚荣指标(如网页访问量)。选择行动指标,可以参考“被遗漏的度量指标”一文中列出的14个指标。
2. 绘制PBC图表
点击参考资料2中页面的链接,获取excel格式的PBC模版。然后在表中Data一列输入事先准备好的度量数据。数据的个数以20个为最佳。如果没有那么多,那至少准备6个数据。输入完数据,表中的其他数据和右侧的PBC图表,就能自动计算和画出来了。如图5所示。
图5 excel格式的PBC图表
3. 判断指标是否可预测
根据PBC图表,以及上述判定不可预测信号的4个规则,判断指标是否可预测。
从图4最近9天的体重数据能看出,我的体重还是可以预测的。
4. 将系统改进为可预测
若出现了很多不可预测的指标,则可以分析这些不可预测的信号处(包括未达标的改进信号,以及已达标的经验信号)的根因,系统性地改进系统,使得指标变为可预测。
5. 将系统改进为指标符合预期目标的新系统
若可预测的指标不符合预期目标,则再次系统性地改进系统,让旧系统转变为新系统,从而表现出改善后的指标的平均值。这样新系统的数据,就可预测地在符合期望目标的平均值上下正常波动。
比如,我现在可以减少食物摄入量,并增加爬山的频次,系统性地将身体转变为一个新系统,从而让体重的平均值变为75公斤,并在这个目标上下正常波动。
6. 持续改进
持续观察指标已经符合期望目标的新系统的数据,合理提升期望目标,并持续系统性地改进系统。
总结
用红绿表来可视化度量数据,无法精确判断哪些指标值得做根因分析。
用PBC图表可视化度量数据,能清晰地识别系统在当前指标上是否可预测,进而发现哪些指标不可预测,值得做根因分析,以便识别改进信号和经验信号,进行系统性的持续改进。而对于可以预测的上下波动的数据,可以不必做根因分析,从而节省大量时间和精力,避免浪费。
如果条件允许,每月度量不如每周度量,每周度量不如每日度量,且边度量,边识别改进信号和经验信号。这样才能及时发现改进时机,尽早改进。
参考资料
- Measures of Success; August 4, 2018; https://www.measuresofsuccessbook.com/
- 点击页面链接,下载excel版本的PBC图表模版:https://www.measuresofsuccessbook.com/extras/