Python替代Excel Vba"系列（四）：课程表分析与动态可视化图表

2021-09-01 15:24:57 浏览数 (1)

系列文章

  1. "替代Excel Vba"系列（一）：用Python的pandas快速汇总
  2. "Python替代Excel Vba"系列（二）：pandas分组统计与操作Excel
  3. "Python替代Excel Vba"系列（三）：pandas处理不规范数据

前言

前一节我们已经成功把一份教师课程表整理成规范的形式，本节我们就看一下怎么利用这份数据得到一些信息。并且尽可能让每个部分都有可视化输出。

本文要点：

  • 使用 pandas 快速按需求做汇总整理。

注意：虽然本文是"Python替代Excel Vba"系列，但希望各位读者明白，工具都是各有所长，选择适合的工具，才是最好的。

案例

这次的数据是基于上一节已整理的教师课程表。如下图：

  • 表中的一行表示 某一天的某课时是哪位教师负责的哪门科目。
  • 这里的名字按照原有数据做了脱敏(teach 列)。

本文所用到的 pandas 技巧都在之前的章节已有详细介绍，因此本文只对重点细节做讲解

设定问题

本文的目标问题如下：

  • 科目的分配情况如何？
  • 教师的课时分配如何？

导入包

本文所需的包，安装命令如下:

代码语言：javascript复制
pip install pandas
pip install numpy
pip install pyecharts

建议你安装 anaconda ，那么最难安装的 pandas 和 numpy 都不会是问题。

脚本中导入

  • 本文使用 pyecharts 做可视化输出

加载数据

代码如下：

  • 这次直接从 csv 文件读取即可。

主科目占比

要看主科目占比，那么首先根据科目划分主次科目。如下：

  • df['sj'].apply(lambda x: '语数英' if x in cond else '其他') ，根据科目列，划分为"语数英"或"其他"
  • 把划分结果添加的新列 sj_class 。

现在数据如下:

现在可以看看主科目的数量。我们把汇总问题的主键列出，利用 pandas 的 groupby 方法即可快速做汇总。 如下:

  • df.groupby(['sj_class']) ，按 sj_class 分组。
  • .size() ，即可求得每组的个数。这里使用 count 也可以，但你会注意到使用 count ，pandas 会把所有列都进行计数。并且 count 会忽略 nan ，而 size 则不会。
  • .reset_index() ，调用 groupby 后，分组的 sj_class 会作为 index ，因此这里只是把 sj_class 重新设置为列。

来看看实际占比吧。

上述2次汇总其实是可以定义为一个通用的方法。这里是为了方便解析因此复制了2段差不多的代码

按班级看科目占比

只是看整体的占比情况不太可以了解数据。我们试试再深入一些维度去看看数据。 看看每个级别的主科目占比情况。如下:

  • 这次我们的汇总主键是 级别和主科目。
  • 可以看到其实与之前的流程基本一致，只是在分组时加上了 grade 字段。

看看图表吧:

  • 可以看到五年级的语数英课时占比最大(为什么不是六年级的主科目占比最大？)。
  • 七、八年级语数英没有其他科目占比大(初一初二语数英课时减少了？)。

教师分配情况

来个复杂一点的需求，看教师分配情况，我们设定如下要求:

  • 每位教师的上下午课时数量，并且按课时数量排序。
  • 每位教师每天的上下午课时数量，并且按课时数量排序。

首先,每位教师的上下午课时数量。主键是 教师和上下午。 代码如下:

  • 分组汇总与之前的一致。只是主键不同而已。
  • res.groupby('teach')['value'].transform('sum') ，求出每位教师的总课时
  • res['total'].rank(ascending=False) ，做一个排名。

这里重点说一下这段代码:

  • 这里为了做图表，需要确保每位教师都有上午和下午2行数据。但实际数据中有些教师只有半天的课(如下图的教师 n56)。
  • .set_index(['teach','apm']) ，先让 teach 和 apm 做行索引。
  • 此时 apm 行索引中都有上午和下午的值。
  • .unstack() ，把 apm 从行索引移到列索引。那么就会有 上午列 和 下午列。
  • 注意此时，如果一位教师只有下午的课，那么此列他的值就为 nan。
  • .stack(dropna=False) ，把 apm 从列索引移回去行索引，dropna=False ，让其保留 nan 的值。
  • 此时即可确保所有的教师都有上下午2行数据。

直接看可视化吧：

  • 上图可以看出来，n4 这教师是最多课时(20课时)
  • 大部分的教师都是上午比下午课时多(这很可能是因为本来下午的课时就比上午少啊)- 有4位教师只有下午有课。

再看看每天分别是哪位教师比较忙的。

  • n4 这位教师星期二下午就完全没有课时。

上述2次汇总其实是可以定义为一个通用的方法。这里是为了方便解析因此复制了2段差不多的代码

最后

本文重点

  • 从分析问题出提取主键，使用 groupby 即可快速得到数据。
  • 灵活运用 stack 与 unstack ，可以快速做一些数据增补。

[源码地址](https://github.com/CrystalWindSnake/Creative/tree/master/python/excel_pandas/4)

请关注本号，后续会有更多相关教程。

vba python 编程算法

0 人点赞