> 经常听别人说 Python 在数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死。后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器—— pandas
前言
有时候我们需要对比两份数据有哪些不同值,在 Excel 中虽然没有实现对比功能,但通过公式也可以简单完成。不过你可能没想到的是,在 pandas 中实现对比功能,与 Excel 有异曲同工之处。
案例1
你千辛万苦整理了一份数据表,发给了同事,几小时后,同事在表格中修改了某些单元格的值,然后扔下一句话:麻烦你看看修改的对不对?
- - 此时你很想问一句:可以告诉我哪些修改了?
Excel 中,我们可以简单写一个等号,把两个表的值都对比一下:
虽然上述方式操作简单,但是你每次编写公式范围都要靠"手感"。现在看看 pandas 中怎么实现:
- - pandas 中的原理其实与 Excel 操作是一样的,不过我们只需要写一次"双等号",pandas 会自动让2个表的每个值做对比
案例2
你会埋怨说,上面给我一堆 bool 值,有啥用?!你当然希望看看那些被修改的值。上面代码简单修改即可:
- - cond = df_mdf != df_src , 这次我们把判断条件写成"!=",是"不等于"的意思
- - df_mdf[cond] ,紧接着只要把那些"不等于"的结果放入"修改表",即可显示那些被修改的值
案例3
你的同事喜欢给你"开玩笑",这次他发过来的数据表,不小心把人名的顺序给打乱了:
- - 现在修改后的表格数据,是按销量降序排列
这次我们不能直接根据位置判断,不过只需要简单调整即可:
- - 关键1(红线部分),加载数据时,把第一列作为行索引
- - 关键2(蓝线部分),让"乱序表"按"原始表"的索引重置一下
- - 其他部分不变
> 实际上,pandas 中的判断是根据行列索引自动对齐
案例4
有时候,同事不会给你完整的数据表,他只提供修改的记录:
这次你不再需要关心哪些被修改了,而是怎么把修改后的结果更新到"原始表"。
pandas 当然不会让你失望:
- - 关键在最后一行,DataFrame.update() ,按传入的 DataFrame 作为标准,更新原始表
- - 时刻谨记,一切按行列索引自动对齐
> 你会发现,即使是非常复杂的表头,也能完成这些操作,因为 DataFrame 可以包含各种多层行列索引。因此,这案例中的列顺序有变化,同样可以完成操作
总结
- - 注意 DataFrame 的行列索引,所有操作都自带索引对齐功能
- - DataFrame.update ,能以另一个 DataFrame 为基准,做更新操作