> 经常听别人说 Python 在数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死。后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器—— pandas
前言
本系列上一节说了拆分数据的案例,这次自然是说下怎么合并数据。
> 随着需求复杂度提高,很多时候已经不能用 excel 自带功能实现了,不过 pandas 中许多概念与 excel 不谋而合
案例1
公司的销售系统功能不全,导出数据时只能把各个部门独立一个 Excel 文件,此时你需要对整体数据做分析,最好的方式当然是先把各个文件统一汇总起来:
- 注意看,虽然每个表的标题一样,但是他们的顺序可能出现不一致
这里有3个关键点:
- 如何获得一个文件夹中所有文件的路径
- 加载 Excel 文件数据
- 列标题对齐的情况下,多个数据合并
这次我们需要用到3个包:
- pandas 不用多说
- from pathlib import Path ,用于获取文件夹中文件的路径
- openpyxl 用于读取 Excel 文件所有的工作表
我们来看看如何用 pandas 完成需求:
- Path('案例1').glob('*.xlsx') ,获得指定文件夹(案例1)中的所有 Excel 文件路径
- pd.read_excel(f) ,加载 Excel 数据
- pd.concat(dfs) ,合并多个数据,pandas 自动进行索引对齐
> 关于 pathlib 的知识点,请关注公众号的入门必备系列文章
上面是普通的写法,这场景我倾向于使用推导式:
> 推导式内容,请看 数据大宇宙 > Python入门必备 > 必备知识 > 细讲Python推导式
案例2
有时候,表格中没有必要的信息,如下:
- 这次表格中没有部门列,部门的信息只能在文件名字中获取
- df['部门'] = f.stem ,pandas 中添加一列值是非常容易。f.stem 是不带后缀的文件名字
为什么上面不用推导式呢?因为推导式只适合一行连续调用的写法,当然这里还是可以使用推导式实现的:
- DataFrame.assign(部门=f.stem) 是一个添加列并且返回修改后的数据的方法,特别适合这种场景下使用
> 各种创建或移除行列数据的应用,请留意专栏文章
案例3
实际工作中还有更麻烦的情况,比如一个部门文件中又按性别划分了不同的工作表:
- 也就是说,通过文件名字获得部门名字,通过工作表名字获得性别信息
其实,道理与案例2是一样的,只要知道怎么获取一个 Excel 文件的工作表名字,问题即可迎刃而解:
- openpyxl.load_workbook(f).worksheets ,利用 openpyxl 包,读取文件的所有工作表名字
- .assign(部门=f.stem,性别=wk.title) ,wk.title 即使工作表名字
总结
- pathlib 包中的类 Path 是个处理文件路径的好东西
- Path 的 方法 glob('*.xlsx') ,即可获取一个目录下所有的 Excel 文件
- pd.concat ,合并多个 DataFrame,并且能够自动对齐表头
- 当需要往 DataFrame 添加新列时,可以考虑使用 assign
- openpyxl.load_workbook(f).worksheets ,获取 Excel 文件的工作表对象。其中的 title 属性,即是工作表名字