此系列文章收录在公众号中:数据大宇宙 > 数据处理 >E-pd
> 经常听别人说 Python 在数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死。后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器—— pandas
前言
上一节我们重点介绍了针对文本条件的统计方式,这次来把数值相关的讲解一下,并且用一个 Excel 操作思维带你理解 pandas 的运算逻辑。
继续使用泰坦尼克号沉船事件的乘客名单作为例子:
- pclass:船舱等级
- survived:是否生还
- fare:票价
- sex:性别
- home.dest:住址
如果你看过上一节文章,想必应该理解到,在 pandas 中,不管是数值或是文本的条件统计,本质都是构造条件 bool 列,之后的处理是一样的。
废话少说,直接看各种复杂需求!
案例1:简单需求
"30岁以上的人数"
先看看 Excel 函数公式的做法:
- 简单使用 countifs 即可
- 注意,第二个参数使用文本(双引号包围),主要是因为需要使用 大于号。这使得函数公式的语义更好
pandas 中数值条件也很非常容易表达:
- 行1:df.age >30 构造出"年龄大于30"的 bool 列
与 Excel之间的关系
你会发现,其实 pandas 中的运算操作,与 Excel 函数公式的运算是非常相似(数组公式更相似),pandas 的操作就像你在第一行写了一个处理逻辑公式,他就自动为你把逻辑公式复制一整列。
不知道我说啥?看看下面的 Excel 操作演示,来实现"30岁以上的人数":
代码 df.age >30 相当于如下操作:
- pandas 代码, df.age >30 ,构造出条件 bool 列,过程如上
- 在数据旁边新增一列,直接执行 C2 单元格是否大于30,结果是一个 bool 值
- 由于 pandas 代码是直接指定 年龄 列是否大于30,因此相当于自动把 E2 单元格的公式复制下去
此时,代码 df[cond] ,相当于如下操作:
- df[cond] 相当于 df[df.age > 30]
- 相当于在辅助列上做筛选,把 true 值的行筛选出来!
- 所以你会发现,如果只是执行 df[cond] ,得到的是那些年龄大于30的行
如果你熟悉 Excel 的功能,你可能会说:"这不就是智能表格?!"
是的,智能表格更能体现,如下:
- 创建表格
- 在表格旁边输入公式
- 注意此时公式中的引用不是单元格地址,而是直接以列名显示
- 这个地方与 pandas 非常相似,这是因为他们都是在表达,你在操作一个有结构的表格
当你按下回车,公式自动填充:
其他各种需求
当你理解了上面的思路,那么只要你熟悉 pandas 各种构造 bool 列的技巧,各种需求基本难不倒你。
"30岁以上 男女的人数":
一个个写,太麻烦了,直接条件筛选,分组统计:
"男女高于各自性别的平均年龄的人数"
- 有没有发现男性的人数与之前需求的人数很接近?因为刚好男性的平均年龄在30岁左右
当然,还是可以直接分组统计的:
"男女各自年龄最小的人的资料":
- 他们都在 S 港口上船,同是三等舱
- 女生获救了,男生遇难了
"男女各自年龄最大的人的资料":
- 他们都是在 S 港口上船,同是一等舱
- 他们都获救了
- 一等舱可能更靠近甲板,逃生更容易
最后来一个复杂一点的需求。
"看看各个年龄段,男女的生还情况":
- 简单让 pandas 按数据中的年龄,平均划分成4段
- 大概可以看出,男性的生还率低于女性,特别是20到40岁这个年龄段
- 更多针对泰坦尼克号沉船事件数据的详细分析,可以查看 公众号中:数据大宇宙 > 数据分析 > 探索分析 系列文章
关于透视表和数据分段,请查看 pandas 专栏 [带你玩转Python数据处理—pandas] 相关文章
总结