数据清洗(通过索引选择数据)
1.索引设置
我们在使用pandas读取文件数据时,可以设定初始的索引。 这里我用之前 爬取过的 拉勾网产品经理岗位数据进行演示如下:
读取数据时指定索引
1.1.reindex
reindex方法可以重新进行索引排序,如果某个索引值之前不存在则会引入缺失值。
reindex重新进行索引排序
1.2.set_index
set_index就是将某列设置为索引
set_index设置索引列
1.3.reset_index
reset_index就是重置索引(变为默认的索引 0到len()-1),比如可以把上面set_index设置的索引取消,,经常用在对数据进行处理(分组或透视处理)后
reset_index重置索引
1.4.rename
rename可以将行列索引标签名进行替换,用字典的形式
在这里插入图片描述
2.索引选择
2.1. iloc 整数标签
df数据
2.1.1. 行索引
行索引
2.1.2. 列索引
列索引
2.1.3. 混合索引
混合索引
2.2. loc 轴标签
2.2.1.行索引
行索引
2.2.2.列索引
列索引
2.2.3.混合索引
混合索引
2.2.4.函数式索引
函数式索引
2.3. []操作符方法
df[val]主要是选取某列或某些列序列,当然我们也可以通过切片形式选取行(这里是整数索引切片形式)
2.3.1.行索引
行索引
2.3.2.列索引
列索引
2.3.3.混合索引与函数式索引
混合索引与函数式索引
2.3.4.布尔索引
布尔索引可以理解为条件判断,根据条件判断选择满足的数据,是我们在数据清洗中最常见的手段之一。 布尔符号:'&','|','~':分别代表和and,或or,取反not 单条件、且与或
布尔索引 取反、contains与isin
布尔索引
3.删除重复数据
duplicated方法 返回 是否重复的布尔列表
查看原始数据重复值情况drop_duplicates方法删除重复数据,保留一条(可选第一条或最后一条) keep = 'last' 保留最后一条 keep = 'first' 保留第一条
删除重复值
4.思考题
采取至少2种以上获取偶数行的方式