pandas进行数据分析

案例

这里只是展示方法，用到数据只有15行

案例数据

导入模拟数据

代码语言：txt复制

import pandas as pd

代码语言：txt复制

import numpy as np

代码语言：txt复制

data = pd.read_excel('模拟数据.xlsx')

代码语言：txt复制

data.head()

导入模拟数

查看数据行、列

代码语言：txt复制

len(data)    #数据行数

代码语言：txt复制

len(data.columns)    #数据列数

代码语言：txt复制

data.info()     #数据各列详细信息

代码语言：txt复制

data.describe()   #默认，值统计数值型列

代码语言：txt复制

data.describe(include='all')   #所有列

代码语言：txt复制

data.describe(include='object')   #只针对列为字符型

查看数据行、列

查看数据类型

代码语言：txt复制

data.dtypes

查看数据类型

数据筛选

代码语言：txt复制

data[data['性别']=='男']

代码语言：txt复制

data[data['年龄']>=30]

代码语言：txt复制

data[(data['年龄']>=30) & (data['性别']=='男')]   #两个条件 与

代码语言：txt复制

data[(data['年龄']>=30) | (data['性别']=='男')]    #两个条件 或

数据筛选

基于筛选，修改里面的数据

代码语言：txt复制

data.loc[data['姓名']=='张三','性别']='女'   #把张三 性别 修改为：女

代码语言：txt复制

data

修改数据

数据缺失值替换

代码语言：txt复制

data   #性别、年龄  里面各有个缺失值

代码语言：txt复制

int(data['年龄'].mean(skipna=True))

代码语言：txt复制

#年龄的缺失值，用平均值来代替

代码语言：txt复制

data['年龄'].fillna(int(data['年龄'].mean(skipna=True)),inplace=True)   

代码语言：txt复制

data

代码语言：txt复制

data['性别'].fillna('其他',inplace=True)

代码语言：txt复制

data

缺失值替换

添加行

代码语言：txt复制

#方法一

代码语言：txt复制

data.loc[15]=[16,'new',55,'女',350,4,50]

代码语言：txt复制

data

代码语言：txt复制

#方法二

代码语言：txt复制

data_new = pd.DataFrame([[16,'new',55,'女',350,4,50]],columns=data.columns)

代码语言：txt复制

pd.concat([data,data_new],ignore_index=True)

添加行

添加列

添加列相对比较简单，直接赋值即可

代码语言：txt复制

data['new_column_1']=0

代码语言：txt复制

data['new_column_2']='new'

添加列

删除行

代码语言：txt复制

data.loc[15]=[16,'new',55,'女',350,4,50,0,'new']    #先添加一个测试行

代码语言：txt复制

data

代码语言：txt复制

data.drop(index=15,inplace=True)    #删除行

代码语言：txt复制

data

删除行

删除列

代码语言：txt复制

data.drop(columns='new_column_1')    #返回删除后的新数据，原始数据不变

代码语言：txt复制

data.drop(columns=['new_column_1','new_column_2'])   #返回删除后的新数据，原始数据不变

代码语言：txt复制

data.drop(columns=['new_column_1','new_column_2'],inplace=True)   #在原始数据上处理

代码语言：txt复制

data

删除列

数据去重

代码语言：txt复制

data 

代码语言：txt复制

data[['性别','消费频次']]

代码语言：txt复制

data[['性别','消费频次']].drop_duplicates(keep='first')  #保留第1个，一般结合排序使用

代码语言：txt复制

data[['性别','消费频次']].drop_duplicates(keep='last') #保留最后1个，一般结合排序使用

代码语言：txt复制

#根据 性别、消费频次 2列进行去重

代码语言：txt复制

data.drop_duplicates(subset=['性别','消费频次'],keep='first')

数据去重

数据排序

相对Excel方便很多

代码语言：txt复制

data

代码语言：txt复制

data.sort_values(by='消费金额',ascending=True)

代码语言：txt复制

data.sort_values(by='消费金额',ascending=False)

代码语言：txt复制

data.sort_values(by=['消费频次','消费金额'],ascending=[False,True])

数据排序

数据统计

代码语言：txt复制

data

代码语言：txt复制

data['性别'].value_counts()

代码语言：txt复制

data['性别'].value_counts(normalize=True)  #百分比

代码语言：txt复制

data.value_counts(subset='性别')

代码语言：txt复制

data.value_counts(subset=['消费频次'],sort=True,ascending=True)

数据统计

数据透视表

代码语言：txt复制

data

代码语言：txt复制

pd.pivot_table(data,index=['性别'],aggfunc='count')

代码语言：txt复制

pd.pivot_table(data,index=['性别'],values=['姓名'],aggfunc='count')

代码语言：txt复制

pd.pivot_table(data,index=['性别'],

代码语言：txt复制

               columns=['消费频次'],

代码语言：txt复制

               values=['姓名'],

代码语言：txt复制

               aggfunc='count',

代码语言：txt复制

               fill_value=0)

代码语言：txt复制

pd.pivot_table(data,index=['性别'],

代码语言：txt复制

               columns=['消费频次'],

代码语言：txt复制

               values=['姓名'],

代码语言：txt复制

               aggfunc='sum',

代码语言：txt复制

               fill_value=0)

代码语言：txt复制

pd.pivot_table(data,index=['性别'],

代码语言：txt复制

               columns=['消费频次'],

代码语言：txt复制

               values=['消费金额'],

代码语言：txt复制

               aggfunc='sum',

代码语言：txt复制

               fill_value=0)

代码语言：txt复制

pd.pivot_table(data,index=['性别'],

代码语言：txt复制

               columns=['消费频次'],

代码语言：txt复制

               values=['最近一次消费距今间隔天数'],

代码语言：txt复制

               aggfunc='mean',

代码语言：txt复制

               fill_value=0)

数据透视表

sum函数

代码语言：txt复制

data

代码语言：txt复制

data['消费金额'].sum()

sum函数

count函数

代码语言：txt复制

data

代码语言：txt复制

data.count()

代码语言：txt复制

data['姓名'].count()

count函数

if函数

代码语言：txt复制

data

代码语言：txt复制

#方法一

代码语言：txt复制

data['性别_处理']=data['性别'].map(lambda x:1 if x=='男' else 0)

代码语言：txt复制

#方法二

代码语言：txt复制

def gender(x):

代码语言：txt复制

    if x=='男':

代码语言：txt复制

        return 1

代码语言：txt复制

    else:

代码语言：txt复制

        return 0

代码语言：txt复制

data['性别_处理2']=data['性别'].map(gender)

代码语言：txt复制

#方法三

代码语言：txt复制

dict_gender={'男':1,'女':0 ,'其他':0}

代码语言：txt复制

data['性别_处理3']=data['性别'].map(dict_gender)

count excel sum 排序 数据类型

0 人点赞