Python中的数据处理利器

2022-09-20 16:25:00 浏览数 (1)

01

思考

1.Pandas是什么?

  • 功能极其强大的数据分析库
  • 可以高效地操作各种数据集
  • csv格式的文件
  • Excel文件
  • HTML文件
  • XML格式的文件
  • JSON格式的文件
  • 数据库操作

2.经典面试题

通过面试题引出主题,读者可以思考,如果你遇到这题,该如何解答呢?

02使用pandas来操作Excel文件

1.安装

代码语言:javascript复制
a.通过Pypi来安装pip install pandas
b.通过源码来安装git clone git://github.com/pydata/pandas.gitcd pandaspython setup.py install

2.按列读取数据

案例中的 lemon_cases.xlsx 文件内容如下所示:

代码语言:javascript复制
import pandas as pd
# 读excel文件# 返回一个DataFrame对象,多维数据结构df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')print(df)
# 1.读取一列数据# df["title"] 返回一个Series对象,记录title这列的数据print(df["title"])
# Series对象能转化为任何序列类型和dict字典类型print(list(df['title']))    # 转化为列表# title为DataFrame对象的属性print(list(df.title))    # 转化为列表print(tuple(df['title']))   # 转化为元组print(dict(df['title']))    # 转化为字典,key为数字索引
# 2.读取某一个单元格数据# 不包括表头,指定列名和行索引print(df['title'][0])   # title列,不包括表头的第一个单元格
# 3.读取多列数据print(df[["title", "actual"]])

3.按行读取数据

代码语言:javascript复制
import pandas as pd
# 读excel文件df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')   # 返回一个DataFrame对象,多维数据结构print(df)
# 1.读取一行数据# 不包括表头,第一个索引值为0# 获取第一行数据,可以将其转化为list、tuple、dictprint(list(df.iloc[0]))  # 转成列表print(tuple(df.iloc[0]))  # 转成元组print(dict(df.iloc[0]))  # 转成字典print(dict(df.iloc[-1]))  # 也支持负索引
# 2.读取某一个单元格数据# 不包括表头,指定行索引和列索引(或者列名)print(df.iloc[0]["l_data"])   # 指定行索引和列名print(df.iloc[0][2])    # 指定行索引和列索引
# 3.读取多行数据print(df.iloc[0:3])

4.iloc和loc方法

代码语言:javascript复制
import pandas as pd
# 读excel文件df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')   # 返回一个DataFrame对象,多维数据结构print(df)
# 1.iloc方法# iloc使用数字索引来读取行和列# 也可以使用iloc方法读取某一列print(df.iloc[:, 0])print(df.iloc[:, 1])print(df.iloc[:, -1])
# 读取多列print(df.iloc[:, 0:3])
# 读取多行多列print(df.iloc[2:4, 1:4])print(df.iloc[[1, 3], [2, 4]])
# 2.loc方法# loc方法,基于标签名或者索引名来选择print(df.loc[1:2, "title"])             # 多行一列print(df.loc[1:2, "title":"r_data"])    # 多列多行
# 基于布尔类型来选择print(df["r_data"] > 5)  # 某一列中大于5的数值为True,否则为Falseprint(df.loc[df["r_data"] > 5])  # 把r_data列中大于5,所在的行选择出来print(df.loc[df["r_data"] > 5, "r_data":"actual"])  # 把r_data到actual列选择出来

5.读取所有数据

代码语言:javascript复制
import pandas as pd
# 读excel文件df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')   # 返回一个DataFrame对象,多维数据结构print(df)
# 读取的数据为嵌套列表的列表类型,此方法不推荐使用print(df.values)
# 嵌套字典的列表datas_list = []for r_index in df.index:    datas_list.append(df.iloc[r_index].to_dict())
print(datas_list)

6.写入数据

代码语言:javascript复制
import pandas as pd
# 读excel文件df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')   # 返回一个DataFrame对象,多维数据结构print(df)
df['result'][0] = 1000print(df)with pd.ExcelWriter('lemon_cases_new.xlsx') as writer:    df.to_excel(writer, sheet_name="New", index=False)

03

使用pandas来操作csv文件

1.读取csv文件

案例中的 data.log 文件内容如下所示:

代码语言:javascript复制
TestID,TestTime,Success0,149,01,69,02,45,03,18,14,18,1import pandas as pd
# 读取csv文件# 方法一,使用read_csv读取,列与列之间默认以逗号分隔(推荐方法)# a.第一行为列名信息csvframe = pd.read_csv('data.log')
# b.第一行没有列名信息,直接为数据csvframe = pd.read_csv('data.log', header=None)
# c.第一行没有列名信息,直接为数据,也可以指定列名csvframe = pd.read_csv('data.log', header=None, names=["Col1", "Col2", "Col3"])
# 方法二,read_table,需要指定列与列之间分隔符为逗号csvframe = pd.read_table('data.log', sep=",")

2.解答面试题

代码语言:javascript复制
import pandas as pd
# 1.读取csv文件csvframe = pd.read_csv('data.log')
# 2.选择Success为0的行new_csvframe = csvframe.loc[csvframe["Success"] == 0]result_csvframe = new_csvframe["TestTime"]avg_result = round(sum(result_csvframe)/len(result_csvframe), 2)print("TestTime最小值为:{}nTestTime最大值为:{}nTestTime平均值为:{}".
format(min(result_csvframe), max(result_csvframe), avg_result))

04总结

在数据分析、数据可视化领域,Pandas的应用极其广泛;在大规模数据、多种类数据处理上效率非常高。

在软件测试领域也有应用,但如果仅仅用excel来存放测试数据,使用Pandas就有点 “杀鸡焉用宰牛刀” 的感觉,那么建议使用特定的模块来处理(比如 openpyxl )

0 人点赞