前几篇文章我们介绍了处理txt文档,格式化数据为我们所用,但是有时客户给的数据不一定是txt格式,这篇文章,我们来介绍下如何处理excel文档,从里面提取我们需要的信息并格式化数据。
我们这次处理的数据是内存厂商提供的SPD信息,是excel格式的,先看下这一次我们要数据。
原始数据:
然后我们想处理为如下的格式来使用,处理后的格式:
我们还是分三个步骤来做
读取原始文件
这次我们使用第三方库pandas来读取文件,pandas是用来做数据分析很重要的库,可以直接读取很多文件类型,比如我们此次要操作的excel文件。
我们使用pandas的read_excel函数去读取文件, 然后使用iloc去提取需要的HEX列。
具体用法如下:
代码语言:javascript复制def read_data_file(file_name, sheet_names, mid_file_name):
import pandas as pd
# 读取工作簿和工作簿中的工作表
data_frame = pd.read_excel(file_name, sheet_name=sheet_names)
df = data_frame.iloc[3:, 5:] # 第三行开始,提取所有HEX列, HEX列是第五列
df.to_csv(mid_file_name, sep='t', index=False) # 把HEX列保存到txt文件
处理数据格式
我们先来比较下原始数据格式与我们想要的数据格式。
我们只需要提取HEX列的数据,然后在每个数据前面加上“0x”,在按8个数据为一行进行分行,并给每行加上序列号。
代码如下:
代码语言:javascript复制def format_data(mid_file_name):
with open(mid_file_name, "r") as fr:
contents = fr.readlines()
for index, value in enumerate(contents):
if index is not 0:
contents = ''.join(["0x", value]).replace("n", '')
with open(output_file, "a") as fw:
if index % 8 == 0:
fw.write(contents ",n//{0}-{1}n".format(index, index 7))
else:
fw.write(contents ", ")
运行主函数
这边我们把前面定义好的功能组合起来,就可以实现了,代码如下:
代码语言:javascript复制import os
import sys
import datetime
if __name__ == "__main__":
file_name = sys.argv[1] # 得到用户输入excel的文件
sheet_names = sys.argv[2] # 得到榕湖输入的要读取excel表格的sheet名字
output_time = datetime.datetime.now().strftime("%Y-%m-%d-%H%M%S") # 获取当时时间并格式化
output_name = os.path.basename(file_name).split(".")[0] # 获取用户输入文件名字
output_file = output_name "_" output_time ".txt" # 输出文件名
mid_file_name = "SPD.txt"
read_data_file(file_name, sheet_names, mid_file_name)
format_data(mid_file_name )
print("Finished, please check file-> " output_file)
这篇文章我们介绍了如何操作excel文件, 有时候SPD信息是以pdf格式给的,所以下篇我们介绍如何操作pdf文件,提取我们要的内容并格式化。