用Python写一个爬取板块资金流程序

大家好，我是才哥。

今天分享一个用Python爬取板块资金流数据的案例

爬取网址为http://data.eastmoney.com/bkzj/hy.html，显示界面如图1所示。下面进行爬取板块资金流数据的操作。

图1 板块资金流网址界面

1，查找JS

直接按F12键，打开开发调试工具并查找数据所对应的网页，如图2所示。

图2 查找JS所对应的网页

然后把网址输入浏览器中，网址比较长。

http://push2.eastmoney.com/api/qt/clist/get?cb=jQuery112309073354919152763_1617455258434&pn=1&pz=500&po=1&np=1&fields=f12,f13,f14%2‍Cf62&fid=f62&fs=m:90+t:2&ut=b2884a393a59ad64002292a3e90d46a5&_=1617455258435

此时，会得到网站的反馈，如图3所示。

图3 从网站获得板块及资金流

该网址对应的内容即是我们想要爬取的内容。

2，request请求及response响应状态

编写爬虫代码，详见如下代码：

代码语言：javascript复制

# coding=utf-8
import requests
url=" http://push2.eastmoney.com/api/qt/clist/get?cb=jQuery112309073354919152763_1617455258436&fid=f62&po=1&pz=50&pn=1&np=1&fltt=2&invt=2&ut=b2884a393a59ad64002292a3e90d46a5&fs=m:90 t:2&fields=f12,f14,f2,f3,f62,f184,f66,f69,f72,f75,f78,f81,f84,f87,f204,f205,f124"
r = requests.get(url)

r.status_code显示200，表示响应状态正常。r.text也有数据，说明爬取资金流数据是成功的，如图4所示。

图4 response响应状态

3，清洗str变成JSON标准格式

（1）分析r.text数据。其内部是标准的JSON格式，只是前面多了一些前缀。将jQ前缀去掉，使用split()函数就能完成这个操作。详见如下代码：

代码语言：javascript复制

r_text=r.text.split("{}".format("jQuery112309073354919152763_1617455258436"))[1]
r_text

运行结果如图5所示。

图5 去掉前缀的运行结果

（2）整理JSON数据。详见如下代码：

代码语言：javascript复制

r_text_qu=r_text.rstrip(';')
r_text_json=json.loads(r_text_qu[1:-1])['data']['diff']
dfcf_code={"f12":"code","f2":"价格","f3":"涨幅","f14":"name","f62":"主净入√","f66":"超净入","f69":"超占比", "f72":"大净入","f75":"大占比","f78":"中净入","f81":"中占比","f84":"小净入","f87":"小占比","f124":"不知道","f184":"主占比√"}
result_=pd.DataFrame(r_text_json).rename(columns=dfcf_code)
result_["主净入√"]=round(result_["主净入√"]/100000000,2)#一亿，保留2位
result_=result_[result_["主净入√"]>0]
result_["超净入"]=round(result_["超净入"]/100000000,2)#一亿，保留2位
result_["大净入"]=round(result_["大净入"]/100000000,2)#一亿，保留2位
result_["中净入"]=round(result_["中净入"]/100000000,2)#一亿，保留2位
result_["小净入"]=round(result_["小净入"]/100000000,2)#一亿，保留2位
result_

运行结果如图6所示。