中国期刊数据库元数据信息的多线程爬取

2022-05-07 14:24:41 浏览数 (1)

[注:本文所做实验只是用来进行学术研究,未进行任何商业操作。]

在研究复杂网络过程中,其中异质网络是一种很普遍的现象。为了获取全面的数据,想着爬取期刊信息数据库,因为里面蕴含了丰富的数据信息,包括论文与论文之间的关系,论文与作者的关系,作者与作者的关系,作者与机构的关系,论文与关键字的关系。

从这里面可以进行各种关系的挖掘和推理。

然而要想爬这个数据,其实上受限制很大,最主要的问题是各个大网站基本上都设了反爬虫的东西,会监测你的IP刷新是否频繁,会监测你是否遍历各种网址。里面操作非常复杂。

好在终于找到一个网站,开始进行下载。

由于爬虫目前的限制特别大,因此只是进行了测试。当前要找到不受限制的网站非常少。在这种情况下,就需要分析各种网站的限制策略,再对应进行爬取了。

0 人点赞