在研究复杂网络过程中，其中异质网络是一种很普遍的现象。为了获取全面的数据，想着爬取期刊信息数据库，因为里面蕴含了丰富的数据信息，包括论文与论文之间的关系，论文与作者的关系，作者与作者的关系，作者与机构的关系，论文与关...

爬虫是获取网络大数据的重要手段，爬虫是一种非常成熟的技术了，然而想着在spark环境下测试一下效果．

在网络爬虫的实践过程中会遇到诸多挑战，被屏蔽是最令人头疼的一个。幸好，有许多技术可以帮助您免受IP屏蔽带来的影响，这其中，HTTP标头（HTTP Headers）的使用和优化是最有效的方法之一，但它往往也是最被大家低估的方法之一。...

在一堆请求中，我们可以看到有一个xhr的请求，地址如get_more_news_list,那它肯定就是翻页加载数据的Url请求了。 （可点击xhr进行过滤Url请求，xhr即为Ajax类型的请求。）...

前言：自从2014年4月大一开始接触Java，7月开始接触网络爬虫至今已经两年的时间，共抓取非同类型网站150余个，其中包括一些超大型网站，比如百度文库，亚马逊，魔方格，学科网等。也在学长五年经验留下来的代码的基础上，整合成一个小...

大多数情况下，网站都会根据我们的请求头信息来区分你是不是一个爬虫程序，如果一旦识别出这是一个爬虫程序，很容易就会拒绝我们的请求，因此我们需要给我们的爬虫手动添加请求头信息，来模拟浏览器的行为，但是当我们需要大量的...

最好的SEO(==搜索引擎优化==)就是没有SEO.这是我08年系统学习了SEO之后装逼说的话.事实上,就最近几年而言,我已经不太在乎SEO了.

学习过HTTP的小伙伴们应该都知道，我们在进行网站访问时的request请求，通常是需要添加请求头的，否则很多情况下浏览器会认为你是非法请求，从而拒绝你的请求。...

爬虫相信很多小伙伴都做过，大部分都是用的Python。我之前也用Python爬取过12306的数据，有兴趣的可以看看我的这篇文章：

Hi，大家好，大家的五一假期开心吗？最近圈子里的朋友们应该都很开心，毕竟从四月末至今，各种好消息就一直没停过！有人跳槽成功进大厂，开启了年薪 30 个 W 的爬虫工程师生涯，也有人靠 Python 爬虫做兼职，仅仅半个月就赚了 2W！无...