纯技术案例,用Python爬取网络小说,为所欲为拒绝书荒

2019-04-17 17:46:37 浏览数 (1)

作为一个“文化人“的小编,一直也有看网络小说的习惯,最近在网上看到一个技术大牛用Python抓取网络小说,实在难掩羡慕之意,今天小编也来分享一下吧。

先来看一下网站结构:

承接上下章节

创建scrapy项目

其中sixmaospider.py

pipelinesio.py 将内容保存到本地文件

startsixmao.py,直接右键这个运行,项目就开始运行了

rotate_useragent.py 给项目加代理,防止被服务器禁止

最终运行结果:

这个就是一个小的scrapy项目,可能代码有些不完善,但小编相信,读者中不乏高手,一定能自己解决的,毕竟重新敲一遍有点麻烦了。

0 人点赞