作为一个“文化人“的小编,一直也有看网络小说的习惯,最近在网上看到一个技术大牛用Python抓取网络小说,实在难掩羡慕之意,今天小编也来分享一下吧。
先来看一下网站结构:
承接上下章节
创建scrapy项目
其中sixmaospider.py
pipelinesio.py 将内容保存到本地文件
startsixmao.py,直接右键这个运行,项目就开始运行了
rotate_useragent.py 给项目加代理,防止被服务器禁止
最终运行结果:
这个就是一个小的scrapy项目,可能代码有些不完善,但小编相信,读者中不乏高手,一定能自己解决的,毕竟重新敲一遍有点麻烦了。