需求：爬取豆瓣电影top250（https://movie.douban.com/top250）的电影数据：

1.规则爬虫--scrapy genspider -t crawl Question wz.sun0769.com

1）使用命令创建爬虫腾讯招聘的职位项目：scrapy startproject tencent

问自己一个问题『如果遇见现在的自己，你会喜欢吗？』对自己好一点，投资自己，你可以活成你想象中的任何模样。

Absorb what is useful. Discard what is not. Add what is uniquely your own.

网络抓取框架中使用最多的莫过于是scrapy,然而我们是否考虑过这个框架是否存在漏洞妮？5年前曾经在scrapy中爆出过XXE漏洞，然而这次我们发现的漏洞是一个LPE。...

from urllib import request #导入request模块

Python-Spider作业day01了解爬虫的主要用途了解反爬虫的基本手段理解爬虫的开发思路熟悉使用Chrome的开发者工具使用urllib库获取《糗事百科》前3页数据使用urllib库登录《速学堂》官网爬取https://knewone.com/58同...

> 一个三方的基于redis的分布式爬虫框架，配合scrapy使用，让爬虫具有了分布式爬取的功能。

有的页面的很多部分都是用JS生成的，而对于用scrapy爬虫来说就是一个很大的问题，因为scrapy没有JS engine，所以爬取的都是静态页面，对于JS生成的动态页面都无法获得...