Scrapy:重写start_requests方法

2020-12-25 11:33:37 浏览数 (1)

导读

scrapy的start_requests方法重写,添加更多操作。

有时scrapy默认的start_requests无法满足我们的需求,例如分页爬取,那就要对它进行重写,添加更多操作。

代码语言:txt复制
def start_requests(self):

    # 自定义功能

    yield scrapy.Request(url="http://test.com", method="GET", callback=self.parse)


def parse(self, response):
    print(response.url)

0 人点赞