安装完 scrapy 后，新建一个爬虫的目录，然后在命令行窗口进入该目录，输入以下命令：

http://blog.csdn.net/qqxx6661/article/details/56017386

本爬虫实现按分类爬取豆瓣电影信息，一次爬取一个分类，且自动切换代理池，防止ip在访问过多过频繁后无效。

scrapy是个好东西，它的官方文档写的很详细，很适合入门。链接：http://scrapy-chs.readthedocs.io/zh_CN/1.0/index.html

提示：本文为快速上手文章，有些操作的具体步骤不详细讲，自行百度通用解法，省略的部分我认为你可以自行解决，如果遇到问题，请留言提问

搭建scrapy的开发环境，本文介绍scrapy的常用命令以及工程目录结构分析，本文中也会详细的讲解xpath和css选择器的使用。然后通过scrapy提供的spider完成所有文章的爬取。然后详细讲解item以及item loader方式完成具体字...

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

# -*- coding:utf-8 -*-from scrapy import cmdlinefrom scrapy.cmdline import executeimport sys,time,os#会全部执行爬虫程序os.system('scrapy crawl ccdi')os.system('s...

下载安装 wget “https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb” –no-check-certificate

问题： scrapy-redis框架中，reids存储的xxx:requests已经爬取完毕，但程序仍然一直运行，如何自动停止程序，结束空跑。