作者：** 链接：https://www.zhihu.com/question/46778996/answer/125431381
著作权归作者所有，转载请联系作者获得授权。
#############原理分析的分界线###################
指某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据（通常经过加密）由网络服务器发送出来以存储在网络浏览器上，从而下次这位独一无二的访客又回到该网络服务器时，可从该浏览器读回此信息。这是很有用的，让浏览器记住这位访客的特定信息，如上次访问的位置、花费的时间或用户首选项（如样式表）。Cookie 是个存储在浏览器目录的文本文件，当浏览器运行时，存储在 RAM 中。一旦你从该网站或网络服务器退出，Cookie 也可存储在计算机的硬驱上。当访客结束其浏览器对话时，即终止的所有 Cookie。
Cookies最典型的应用是判定注册用户是否已经登录网站，用户可能会得到提示，是否在下一次进入此网站时保留用户信息以便简化登录手续，这些都是Cookies的功用
因此：你的第一个问题是可以解答了，任何时候都有cookie，不过你在登录之后获取到的cookie则会是保留你登录状态的cookie。
###################各种爬虫代码的分界线###################
1：scrapy：在spider中把你新的请求加一个参数
代码语言：javascript复制class SanzhaSpider(Spider):
name = "douban"
allowed_domains = ["http://www.douban.com"]
def start_requests(self):
yield Request(response.url,cookies={‘viewed‘:‘"1083428"‘, ‘__utmv‘:‘30149280.3975‘}, callback=self.parse_with_cookie)
你可以搜 scrapy set cookie 有详细的部分。（可能有版本更新问题）
2：phantomjs: 内部函数addCookie调用即可，
代码语言：javascript复制phantom.addCookie({
'name': 'some name here', /* required property */
'value': 'some hash here',
'domain': 'ea.some domain here.com', /* required property */
'path': '/',
'httponly': false,
'secure': false,
'expires': (new Date()).getTime() (10000 * 60 * 60) /* <-- expires in 10 hour */
});查官网是最好的addCookie | PhantomJS
3：使用urllib2
代码语言：javascript复制import urllib2
opener = urllib2.build_opener()
opener.addheaders.append(('Cookie', 'cookiename=cookievalue'))
f = opener.open("http://example.com/")这个，不用说了吧。
4：如何用程序自动获取cookie呢？ python 有个叫Cookie的包。 Python Cookie HTTP获取cookie并处理 还有用requests自带监控cookie python爬虫学习（六）requests 关于cookie的堪误
原创文章，转载请注明： 转载自URl-team
本文链接地址: 爬虫中关于cookie的运用
Related posts:
- 爬虫首尝试—爬取百度贴吧图片
- Scrapy-笔记一 入门项目 爬虫抓取w3c网站
- Scrapy笔记四 自动爬取网页之使用CrawlSpider
- Scrapy笔记五 爬取妹子图网的图片 详细解析
- python 进程超时控制 防止phantomjs假死
- 淘宝商品信息采集器二，开放源码可自定义关键词进行采集
