正好我们也在做网站的数据分析案例，不如就用 Python 来分析下，虎扑你这个直男论坛到底是怎样的？

weixin_crawler从2018年6月份就开始利用业余时间开发，到今日正式问鼎江湖。在正式介绍weixin_crawler之前，我准备了两个问题，这两个问题通过weixin_crawler自带的报告和搜索指数都能得到回答。...

微博向来是一个极好的吃瓜圣地，为了获取微博上行行色色的数据，微博相关的爬虫也是层出不穷，因为无论是运营者还是数据分析从业者都或多或少需要微博数据，我的许多朋友也不例外，经过断断续续的努力，我完成了一个可能是史上最...

因为这个事儿，勾起了我另一个念头，这不最近一直想把python爬虫方面的知识梳理梳理吗，干脆借机行事，正凑着短视频火热的势头，做一个短视频的爬虫好了，中间用到什么知识就理一理。...

本篇是咸鱼日常撸视频的时候记录的一些代码实例，可以直接运用到项目中但是有些代码的可用性没有那么好，旨在分享思路，不喜勿喷~

scrapy-Redis就是结合了分布式数据库redis，重写了scrapy一些比较关键的代码，将scrapy变成一个可以在多个主机上同时运行的分布式爬虫。

回顾上一篇文章，我们大多时间都是在寻找下一页的url地址或者是内容的url地址上面，我们的大体思路是这样的：

这个文章的技术含量并不高，旨在练习scrapy框架的基本用法，熟悉框架下各个文件的作用。先上一波爬取结果：

Scrapy使用 Python 实现的一个开源爬虫框架，Scrapy基于 twisted这个高性能的事件驱动网络引擎框架，Scrapy爬虫拥有很高的性能。

安装 python这个就不用我说了吧，网上教程一大堆安装 scrapy 包pip install scrapy创建 scrapy 项目scrapy startproject aliSpider进入项目目录下，创建爬虫文件cmd 进入项目目录，执行命令：scrapy genspider -t crawl ......