很早就想学习爬虫了，但是一直没有开始。18年给自己定了很多学习计划，大体还是循序渐进的，整理下思路，
Docker容器化和Python爬虫应该是摆在前置位的，算是基础。Web方面，dotNet Core感觉有点陷入僵局了，只好暂且放一放，转而学习下Python的爬虫和Web框架-Django等，算是换换思路。Talk is cheap，show me the code！
爬虫原理
知其然，知其所以然。使用爬虫，必须要先理解爬虫的原理，先说下爬虫的基本流程和基本策略。
爬虫的基本流程
网络爬虫的基本工作流程如下：
- 提供种子URL
- 任务队列开始处理种子URL
- 根据URL，解析DNS，下载URL相对应的网页，存储已下载网页，将URL归入已抓取URL队列。
- 分析已抓取URL队列，将URL中的内链放入待抓取URL队列，进行循环
- 解析下载网页，获取所需数据
- 存入数据库，数据持久化处理
爬虫的基本策略
在爬虫系统中，待处理URL队列是很重要的一部分。待处理URL队列的处理顺序也很重要，因为这涉及到抓取页面的顺序，而决定这些URL队列排序的方法，叫做抓取策略。
这里例举两种常用的策略方法：
- DFS(深度优先策略) 深度优先策略是指爬虫从某个URL开始，一个链接一个链接的爬取下去，直到处理完了某个链接所在的所有线路，才切换到其它的线路。 此时抓取顺序为：A -> B -> C -> D -> E -> F -> G -> H -> I -> J
- BFS(广度优先策略) 宽度优先遍历策略的基本思路是，将新下载网页中发现的链接直接插入待抓取URL队列的末尾。也就是指网络爬虫会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。 此时抓取顺序为：A -> B -> E -> G -> H -> I -> C -> F -> J -> D
爬虫工具
工欲善其事，必先利其器。
实现Python爬虫，一些得力助手是必不可少的，下面一一介绍一下。
anaconda
anaconda官网 - 是Python的一个科学计算的发行版。
这里以官方最新版本（18/1/10）3-5.0.1为例，通过安装脚本安装(Ubuntu环境)。
事实上，win下的安装更为简单，也可以配合PyCharm食用更佳。
因为资源在国外，所以下载速度很慢，可以使用清华大学镜像源
代码语言：javascript复制$ wget
https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.1-Linux-x86_64.sh
$ bash Anaconda3-5.0.1-Linux-x86_64.sh下载并执行脚本后，按照提示逐步安装。
Requests
Requests官方文档 - 是一个urllib的升级版本打包了全部功能并简化了使用方法。
python 安装模块十分方便，直接使用pip指令安装
$ pip install requests当然，因为安装的是 python 的 anaconda 发行版，所以也可以使用 conda 指令进行安装。
$ conda install requestsLXML
一个HTML解析包 用于辅助beautifulsoup解析网页。
代码语言：javascript复制$ pip install lxmlBeautifulSoup
BeautifulSoup官方文档 - 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。对于初学者而言，体验大大由于使用正则表达式自行匹配。
代码语言：javascript复制$ pip install beautifulsoup4
简单爬虫测试
先来创建第一个脚本，这里默认已有Python基础。
#!/usr/bin/env python
# coding=utf-8
import requests ## 导入requests
from bs4 import BeautifulSoup ## 导入bs4中的BeautifulSoup
import os
## 浏览器请求头信息，模拟浏览器
headers = {'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"}
## 开始的URL地址
all_url = 'http://www.mzitu.com/all'
## 使用requests中的get方法来获取all_url
start_html = requests.get(all_url,headers=headers)
## 打印出start_html
print(start_html.text)执行后获取并列出妹子图所有的标题和链接。
这就是一个最简单的爬虫示例。
