从零开始写Python爬虫

2018-09-18 17:54:08 浏览数 (1)

学习之前需要哪些准备?

代码语言:javascript复制
一颗热爱学习,不屈不挠的心

一台有键盘的电脑(什么系统都行。我用的os x,所以例子会以这个为准)

html相关的一些前段知识。不需要精通,能懂一点就够!

Python的基础语法知识 。

如果我一点编程基础都没有怎么办?

代码语言:javascript复制
现在开始学!Python是一门非常适合做入门学习的语言。如果你没有任何其他编程语言的基础,那么就来学Python吧。

我自己目前同时在学java和Python,就我自己的感觉来说,Python的语法简直太美妙了 不是有句话叫 Life is short, Use Python

有什么推荐的入门教材么?

代码语言:javascript复制
笨办法学Python>我看的这本书入门的,非常有趣,网上有翻译的版本,当然有条件的同学还是去看英文原著会更好。

廖大的Python3教程

自强学堂的教程

菜鸟学习资

代码语言:javascript复制
html入门学习

具体的学习路线是什么?

总体分为三个大方面:

一: 简单的定向脚本爬虫(request --- bs4 --- re)

二: 大型框架式爬虫(Scrapy框架为主)

三:浏览器模拟爬虫 (Mechanize模拟 和 Selenium 模拟)

具体的步骤: 一:Beautiful Soup 爬虫 requests库的安装与使用

安装beautiful soup 爬虫环境

beautiful soup 的解析器

bs4 爬虫实践: 获取百度贴吧的内容

bs4 爬虫实践: 获取双色球中奖信息

bs4 爬虫实践: 获取起点小说信息

bs4 爬虫实践: 获取电影信息

bs4 爬虫实践: 获取悦音台榜单

二: Scrapy 爬虫框架 安装Scrapy

Scrapy中的选择器 Xpath和CSS

Scrapy 爬虫实践:今日影视

Scrapy 爬虫实践:天气预报

Scrapy 爬虫实践:获取代理

Scrapy 爬虫实践:糗事百科

Scrapy 爬虫实践: 爬虫相关攻防(代理池相关)

三: 浏览器模拟爬虫 Mechanize模块的安装与使用

利用Mechanize获取乐音台公告

Selenium模块的安装与使用

浏览器的选择 PhantomJS

Selenium & PhantomJS 实践: 获取代理

Selenium & PhantomJS 实践: 漫画爬虫

0 人点赞