小爬虫之腾讯招聘网自动翻页采集1.技术路线2.任务3.分析4.运行结果5.源码

1.技术路线

• python 3.6.0
• scrapy 1.4.0

2.任务

爬取腾讯招聘网站的自动翻页的数据采集

3.分析

注意

• URL组成 https://hr.tencent.com/position.php?lid=2156&tid=87&keywords=自然语言处理start=0
• 其中： lid=2156 代表地点在北京 tid=87 代表方向为技术类 keywords 代表搜索职位 start 代表当前页面第一条数据的序号
• 爬取目标 1.职位名称 2.职位类别 3.职位人数 4.职位地点 5.发布时间 6.职位详情

4.运行结果

image.png

5.源码

• GitHub
• 欢迎Fork，一起讨论学习