爬取豆瓣书单100本

2022-09-20 19:10:21 浏览数 (1)

听首歌开心一下

唉,今天本来是在学习爬取梨视频的,但是网页又发生了变化,和老师讲的操作又不一样...而且还变难了...我找了很多资料也实在是不会,只好学习一下爬取电影试试。话说每天的学习之路都好坎坷啊,各种卡住。但是这个爬取电影我还没学习,现在去学习一下。

好家伙,经过我的一番努力后,我发现豆瓣电影的页面是Ajax请求的页面,Ajax请求就是可以在不刷新界面的情况下加载页面的技术,比如说我们平时在网页浏览东西,一直往下滑他能够一直加载,用的就是Ajax请求。所以我爬取不到页面的信息(对不起是我不会)。。。

所以临时降低难度哈哈哈哈,改成爬取豆瓣书单前100,但是后面还有怎么将他写入CSV格式的问题,我需要一边做一边学,加油嗯!

做了差不多了,就差把数据放进csv里了,在做的过程中真的很崩溃,发现了超级多问题,一开始就请求错了网页,然后换了个网页,后来得到了书单的名称,数据的类型有问题,正则也匹配不上,缩进又出问题,xpath定位也错,反反复复一直运行

0 人点赞