用了selenium，才深刻的体会到它的好处，更加的方便更加的快捷，更容易的获取网页的信息。
这里用selenium爬取某鱼直播下面的前五页的直播间信息，例如直播房间名，主播名，直播热度，以及直播的类别。即图片红色下横线的东西。首先进入斗鱼的页面，选择直播，接着复制url备用，然后就按F12去分析
做爬虫的步骤还是那样，先去原网页的地址找到数据的位置，接着提取出需要的数据，在整理起来，保存起来。
这里我获取的只有前5页的直播间信息。当然可以获取更多的内容。做爬虫只是为了方便统计以及数据的可视化，便于学习和观察，并不能做什么非法操作。主要目的都是为了学习。
用selenium爬取网页的坑就只有一两个：
第一：获取url后，需要等待个几秒，让网页充分缓冲之后才去提取网页的数据，这样才能提取到数据，否则就是一个框架，并不能得到有用的消息。
第二，如果要实现换页功能的话，需要将解析网页的语句也放入循环，不然也会报错
第三，就是用selenium的时候一定要匹配好单引号和双引号，在python的习惯下，字符串就一般使用单引号去用，而网页的数据是双引号的话也提取不到数据。
第四，换页操作的时候，选择正确的class名字至关重要
如果用浏览器的f12的选择的功能，他会定位到这里黑色下划线的地方，但是要实现换行要选择红色下划线的class名，才能实现。
关于用selenium去爬取的东西也没其他的了，详细的操作可以去这里看
python-- 爬虫之用Selenium做爬虫
下面贴一下代码，代码仅供参考，如若有错，欢迎指出：
代码语言：javascript复制from selenium import webdriver
import time
path = '这里是你的selenium的驱动的地址'
url = 'https://www.douyu.com/directory/all'
browser = webdriver.Chrome(executable_path=path)
browser.maximize_window()
browser.get(url)
time.sleep(10)
allzhibo = []
nnum = 0
page = 0
while page<1:
li_list = browser.find_elements_by_xpath('//ul[@class="layout-Cover-list"]/li')
num = 0
for i in li_list:
zhibo = {}
if num >=10:
zhibo['数目'] = nnum
num =1
nnum =1
zhibo['直播房间名'] = i.find_element_by_class_name("DyListCover-intro").text
zhibo['主播'] = i.find_element_by_class_name("DyListCover-user").text
zhibo['直播热度'] = i.find_element_by_class_name("DyListCover-hot").text
zhibo['分类'] = i.find_element_by_class_name("DyListCover-zone").text
allzhibo.append(zhibo)
else:
num =1
nextpage = browser.find_element_by_class_name("dy-Pagination-next")
nextpage.click()
page =1
time.sleep(10)
#这里实现的是将数据保存到文本里去
with open('某鱼直播.txt','w',encoding='utf-8') as f:
for i in allzhibo:
for j in i.keys():
print(j ':' str(i[j]) ' ')
f.write(j ':' str(i[j]) ' ')
f.write('n')
browser.close()最后得到结果就是这样的：
然后可以对这些数据进行分类排序，就可以得到一些热度最高的直播间，或者是什么分类的直播间有那些的操作。
