最近几天新东方集团旗下的“东方甄选”直播间火了。跟传统的嘶吼式带货直播不同,从新东方讲台上转型而来的主播们自带“讲授知识”特色,成为一股直播界清流,他们介绍物品时中英双语无缝切换、遇到知识点时延伸拓展、时不时地即兴讲段子抖包袱……这些新东方老师们特有的技能让“东方甄选”直播间斩获了流量的口碑的双丰收。
之前有和大家分享过微博热搜数据的爬取,那么今天我们再实践一次,今天我们来爬取下新东方爆火后在热搜上的数据是怎么样的。我们主要是爬取新东方话题在抖音热搜榜的这些内容:排名、热度、标题、链接。数据爬取方法比较多,今天我们就选择使用requests,因为 requests相对简洁,整个代码运行速度也更快,如果页面数据不是动态加载的话,使用会更方便。但是抖音一直以来的风控都比较严,特别是针对IP方面,所以在爬取过程中我们加上了代理IP,代理主要是由亿牛云提供。简单的实现过程如下:
代码语言:javascript复制#! -*- encoding:utf-8 -*-
import requests
import random
# 要访问的目标页面
targetUrl = "http://httpbin.org/ip"
# 要访问的目标HTTPS页面
# targetUrl = "https://httpbin.org/ip"
# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理验证信息
proxyUser = "username"
proxyPass = "password"
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
"host" : proxyHost,
"port" : proxyPort,
"user" : proxyUser,
"pass" : proxyPass,
}
# 设置 http和https访问都是用HTTP代理
proxies = {
"http" : proxyMeta,
"https" : proxyMeta,
}
# 设置IP切换头
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}
resp = requests.get(targetUrl, proxies=proxies, headers=headers)
print resp.status_code
print resp.text
在关于新东方的热搜里面我觉得这个热搜题目挺让人印象深刻的“知识付费了4袋大米”。他们直播间里面除了英语还会讲解一些天文地理的知识,可谓是直播间的一股清流了,很多人都在发表评论说新东方爆火以后,直播届迎来“降维打击”。