我们先看一下斗鱼直播的弹幕：
大家可以发现右下角在一直不断变化。
轮询和WebSocket：
Web 领域中，用于实现数据’实时’更新的手段有轮询和 WebSocket 这两种。
轮询指的是客户端按照一定时间间隔（如 1 秒）访问服务端接口，从而达到 ‘实时’ 的效果，虽然看起来数据像是实时更新的，但实际上它有一定的时间间隔，并不是真正的实时更新。轮询通常采用 拉 模式，由客户端主动从服务端拉取数据。
而 WebSocket 采用的是 推 模式，由服务端主动将数据推送给客户端，这种方式是真正的实时更新。
WebSocket：
WebSocket是一种在单个TCP连接上进行全双工通信的协议。
它使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。
在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接，并进行双向数据传输。
WebSocket 优点：
较少的控制开销：只需要进行一次握手，携带一次请求头信息即可，后续只传输数据即可，相比 HTTP 每次请求都携带请求头，WebSocket 非常省资源。
更强的实时性：由于服务器可以主动推送消息，这使得延迟变得可以忽略不计，相比 HTTP 轮询的时间间隔，WebSocket 可以在相同的时间内进行多次传输。
二进制支持：WebSocket 支持二进制帧，这意味着传输更节省。
案例分析：
先以莱特币官网 http://www.laiteb.com/ 实时数据为例
WebSocket 的握手只发生一次，所以如果需要通过浏览器开发者工具观察网络请求，则需要在打开页面的情况下，打开浏览器开发者工具，定位到 NewWork 选项卡，并输入或刷新当前页面，才能观察到 WebSocket 的握手请求和数据传输情况。这里以 Chrome 浏览器为例:
在开发者工具中提供了筛选功能，其中 WS 选项代表只显示 WebSocket 连接的网络请求。
这时候可以看到请求记录列表中有一条名为 realTime 的记录，鼠标左键点击它后，开发者工具会分为左右两栏，右侧列出本条请求记录的详细信息：
与 HTTP 请求不同的是，WebSocket 连接地址以 ws 或 wss 开头。连接成功的状态码不是 200，而是 101。
Headers 标签页记录的是 Request 和 Response 信息，而 Frames 标签页中记录的则是双方互传的数据，也是我们需要爬取的数据内容：
Frames 图中绿色箭头向上的数据是客户端发送给服务端的数据，橙色箭头向下的数据是服务端推送给客户端的数据。
从数据顺序中可以看到，客户端先发送：
{"action":"ping"}
然后服务端才会推送信息(一直推送)：
{"action":"subscribe","group":"QuoteBin5m:14","success":true,"request":{"action":"subscribe","args":["QuoteBin5m:14"]}}
所以，从发起握手到获得数据的整个流程为：
使用aiowebsocket库爬取莱特网数据：
Python 库中用于连接 WebSocket 的有很多，但是易用、稳定的有 websocket-client(非异步)、websockets(异步)、aiowebsocket（异步）。
可以根据项目需求选择三者之一，这里介绍的是异步 WebSocket 连接客户端 aiowebsocket。
AioWebSocket是一个遵循 WebSocket 规范的 异步 WebSocket 客户端，相对于其他库它更轻、更快。
下面是代码： （代码为什么这个格式我也不清楚，官方文档里面是这么提供的 =。=）
代码语言：javascript复制import asyncio
import logging
from datetime import datetime
from aiowebsocket.converses import AioWebSocket
async def startup(uri):
async with AioWebSocket(uri) as aws:
converse = aws.manipulator
# 客户端给服务端发送消息
await converse.send('{"action":"subscribe","args":["QuoteBin5m:14"]}')
while True:
mes = await converse.receive()
print('{time}-Client receive: {rec}'
.format(time=datetime.now().strftime('%Y-%m-%d %H:%M:%S'), rec=mes))
if __name__ == '__main__':
remote = 'wss://api.bbxapp.vip/v1/ifcontract/realTime'
try:
asyncio.get_event_loop().run_until_complete(startup(remote))
except KeyboardInterrupt as exc:
logging.info('Quit.')运行后： （可以看到数据已经不停的过来了）
我们再可以看下这个网站：（金十数据中心） https://datacenter.jin10.com/price
他的headers中Request Url是wss://开头的 右边正边疯狂的刷新数据，而使用的协议，正是 websocket
对于python下如何连接websocket ，网上有很多的文章，我这里就不用细说了，通常我们拿到这样的接口，都会本能去尝试直连看看，在进一步尝试之后，该端口的api会根据真实的请求变化 ，而且进一步的请求的cookie和key都会变化 ，看来直连的方式是行不通了，那没办法，只能走渲染的路了，selenium可以是可以，不过我们要尝试一下新的路线和方法，那就直接上chrome-headless
Headless Chrome指在headless模式下运行谷歌浏览器(以程序模式运行，没有界面)，自从这玩意儿出来之后， phantomjs的作者就宣布不维护了。。。
直接使用docker 来安装chrome headless
代码语言：javascript复制docker run -d -p 9222:9222 --cap-add=SYS_ADMIN justinribeiro/chrome-headless这样我们已经启用了一个chrome headless的服务，那如何使用呢，我们使用websocket 和chrome header less进行交互,不多说了，直接上代码吧
代码语言：javascript复制import json
import time
import requests
import websocket
request_id = 0
target_url = 'https://datacenter.jin10.com/price'
def get_websocket_connection():
r = requests.get('http://10.10.2.42:9222/json') #这是开启chrome headless的机器地址
if r.status_code != 200:
raise ValueError("can not get the api ,please check if docker is ready")
conn_api = r.json()[0].get('webSocketDebuggerUrl')
return websocket.create_connection(conn_api)
def run_command(conn, method, **kwargs):
global request_id
request_id = 1
command = {'method': method,
'id': request_id,
'params': kwargs}
conn.send(json.dumps(command))
#while True:
msg = json.loads(conn.recv())
if msg.get('id') == request_id:
return msg
def get_element():
conn = get_websocket_connection()
msg = run_command(conn, 'Page.navigate', url=target_url)
time.sleep(5)
js = "var p = document.querySelector('.jin-pricewall_list-item_b').innerText ; p ;"
for _ in range(20):
time.sleep(1)
msg = run_command(conn, 'Runtime.evaluate', expression=js)
print(msg.get('result')['result']['value'])
if __name__ == '__main__':
get_element()
