20 Python 基础： 重点知识点--网络通信进阶知识讲解

2019-07-29 20:24:35 浏览数 (1)

前言

其他文章均已发表，可通过 “技术专栏 -- Python -- PY基础” 进行阅读。

这是 “Python 基础”系列的第 20 篇文章 ，共 20 篇 。 01 Python 基础：Python入门必看之语法基础 02 Python 基础：列表及字典内置函数&方法内容梳理 03 Python 基础：Python函数及递归函数知识点梳理 04 Python 基础：讲解迭代、过滤、匿名函数、排序算法四大知识点 05 Python 基础：高阶函数学习实践 06 Python 基础：难点装饰器的学习介绍及实现赌博收益小案例 07 Python 基础：重点知识点函数的参数难点解答 08 Python 基础：面试问你类与实例及其属性还不会吗 09 Python 基础：手把手带你梳理对象、继承与多态知识点 10 Python 基础：如何定制类，这里有答案 11 Python 基础：知识巩固，实现一个简易学生管理系统 12 Python 基础：如何优化代码质量，错误、调试和测试你必须要懂 13 Python 基础：模块的概念及使用方法并着重介绍两个常用模块 14 Python 基础：重点知识点--IO编程 15 Python 基础：程序猿必懂知识之正则表达式 16 Python 基础：重点知识点--Pygame的基础知识梳理 17 Python 基础：重点知识点--Pygame实现儿时经典游戏坦克大战 18 Python 基础：重点知识点--进程和线程概念、应用知识梳理 19 Python 基础：重点知识点--网络通信基础知识讲解 20 Python 基础：重点知识点--网络通信进阶知识讲解

目录

20 Python 基础： 重点知识点--网络通信进阶知识讲解，共有 4 部分：

  • 网络通信--多进程服务器
  • 网络通信--多线程服务器
  • 网络通信--服务器与协程
  • socket.io

网络通信--多进程服务器

代码语言：javascript复制
#多进程服务器
fromsocketimport*
frommultiprocessingimport*
fromtimeimportsleep

#处理客户端的请求并为其服务
defdealWithClient(newSocket,destAddr):
whileTrue:
recvData=newSocket.recv(1024).decode('gbk')
iflen(recvData)>0:
print('recv[%s]:%s'%(str(destAddr),recvData))
newSocket.send(b'ok!')
else:
print('[%s]客户端已经关闭'%str(destAddr))
break

newSocket.close()


defmain():


serSocket=socket(AF_INET,SOCK_STREAM)

localAddr=('',7788)
serSocket.bind(localAddr)
serSocket.listen(5)

try:
whileTrue:
print('-----主进程，，等待新客户端的到来------')
newSocket,destAddr=serSocket.accept()

print('-----主进程，，接下来创建一个新的进程负责数据处理[%s]-----'%str(destAddr))
client=Process(target=dealWithClient,args=(newSocket,destAddr))
client.start()

#因为已经向子进程中copy了一份（引用），并且父进程中这个套接字也没有用处了
#所以关闭
newSocket.close()
finally:
#当为所有的客户端服务完之后再进行关闭，表示不再接收新的客户端的链接
serSocket.close()

if__name__=='__main__':
main()

image.png

image.png

网络通信--多线程服务器

代码语言：javascript复制
fromsocketimport*
fromthreadingimportThread
fromtimeimportsleep

#处理客户端的请求并执行事情
defdealWithClient(newSocket,destAddr):
whileTrue:
recvData=newSocket.recv(1024).decode('gbk')
iflen(recvData)>0:
print('recv[%s]:%s'%(str(destAddr),recvData))
newSocket.send(b'threadOK!')
else:
print('[%s]客户端已经关闭'%str(destAddr))
break

newSocket.close()

defmain():
serSocket=socket(AF_INET,SOCK_STREAM)
serSocket.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
localAddr=('',7788)
serSocket.bind(localAddr)
serSocket.listen(5)

try:
whileTrue:
print('-----主进程，，等待新客户端的到来------')
newSocket,destAddr=serSocket.accept()

print('-----主进程，，接下来创建一个新的进程负责数据处理[%s]-----'%str(destAddr))
client=Thread(target=dealWithClient,args=(newSocket,destAddr))
client.start()

#因为线程中共享这个套接字，如果关闭了会导致这个套接字不可用，
#但是此时在线程中这个套接字可能还在收数据，因此不能关闭
#newSocket.close()
finally:
serSocket.close()


if__name__=='__main__':
main()

image.png

网络通信--服务器与协程

协程

协程，又称微线程，纤程。英文名Coroutine。

协程是啥

首先我们得知道协程是啥？协程其实可以认为是比线程更小的执行单元。为啥说他是一个执行单元，因为他自带CPU上下文。这样只要在合适的时机， 我们可以把一个协程 切换到另一个协程。只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。

通俗的理解：在一个线程中的某个函数，可以在任何地方保存当前函数的一些临时变量等信息，然后切换到另外一个函数中执行，注意不是通过调用函数的方式做到的，并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定

协程和线程差异

那么这个过程看起来比线程差不多。其实不然, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。操作系统为了程序运行的高效性每个线程都有自己缓存Cache等等数据，操作系统还会帮你做这些数据的恢复操作。所以线程的切换非常耗性能。但是协程的切换只是单纯的操作CPU的上下文，所以一秒钟切换个上百万次系统都抗的住。

协程的问题

但是协程有一个问题，就是系统并不感知，所以操作系统不会帮你做切换。那么谁来帮你做切换？让需要执行的协程更多的获得CPU时间才是问题的关键。

例子

目前的协程框架一般都是设计成 1:N 模式。所谓 1:N 就是一个线程作为一个容器里面放置多个协程。那么谁来适时的切换这些协程？答案是有协程自己主动让出CPU，也就是每个协程池里面有一个调度器， 这个调度器是被动调度的。意思就是他不会主动调度。而且当一个协程发现自己执行不下去了(比如异步等待网络的数据回来，但是当前还没有数据到)， 这个时候就可以由这个协程通知调度器，这个时候执行到调度器的代码，调度器根据事先设计好的调度算法找到当前最需要CPU的协程。切换这个协程的CPU上下文把CPU的运行权交个这个协程，直到这个协程出现执行不下去需要等等的情况，或者它调用主动让出CPU的API之类，触发下一次调度。

那么这个实现有没有问题？

其实是有问题的，假设这个线程中有一个协程是CPU密集型的他没有IO操作， 也就是自己不会主动触发调度器调度的过程，那么就会出现其他协程得不到执行的情况， 所以这种情况下需要程序员自己避免。这是一个问题，假设业务开发的人员并不懂这个原理的话就可能会出现问题。

协程的好处

在IO密集型的程序中由于IO操作远远慢于CPU的操作，所以往往需要CPU去等IO操作。同步IO下系统需要切换线程，让操作系统可以在IO过程中执行其他的东西。这样虽然代码是符合人类的思维习惯但是由于大量的线程切换带来了大量的性能的浪费，尤其是IO密集型的程序。

所以人们发明了异步IO。就是当数据到达的时候触发我的回调。来减少线程切换带来性能损失。但是这样的坏处也是很大的，主要的坏处就是操作被 “分片” 了，代码写的不是 “一气呵成” 这种。而是每次来段数据就要判断 数据够不够处理哇，够处理就处理吧，不够处理就在等等吧。这样代码的可读性很低，其实也不符合人类的习惯。

但是协程可以很好解决这个问题。比如 把一个IO操作 写成一个协程。当触发IO操作的时候就自动让出CPU给其他协程。要知道协程的切换很轻的。协程通过这种对异步IO的封装 既保留了性能也保证了代码的容易编写和可读性。在高IO密集型的程序下很好。但是高CPU密集型的程序下没啥好处。

协程一个简单实现

image.png

image.png

其实，就是把函数保存起来，我需要的时候就调用一下，这就是协程的思想。

协程-greenlet版

为了更好使用协程来完成多任务，python中的greenlet模块对其封装，从而使得切换任务变的更加简单。（不用写yield，它已经封装好了）

安装方式

使用如下命令安装greenlet模块: pip install greenlet

image.png

gevent

greenlet已经实现了协程，但是这个还的人工切换，是不是觉得太麻烦了，不要捉急，python还有一个比greenlet更强大的并且能够自动切换任务的模块gevent

其原理是当一个greenlet遇到IO(指的是input output 输入输出，比如网络、文件操作等)操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。

由于IO操作非常耗时，经常使程序处于等待状态，有了gevent为我们自动切换协程，就保证总有greenlet在运行，而不是等待IO

1. gevent的使用

image.png

image.png

image.png

image.png

socket.io

安装： pip install python-socketio

socketIO

  • 与Javascript， Swift， C 和 Java官方Socket.IO客户端以及符合Socket.IO规范的任何第三方客户端完全兼容 。
  • 兼容Python 2.7和Python 3.3 。
  • 当与基于asyncio （sanic，aiohttp或 tornado）， eventlet或gevent的异步服务器一起使用时，即使在适度硬件上也支持大量客户端。对于开发和测试，也可以使用任何符合WSGI的多线程服务器。
  • 将消息广播到所有连接的客户端，或分配给“房间”的子集。
  • 基于事件的架构使用装饰器实现，隐藏了协议的细节。
  • 支持HTTP长轮询和WebSocket传输。
  • 支持XHR2和XHR浏览器。
  • 支持文本和二进制消息。
  • 支持gzip和deflate HTTP压缩。
  • 可配置的CORS响应，以避免浏览器的跨源问题。

什么是Socket.IO ？

代码语言：javascript复制
Socket.IO是一种传输协议，可在客户端（通常是Web浏览器）和服务器之间实现基于事件的双向事件通信。客户端和服务器组件的原始实现是用JavaScript编写的。
代码语言：javascript复制
import socketio
import eventlet

#实例化socketio实例化对象
sio = socketio.Server()


#@sio.on()监听什么事件
@sio.on('connect')
def connect(sid, environ):
    print('connect ', sid)
    sio.emit('addChat',sid)

@sio.on('message')
def message(sid, data):
    print('message ', data)
    #发送消息，emit,发送事件名称，第二个参数是数据，关键词参数room，用来发给具体的某个人，如果没有设置那么久发给所有监听这个事件的人
    sio.emit('reply',{'message':'hello','sid':sid})
    
    
@sio.on('sendMessage')
def sendMessage(sid,data):
    #data  = { 'content':"聊天信息"，destId:'cd9ab3984c5b4ab5ba7bfa1dd027626f'}
    print(data)
    sio.emit('reply',data['content'],room=data['destId'])


@sio.on('disconnect')
def disconnect(sid):
    print('disconnect ', sid)

if __name__ == '__main__':
    # sio通过middleware转为应用服务
    app = socketio.Middleware(sio)

    # 依赖eventlet网关服务器
    eventlet.wsgi.server(eventlet.listen(('', 8000)), app)

房间

代码语言：javascript复制
    由于Socket.IO是双向协议，因此服务器可以随时向任何连接的客户端发送消息。为了方便地处理客户端组，应用程序可以将客户端放入房间，然后将消息发送到整个房间。
代码语言：javascript复制
    当客户端首次连接时，它们被分配到自己的房间，以会话ID（sid传递给所有事件处理程序的参数）命名。该应用程序可以自由创建其他房间，并使用socketio.Server.enter_room()和 socketio.Server.leave_room()方法管理其中的客户端。客户可以根据需要在多个房间内，并且可以根据需要在房间之间移动。分别连接到客户端的各个房间在任何情况下都不是特殊的，应用程序可以自由地添加或删除客户端，但一旦这样做，它将失去对个别客户端的处理能力。

image.png

close_room（房间，命名空间=无）

关闭一个房间。

此功能从给定的房间中删除所有客户端。

参数：

  • 房间 - 房间名称。
  • namespace - 事件的Socket.IO名称空间。如果省略此参数，则使用默认命名空间。

disconnect（sid，namespace = None ）

断开客户端连接。

参数：

  • sid - 客户端的会话ID。
  • namespace - 要断开连接的Socket.IO命名空间。如果省略此参数，则使用默认命名空间。

emit

emit（event，data = None，room = None，skip_sid = None，namespace = None，callback = None，** kwargs ）

向一个或多个连接的客户端发送自定义事件。

参数：

  • event - 事件名称。它可以是任何字符串。事件名称 'connect'，'message'并且'disconnect'被保留，不应使用。
  • data - 要发送到客户端或客户端的数据。数据可以是类型的str，bytes，list或dict。如果a list或者dict，数据将被序列化为JSON。
  • room - 消息的收件人。这可以设置为客户端的会话ID以解决该客户端的房间或应用程序创建的任何自定义房间。如果省略此参数，则将事件广播到所有连接的客户端。
  • skip_sid - 广播到房间或所有客户端时要跳过的客户端的会话ID。这可用于防止将消息发送给发件人。
  • namespace - 事件的Socket.IO名称空间。如果省略此参数，则会将事件发送到默认命名空间。
  • callback - 如果给定，将调用此函数以确认客户端已收到消息。将传递给函数的参数是客户端提供的参数。回调函数只能在寻址单个客户端时使用。
  • ignore_queue - 仅在配置消息队列时使用。如果设置为True，则直接将事件发送给客户端，而不通过队列。这样更有效，但仅在使用单个服务器进程时才有效。建议始终将此参数保留为其默认值False。

enter_room（sid，room，namespace = None ）

进入一个房间。

此功能将客户端添加到房间。该emit()和 send()功能可以有选择地事件报告给所有的客户在一个房间里。

参数：

  • sid - 客户端的会话ID。
  • 房间 - 房间名称。如果房间不存在则会创建。
  • namespace - 事件的Socket.IO名称空间。如果省略此参数，则使用默认命名空间。

leave_room（sid，room，namespace = None ）

离开房间。

此功能从客房中删除客户端。

参数：

  • sid - 客户端的会话ID。
  • 房间 - 房间名称。
  • namespace - 事件的Socket.IO名称空间。如果省略此参数，则使用默认命名空间。

image.png

python 编程算法 socket.io

0 人点赞