当SRS遇到K8s：快速构建高并发直播集群

2021-09-01 16:35:11 浏览数 (1)

本章描述了如何基于K8s构建EdgeCluster实现高并发流媒体播放。

EdgeCluster实现了合并回源，对于某一路流，不管有多少客户端播放，EdgeServer都只会从OriginServer取一路流，这样可以通过扩展EdgeCluster来增加支持的播放能力，也就是CDN网络具备的重要能力：高并发。

Note: Edge Cluster根据客户端播放的协议不同，可以分为RTMP Edge Cluster或HTTP-FLV Edge Cluster，详细请参考相关Wiki。

对于自建源站，没有那么多播放量，为何不建议使用SRS单源站直接提供服务，而要用EdgeCluster呢？主要场景分析如下：

  • 防止Origin过载，即使推流非常少而且播放的流也不多，比如自建源站后使用CDN回源，在多家CDN回源时，也可能一个CDN一条流会有多个回源连接。使用Edge能保护Origin不因为回源造成Origin问题，最多就是某些Edge被回源打挂。
  • 可以使用多个Edge Cluster（只需要再加srs-edge-service就可以），对外用不同的SLB暴露，可以针对每个SLB限流，防止CDN之间互相干扰。这样能保证某些CDN是可用的，而不是Origin挂了后所有CDN都不可用。
  • 分离Origin关键业务，将下行流媒体分发业务交给Edge Cluster，Origin可以做切片、DVR、鉴权等关键业务，避免业务之间互相干扰。

在这个场景下，对比K8s和传统使用方式的差异：

对比

ECS

K8s

说明

申请ECS

手动

自动

部署时，ECS需要手动申请，K8s自动申请

安装包

脚本

镜像

Docker方式更优，版本管理，可Cache

看门狗

手动

自动

SRS异常退出由看门狗重新拉起，非K8s需要手动安装，K8s自动管理和拉起服务

更换ECS

手动

自动

ECS更换时，非K8s需要手动申请，修改SLB，安装服务，K8s自动迁移服务，更新SLB配置监听和保活等

配置

文件

Volume

ECS需要手动管理配置；K8s配置在ConfigMap，通过Volume挂载为配置文件，扩容时不用变更

扩容

手动

自动

需要新开进程时，ECS需要申请部署和配置，K8s只需要修改Replicas数目即可(也可自动扩容)

发现

手动

自动

Origin变更IP时，ECS需要手动修改配置，K8s自动通知边缘和自动发现

SLB

手动

自动

新增Edge时，ECS需要手动更新SLB配置，K8s自动更新SLB配置

Step1: 创建一个无状态应用k8s deployment，运行SRSOrigin Server和Nginx，HLS写入共享Volume：

cat <<EOF | kubectl apply -f -

apiVersion: apps/v1

kind: Deployment

metadata:

name: srs-origin-deployment

labels:

app: srs-origin

spec:

replicas: 1

selector:

matchLabels:

app: srs-origin

template:

metadata:

labels:

app: srs-origin

spec:

volumes:

- name: cache-volume

emptyDir: {}

containers:

- name: srs

image: ossrs/srs:3

imagePullPolicy: IfNotPresent

ports:

- containerPort: 1935

- containerPort: 1985

- containerPort: 8080

volumeMounts:

- name: cache-volume

mountPath:/usr/local/srs/objs/nginx/html

readOnly: false

- name: nginx

image: nginx

imagePullPolicy: IfNotPresent

ports:

- containerPort: 80

volumeMounts:

- name: cache-volume

mountPath: /usr/share/nginx/html

readOnly: true

EOF

Step2: 创建一个服务k8s service，基于ClusterIP提供Origin服务，供EdgeServer调用：

cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: Service

metadata:

name: srs-internal-origin-service

spec:

type: ClusterIP

selector:

app: srs-origin

ports:

- name: srs-internal-origin-service-1935-1935

port: 1935

protocol: TCP

targetPort: 1935

EOF

Note: Origin Server在集群内部提供流媒体源站服务，内部域名为srs-internal-origin-service，EdgeServer会通过该域名连接到OriginServer。

Step3: 创建一个服务k8s service，基于SLB提供HTTP服务，Nginx对外提供HLS服务：

cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: Service

metadata:

name: srs-http-service

spec:

type: LoadBalancer

selector:

app: srs-origin

ports:

- name: srs-http-service-80-80

port: 80

protocol: TCP

targetPort: 80

EOF

Note: Nginx通过SharedVolume读取SRSOrigin生成的切片，对外提供HLS服务。

Note: 这里我们选择ACK自动创建SLB和EIP，也可以手动指定SLB，参考指定购买的SLB和EIP。

Step4: 创建一个配置k8s ConfigMap，存储了SRSEdge Server使用的配置文件：

cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: ConfigMap

metadata:

name: srs-edge-config

data:

srs.conf: |-

listen 1935;

max_connections 1000;

daemon off;

http_api {

enabled on;

listen 1985;

}

http_server {

enabled on;

listen 8080;

}

vhost __defaultVhost__ {

cluster {

mode remote;

origin srs-internal-origin-service;

}

http_remux {

enabled on;

}

}

EOF

Note: Edge Server的配置中，通过Service注册的内部域名srs-internal-origin-service，连接到OriginServer。

Step5: 创建一个无状态应用k8s deployment，运行多个SRSEdge Server：

cat <<EOF | kubectl apply -f -

apiVersion: apps/v1

kind: Deployment

metadata:

name: srs-edge-deployment

labels:

app: srs-edge

spec:

replicas: 3

selector:

matchLabels:

app: srs-edge

template:

metadata:

labels:

app: srs-edge

spec:

volumes:

- name: config-volume

configMap:

name: srs-edge-config

containers:

- name: srs

image: ossrs/srs:3

imagePullPolicy: IfNotPresent

ports:

- containerPort: 1935

- containerPort: 1985

- containerPort: 8080

volumeMounts:

- name: config-volume

mountPath: /usr/local/srs/conf

EOF

Step6: 创建一个服务k8s service，Edge Cluster基于SLB对外提供流媒体服务：

cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: Service

metadata:

name: srs-edge-service

spec:

type: LoadBalancer

selector:

app: srs-edge

ports:

- name: srs-edge-service-1935-1935

port: 1935

protocol: TCP

targetPort: 1935

- name: srs-edge-service-1985-1985

port: 1985

protocol: TCP

targetPort: 1985

- name: srs-edge-service-8080-8080

port: 8080

protocol: TCP

targetPort: 8080

EOF

Note: 这里我们选择ACK自动创建SLB和EIP，也可以手动指定SLB，参考指定购买的SLB和EIP。

Step7: 大功告成。你可以推拉流了，其中HLS流可以从Nginx(80)播放，RTMP和HTTP-FLV从SRS播放：

  • Publish RTMP to rtmp://28.170.32.118/live/livestream
  • Play RTMP from rtmp://28.170.32.118/live/livestream
  • Play HTTP-FLV from http://28.170.32.118:8080/live/livestream.flv
  • Play HLS from http://28.170.32.118/live/livestream.m3u8

Note: 请将上面的EIP换成你自己的，可用命令kubectl get svc/srs-http-service或kubectl get svc/srs-edge-service查看你的EIP。

Note: 如果是自动创建SLB和EIP，那么HLS和RTMP/HTTP-FLV的IP是不一样的，你可以选择手动指定SLB，这两个服务可以用同一个SLB，参考指定购买的SLB和EIP。

LiveVideoStackCon 2020 上海/北京/旧金山 讲师招募

2020年LiveVideoStackCon将持续迭代，LiveVideoStackCon将分别在上海（6月13-14日），北京（9月11-12日）和旧金山（11月）举行。欢迎将你的技术实践、踩坑与填坑经历、技术与商业创业的思考分享出来，独乐不如众乐。请将个人资料和话题信息邮件到 speaker@livevideostack.com 或点击【阅读原文】了解成为LiveVideoStackCon讲师的权益与义务，我们会在48小时内回复。

tcp/ip html cdn kubernetes

0 人点赞