本文来自流媒体直播集群SRS的官方wiki（https://github.com/ossrs/srs/wiki/v4_CN_K8s），由SRS的创始作者杨成立授权发布。
文 / 杨成立
当SRS遇到K8s：快速构建高并发直播集群
本章描述了基于K8s，如何构建Origin Cluster支持超多推流场景。
Origin Cluster通过配置其他源站的信息，在本源站没有流时查询到流的位置，通过RTMP302定向到指定源站，具体原理可以参考#464。主要应用场景如下：
- 源站灾备：即使流比较少，也可以用两个源站，这样可以将流分散到不同的源站，避免源站出现问题时影响所有的流。
- 海量推流：单源站可以支持1000到3000路流，高码率的流支持的路数更少，有DVR和HLS时支持的路更少，源站集群有多个源站同时接收推流，可以支持10k~100k推流，参考规格。
- 复杂源站业务：源站除了支持推流和拉流，还有重要的功能是DVR、转码、转HLS，DVR和HLS涉及磁盘，转码涉及CPU，都是容易发生瓶颈的资源依赖，源站集群扩展能力更强。
在这个场景下，对比K8s和传统使用方式的差异：
Step 1: 由于SRS和Nginx不在一个Pod可能也不在一个Node，需要创建依赖的PV(Persistent Volume)持久化卷，可购买NAS例如：
- 驱动类型(PV driver)：alicloud/nas
- 挂载点(PV server)，可在控制台创建、查看和复制：1abb5492f7-ubq80.cn-beijing.nas.aliyuncs.com
- NFS版本(PV vers)：3
在NAS基础上可以创建PV，以及PVC：
- pv-nas，从NAS存储创建的PV，支持多写和多读，Pod不使用存储后会回收，也就是删除这些数据。
- pvc-nas，SRS和Nginx源站使用的PVC，具有读写权限。读取SRS的静态文件和HLS并分发。
cat <<EOF | kubectl apply -f -apiVersion: v1kind: PersistentVolumemetadata: name: pv-nas labels: pv: nfs-pvspec: capacity: storage: 100Gi storageClassName: nas accessModes: -ReadWriteMany -ReadOnlyMany persistentVolumeReclaimPolicy: Retain flexVolume: driver: "alicloud/nas" options: server: "1abb5492f7-ubq80.cn-beijing.nas.aliyuncs.com" path: "/k8s" vers: "3" options: "nolock,tcp,noresvport" --- apiVersion: v1kind: PersistentVolumeClaimmetadata: name: pvc-nasspec: accessModes: -ReadWriteMany storageClassName: nas resources: requests: storage: 100Gi selector: matchLabels: pv: nfs-pvEOFNote:请将上面的挂载点(PV server)替换成你的。
Step 2: 创建SRS源站集群和Nginx源站应用和服务。
- srs-origin-config: 创建一个配置k8s ConfigMap，存储了SRS Origin Server使用的配置文件。
- socs: 创建一个Headless服务k8s service，基于Headless Service提供Origin服务，每个Origin都有自己的服务地址，例如srs-origin-0.socs，供内部Edge Server调用。
- srs-origin: 创建一个有状态应用k8s StatefulSet，运行SRS Origin Cluster，HLS写入共享存储PV。
- nginx-origin-deploy: 创建一个无状态应用k8s deployment，运行Nginx，将SRS静态文件写入PV，从共享存储PV读取HLS和静态文件。
- srs-http-service: 创建一个服务k8s service，基于SLB提供HTTP服务，Nginx对外提供HLS服务。
- srs-api-service: 创建一个服务k8s service，基于SLB提供HTTP服务，SRS第一个源站提供API服务，标签为statefulset.kubernetes.io/pod-name: srs-origin-0。
cat <<EOF | kubectl apply -f -apiVersion: v1kind: ConfigMapmetadata: name: srs-origin-configdata: srs.conf: |- listen 1935; max_connections 1000; daemon off; http_api { enabled on; listen 1985; } http_server { enabled on; listen 8080; } vhost __defaultVhost__ { cluster { origin_cluster on; coworkers srs-origin-0.socssrs-origin-1.socs srs-origin-2.socs; } http_remux { enabled on; } hls { enabled on; } } --- apiVersion: v1kind: Servicemetadata: name: socsspec: clusterIP: None selector: app: srs-origin ports: -name: socs-1935-1935 port: 1935 protocol: TCP targetPort: 1935 --- apiVersion: apps/v1kind: StatefulSetmetadata: name: srs-origin labels: app: srs-originspec: serviceName: "socs" replicas: 3 selector: matchLabels: app: srs-origin template: metadata: labels: app: srs-origin spec: volumes: - name: cache-volume persistentVolumeClaim: claimName: pvc-nas - name: config-volume configMap: name: srs-origin-config containers: - name: srs image: ossrs/srs:3 imagePullPolicy: IfNotPresent ports: - containerPort: 1935 - containerPort: 1985 - containerPort: 8080 volumeMounts: - name: cache-volume mountPath: /usr/local/srs/objs/nginx/html readOnly: false - name: config-volume mountPath: /usr/local/srs/conf --- apiVersion: apps/v1kind: Deploymentmetadata: name: nginx-origin-deploy labels: app: nginx-originspec: replicas: 1 selector: matchLabels: app: nginx-origin template: metadata: labels: app: nginx-origin spec: volumes: - name: cache-volume persistentVolumeClaim: claimName: pvc-nas containers: - name: nginx image: nginx imagePullPolicy: IfNotPresent ports: - containerPort: 80 volumeMounts: - name: cache-volume mountPath: /usr/share/nginx/html readOnly: true - name: srs-cp-files image: ossrs/srs:3 imagePullPolicy: IfNotPresent volumeMounts: - name: cache-volume mountPath: /tmp/html readOnly: false command: ["/bin/sh"] args: ["-c", "cp -R ./objs/nginx/html/* /tmp/html/; sleepinfinity"] --- apiVersion: v1kind: Servicemetadata: name: srs-http-servicespec: type: LoadBalancer selector: app: nginx-origin ports: -name: nginx-origin-service-80-80 port: 80 protocol: TCP targetPort: 80 --- apiVersion: v1kind: Servicemetadata: name: srs-api-servicespec: type: LoadBalancer selector: statefulset.kubernetes.io/pod-name: srs-origin-0 ports: -name: srs-api-service-1985-1985 port: 1985 protocol: TCP targetPort:1985EOFRemark:假设SRS源站有状态服务srs-origin配置的Replicas为2，则会生成两个源站srs-origin-0.socs和srs-origin-1.socs，若新增了源站比如Replicas为3，则需要在配置中加上srs-origin-2.socs。
Remark:我们启动了一个srs-cp-files的container，拷贝SRS默认的文件，参考#1603.
Note:Origin Server在集群内部提供流媒体源站服务，内部域名为srs-origin-0.socs和srs-origin-1.socs，EdgeServer会通过该域名连接到OriginServer。
Note:Nginx通过SharedVolume(PV)读取SRSOrigin生成的切片，对外提供HLS服务。
Note:这里我们选择ACK自动创建SLB和EIP，也可以手动指定SLB，参考指定购买的SLB和EIP。
Step 3: 创建SRS边缘配置、应用和服务。
- srs-edge-config: 创建一个配置k8s ConfigMap，存储了SRS Edge Server使用的配置文件。
- srs-edge-deploy: 创建一个无状态应用k8s deployment，运行多个SRS Edge Server。
- srs-edge-service: 创建一个服务k8s service基于SLB对外提供流媒体服务。
cat <<EOF | kubectl apply -f -apiVersion: v1kind: ConfigMapmetadata: name: srs-edge-configdata: srs.conf: |- listen 1935; max_connections 1000; daemon off; http_api { enabled on; listen 1985; } http_server { enabled on; listen 8080; } vhost __defaultVhost__ { cluster { mode remote; origin srs-origin-0.socssrs-origin-1.socs srs-origin2.socs; } http_remux { enabled on; } } --- apiVersion: apps/v1kind: Deploymentmetadata: name: srs-edge-deploy labels: app: srs-edgespec: replicas: 4 selector: matchLabels: app: srs-edge template: metadata: labels: app: srs-edge spec: volumes: - name: config-volume configMap: name: srs-edge-config containers: - name: srs image: ossrs/srs:3 imagePullPolicy: IfNotPresent ports: - containerPort: 1935 - containerPort: 1985 - containerPort: 8080 volumeMounts: - name: config-volume mountPath: /usr/local/srs/conf --- apiVersion: v1kind: Servicemetadata: name: srs-edge-servicespec: type: LoadBalancer selector: app: srs-edge ports: -name: srs-edge-service-1935-1935 port: 1935 protocol: TCP targetPort: 1935 -name: srs-edge-service-8080-8080 port: 8080 protocol: TCP targetPort: 8080EOFRemark:假设SRS源站有状态服务srs-origin配置的Replicas为2，则会生成两个源站srs-origin-0.socs和srs-origin-1.socs，若新增了源站比如Replicas为3，则需要在配置中加上srs-origin-2.socs。
Note:Edge Server的配置中，通过源站在HeadlessService注册的内部域名srs-origin-0.socs等等，连接到OriginServer。
Note:这里我们选择ACK自动创建SLB和EIP，也可以手动指定SLB，参考指定购买的SLB和EIP。
Step 4: 大功告成。你可以推拉流了，其中HLS流可以从Nginx(80)播放，RTMP和HTTP-FLV从SRS播放：
- Publish RTMP to rtmp://28.170.32.118/live/livestream or to origin or to edge.
- Play RTMP from rtmp://28.170.32.118/live/livestream
- Play HTTP-FLV from http://28.170.32.118:8080/live/livestream.flv
- Play HLS from http://28.170.32.118/live/livestream.m3u8
Note:请将上面的EIP换成你自己的，可用命令kubectlget svc/srs-http-service或kubectl get svc/srs-edge-service查看你的EIP。
Note:如果是自动创建SLB和EIP，那么HLS和RTMP/HTTP-FLV的IP是不一样的，你可以选择手动指定SLB，这两个服务可以用同一个SLB，参考指定购买的SLB和EIP。
这里我们选择的是有状态集群方式，也可以选择以无状态应用(Deployment)方式部署源站，区别在于每个源站都需要创建一个Deployment和Service，参考源站集群部署方式，例如：
- 第0个源站，Deployment命名为srs-origin-0-deploy，ClusterIP服务命名为srs-origin-0。
- 第1个源站，Deployment命名为srs-origin-1-deploy，ClusterIP服务命名为srs-origin-1。
- 第2个源站，Deployment命名为srs-origin-2-deploy，ClusterIP服务命名为srs-origin-2。
- 源站配置改成coworkers srs-origin-0 srs-origin-1 srs-origin-2;。
- 边缘配置改成origin srs-origin-0 srs-origin-1 srs-origin-2;。
