Kurento实战之六：云端录制

2021-12-07 10:15:16 浏览数 (1)

本篇概览

  • 本文是《Kurento实战》系列的第六篇，前文咱们学习了通过KMS的组件播放流媒体，今天再来体验KMS的另一个强大功能：音视频录制，在播放的过程中，将音视频内容存储在KMS所在的硬盘上；
  • 整个系统的架构如下图所示，和《媒体播放》相比，蓝色是新增内容，可见依旧保持了前文架构，在此基础上，本文会使用一个新的组件RecorderEndpoint，借助此组件，取得PlayerEndpoint上的音视频内容，再将其以mkv、mp4、webm等格式存储在硬盘上：

源码下载

  • 本篇实战中的完整源码可在GitHub下载到，地址和链接信息如下表所示(https://github.com/zq2599/blog_demos)：

名称

链接

备注

项目主页

https://github.com/zq2599/blog_demos

该项目在GitHub上的主页

git仓库地址(https)

https://github.com/zq2599/blog_demos.git

该项目源码的仓库地址，https协议

git仓库地址(ssh)

git@github.com:zq2599/blog_demos.git

该项目源码的仓库地址，ssh协议

  • 这个git项目中有多个文件夹，本次实战的源码在kurentordemo文件夹下，如下图红框所示：
  • kurentordemo是整个《Kurento实战》系列的父工程，里面有多个子工程，本篇对应的源码是子工程player-with-record，如下图红框：

编码

  • 从前面的架构图可见，录制功能是基于前文《媒体播放》的架构进行增强的，因此本篇不再新建工程，而是在前文player-with-record工程的基础上增加一些代码即可；
  • 打开UserSession.java，增加两成员变量：
代码语言：javascript复制
// 日志类
private final Logger log = LoggerFactory.getLogger(UserSession.class);

// 每次播放对应的PlayerEndpoint对象，放在UserSession类中，这样便于执行关闭操作
private PlayerEndpoint playerEndpoint;
  • UserSession类的release方法，以前只有关闭playerEndpoint和mediaPipeline的功能，现在又增加了playerEndpoint的关闭操作，如下可见，在关闭recorderEndpoint的时候，用CountDownLatch实例来阻塞当前线程，直到KMS反馈recorderEndpoint关闭成功后，才继续执行原有的关闭playerEndpoint和mediaPipeline的操作，这个很好理解，recorderEndpoint涉及到写硬盘导致耗时较长，如果在写的过程中关闭掉它的源头playerEndpoint，是不合适的（playerEndpoint和mediaPipeline的关闭都会触发recorderEndpoint的关闭操作）：
代码语言：javascript复制
  public void release() {
    // 关闭录制组件
    if (recorderEndpoint != null) {
      log.info("do stop recorder endpoint");
      final CountDownLatch stoppedCountDown = new CountDownLatch(1);

      // 增加监听，等待KMS关闭录制组件的结果
      ListenerSubscription subscriptionId = recorderEndpoint
              .addStoppedListener(new EventListener<StoppedEvent>() {
                @Override
                public void onEvent(StoppedEvent event) {
                  log.info("finish stop recorder endpoint");
                  // 关闭成功后，把锁打开，这样stoppedCountDown.await方法就不再阻塞
                  stoppedCountDown.countDown();
                }
              });

      // 执行停止操作
      recorderEndpoint.stop();

      try {
        // 当前线程开始等待
        if (!stoppedCountDown.await(5, TimeUnit.SECONDS)) {
          log.error("Error waiting for recorder to stop");
        }
      } catch (InterruptedException e) {
        log.error("Exception while waiting for state change", e);
      }

      // 移除监听器
      recorderEndpoint.removeStoppedListener(subscriptionId);
    }

    this.playerEndpoint.stop();
    this.mediaPipeline.release();
  }
  • 新建文件PlayerRecorderHandler.java，内容和之前的PlayerHandler一模一样，在start方法的尾部增加以下代码，有几处要注意的地方稍后提到：
代码语言：javascript复制
    // 以当前的年月日时分秒作为文件名
    String path = "file:///tmp/"   new SimpleDateFormat("yyyyMMddHHmmss").format(new Date())   ".mp4";

    log.info("save path : {}", path);
    
    // 实例化录制组件
    RecorderEndpoint recorderEndpoint = new RecorderEndpoint
                                            .Builder(pipeline, path)
                                            .withMediaProfile(MediaProfileSpecType.MP4)
                                            .build();

    // 关联到用户，停止播放的时候
    user.setRecorderEndpoint(recorderEndpoint);

    // 连接到播放组件
    playerEndpoint.connect(recorderEndpoint);

    // 开始录制
    recorderEndpoint.record();
  • 上述代码中要注意的有两处：
  1. withMediaProfile的参数MediaProfileSpecType决定了存储文件的格式，以及具体的内容（音频、视频、音频 视频），看源码一目了然：
代码语言：javascript复制
public enum MediaProfileSpecType {
	WEBM, 
	MKV, 
	MP4, 
	WEBM_VIDEO_ONLY, 
	WEBM_AUDIO_ONLY, 
	MKV_VIDEO_ONLY, 
	MKV_AUDIO_ONLY, 
	MP4_VIDEO_ONLY, 
	MP4_AUDIO_ONLY, 
	JPEG_VIDEO_ONLY, 
	KURENTO_SPLIT_RECORDER}
  1. 通过playerEndpoint.connect建立组件之间的连接，这样录制组件就能取到合适的录制内容了；
  • 修改PlayerWithRecorder.java，增加以下方法，用于新建bean实例：
代码语言：javascript复制
  @Bean
  public PlayerRecorderHandler playerRecorderHandler() {
    return new PlayerRecorderHandler();
  }
  • 再修改PlayerWithRecorder.registerWebSocketHandlers方法，改为用PlayerRecorderHandler来处理websocket：
代码语言：javascript复制
  @Override
  public void registerWebSocketHandlers(WebSocketHandlerRegistry registry) {
//    registry.addHandler(handler(), "/player");
    registry.addHandler(playerRecorderHandler(), "/player");
  }
  • 本篇只是展示录制功能，因此做得很简单，开始播放时就开始录制，停止播放时自动停止录制，实际的操作方式可以更加灵活，例如增加独立的开始录制和停止录制按钮；
  • 编码已经完成，接下来开始验证；

验证

  • 注意：当player-with-record应用和KMS部署在不同电脑上时，录制的文件在KMS所在电脑上
  • 启动KMS
  • 启动player-with-record应用
  • 播放广东卫视rtmp://58.200.131.2:1935/livetv/gdtv：
  • 播放了一会儿然后停止播放，去检查kms容器内部，发现已经新增文件20210621075820.mp4，再执行docker cp命令将其从容器中复制到宿主机上：
代码语言：javascript复制
[root@centos7 ~]# docker exec kms ls /tmp
20210621075820.mp4
[root@centos7 ~]# docker cp kms:/tmp/20210621075820.mp4 ./
[root@centos7 ~]# ls
20210621075820.mp4
  • 用VLC播放此文件，声音和图像都正常：
  • 接下来将我这边遇到过的几个问题小结一下，希望能得到您的重视，这都是坑啊…

要注意的地方

  • 下面是在实际使用过程中遇到的几个坑，请提前注意：
  1. 要等recorder停止成功后，才去停止其他组件，因此执行了recorderEndpoint.stop方法后，要等待KMS通知执行成功，才能继续关闭playerEndpoint和mediaPipeline
  2. 流媒体中同时包含了视频流和音频流，才可以使用MediaProfileSpecType.MP4，如果只有视频流没有音频流，要使用MP4_VIDEO_ONLY，否则，可能导致生成的mp4文件大小为零，对应webm和mkv格式也有同样问题，请注意
  3. MP4作为音视频的容器，对音频格式的兼容性不够好，如果录制的mp4文件没有声音，请改为webm格式再试试
  4. 如果播放的是网络摄像头的RTSP流，那么此时音频编码格式可能是pcm，此时有可能录制的文件没有声音
  • 至此，云端录制功能的开发和验证都完成了，如果您正在使用kurento，希望本文能给您一些参考；
密钥管理服务 https 网络安全 git github

0 人点赞