ClubHouse 上线支持Replay功能
作为最火的音频直播产品ClobHouse依旧保持比较快的迭代能力, 最近支持 Replay能力, 说的通俗一点就是支持直播的回放能力。ClobHouse在回放的能力之上又做了一些创新,可以让房间创建者在直播结束之后看到谁在听一个房间的回放,还可以让他们与其他没有实时收听的用户联系。回放能力虽然已经被应用的很多,但我比较好奇的是如果支持了回放能力就跟以前的博客有什么区别呢?这个问题可以延伸到直播和短视频的对比上,直播的创作成本很低,短视频的创作成本较高,但单位时间内信息密度明显直播小于短视频很多,目前短视频的消耗时长也明显高于直播。
ClubHouse的音频直播的空间有多大呢?我简单的搜索了一下Clubhouse的Google Trends,最近半年搜索量是逐渐下降的,祝ClubHouse好运。
相关阅读:
https://blog.clubhouse.com/clubhouse-replays-room-recording/
WebOBS直播推流工具要流行起来了?
OBS一直是企业直播/个人直播的主流的直播推流工具, StreamLab这家基于OBS开发直播工具的厂商也在19年被罗技以8900万美元的现金收购。随着Web端能力越来越强大, 比如WebGPU, WebCodecs,WebTransport,WebAssembly,这些技术的出现让在Web端进行复杂的音视频处理,合流,美颜,人像分割等等成为了可能。
相关产品:
StreamYard : https://streamyard.com/ Melon : https://melonapp.com/ Welder : https://www.getwelder.com/streaming-software
腾讯云 Penguins AI-Codec 超低码率高清语音编解码解密
腾讯会议发布的Penguins 音频编解码器,也与研发人员交流了行业情况。目前微软的Satin 音频编码号称在Teams中1v1通过场景中落地,Google 的SoundStream 还没有看到具体的落地消息。
很开心的是看到腾讯在这个方向其实走在了前列。
摘抄文中的一段话非常认可:
5G乃至未来更强的通信技术发展会带来更丰富的带宽资源,但人们对实时音视频体验的追求也是无止境的。我们不仅需要听得清,还需要听得真。对于实时的全频带音频传输、空间音频技术乃至声场重建等技术,高效率编解码器可以为这些技术带来更可靠有效的基础支持;而且在现实情况中总是会有弱网情况的出现,通过高效编解码节省的资源可以用于抗性提升,保障实时通信的稳定性。因此,Penguins及其未来演进版本的提出,将有非常广阔的应用前景
相关阅读: https://mp.weixin.qq.com/s/eauCoafH7xP5vUkI9rvuUg
Ringcentral:给你的会议增加AI能力
Ringcentral 近日更新了他们的会议产品,这次主打AI能力。这几个能力包括:
1,自动跟随能力。当你进行移动的时候你的采集画面的焦点会跟追你的面部;
2,低光补偿。当你在昏暗环境下开会的时候,AI算法会自动进行灯光补偿;
3,视频滤镜。可以为你的画面增加更有趣的效果。
无独有偶的是Zoom 前一段时间刚增加了自动翻译能力,Google Meet 前一段时间也增加了灯光自动补偿等能力,Around 也增加了自动跟随和智能降噪等能力。在视频会议越来越同质化的现在,各家产品不得不开始进行微创新来增加用户粘性。
相关阅读:https://www.ringcentral.com/us/en/blog/ringcentral-mvp-meeting-ai/
WebRTC M96 即将发布,将废除Plan B
Plan-B是Chrome/Chromium 独有的实现,Safari 和 Firefox一直支持Unified Plan, Chrome在M72 已经支持Unified Plan。从某种程度上说如果后续再开发WebRTC 可以不考虑Plan B的支持了,因为Unified Plan的支持已经非常好。
Plan-B 和 Unified Plan 各有优劣,在只有一路音频和视频的时候这两种方案并没有什么区别,在多路音视频的时候Unified Plan 每一路音视频都会有一个Mline,这样就提供了很大的灵活性,可以针对每一路音视频协商不同的能力,比如我们有一路摄像头和一个屏幕共享,就可以让屏幕共享使用av1编码,而摄像头使用h264。
作为多年跟SDP打交道的开发者不得不说SDP Sucks,SDP真的是一个很糟糕的设计,它是一个标准但又是一个相对灵活的标准,每家的实现可能又不一样,不得不花费很多精力进行SDP的适配,如果你还有没有被SDP的适配困扰过某种意义上你可能还没有完全了解WebRTC。但标准一旦确立,别人撼动它也很难,微软曾经搞出来ORTC标准来屏蔽SDP的协商问题,最终也还是失败了。
相关阅读: https://www.chromestatus.com/roadmap
Unreal Engine 即将支持WebRTC 通过WHIP推流
Unreal Engine 较早就支持WebRTC,Unreal Engine 基于WebRTC开发了他们的Pixel Streaming服务,让用户可以在云端服务器上运行虚幻引擎应用程序,通过WebRTC将渲染的帧和音频流送到浏览器和移动设备上。场景非常像云游戏或者云渲染。
国外有位开发者 Murillo (开源WebRTC媒体服务器Meddoze的作者) 给Unreal Engine 增加了使用WebRTC 通过WHIP的支持。支持WHIP 标准之后,可以让一些对WebRTC和音视频不熟悉的开发者也可以很方便的使用WebRTC推流,这将把云游戏/云渲染的开发成本降低很多。期待这个PR可以早日合并。
另外需要说的是腾讯云的快直播也已经支持WHIP协议推流,后面你可以很方便的从Unreal Engine 或者 Unity 中把渲染好的画面推动到腾讯云,并做到端到端几百ms内的延迟观看。
关于腾讯云快直播的WHIP推流能力,我写了一个demo放在github上,
https://github.com/Tencent-RTC/leb-whip-example