一人千音的声音魔法,腾讯云音视频发布一站式实时变声解决方案

2023-11-18 16:17:57 浏览数 (2)

随着游戏、社交互动应用场景的不断延伸,如何通过语音互动给玩家带来更加娱乐性的玩法,是业务突破的关键命题。而实时变声可以让普通人也拥有灵活百变的音色,带来丰富、趣味的互动体验。

实时变声的原理,简而言之,就是将原始音频数据作为输入,经过编解码处理后进行输出。在娱乐方面,它可以让用户更自由地尝试各种声音变换,提高了娱乐性和参与乐趣。应用角度上,实时变声技术可以应用于多种场景,为秀场直播、语聊房、游戏语音、在线KTV和语音导航等场景实现更丰富的玩法。

实时变声丰富玩法场景

直播/语聊互动

实时变声可支持用户在语聊场景中随意变换音色,无论是少女音、大叔音还是童音,皆可一键灵活切换,让用户摆脱羞涩、尴尬,大胆开麦互动沟通。

  • 角色扮演:通过不同的变声效果,模拟出特定的角色音色,如卡通人物、电影角色等,与其他参与者进行有趣的角色扮演对话。例如,在剧本杀中,玩家可根据角色性格选择对应音色,实现更贴合剧本的对话演绎,创造沉浸式游戏体验。
  • 语音表情包:使用实时变声打造自己专属的热门语音表情包,不仅可以为聊天增添更多趣味,玩家还可将自己的独创作品,作为数字资产进行二次传播或售卖。
  • 唱歌互动:通过实时变声,玩家可以尝试用各种不同风格的声音,创造出独特的歌唱风格,还能用实时变声挑战模仿明星唱歌。甚至在合唱环节,玩家还可以各自模仿不同明星,同唱一首歌,创造更丰富的K歌体验。
  • 声音礼物:将不同种类的搞怪音色包装成礼物或盲盒,玩家可以通过为主播购买礼物、抽取盲盒来解锁相关音色,并为主播变声。主播则要用变声音色与观众互动,既能带动房间氛围、打造节目效果,还能刺激用户消费,增加业务收入。

虚拟角色互动

声音是最能传递情感的媒介,高辨识度的专属音色是构建虚拟角色的关键之一。实时变声在虚拟角色应用场景有很大的发挥用空间

  • 游戏角色扮演:玩家可使用实时变声模拟各种喜爱的游戏角色(NPC)的专属声音,为喜欢沉浸式体验的玩家提供“声音皮肤”,为他们带来更沉浸、逼真、丰富的游戏社交体验。游戏开黑时,实时变声还能成为社恐人的“声音面具”,社牛人提高魅力的“声音滤镜”,让玩家更积极地参与到语音互动中。
  • 虚拟社交:用户可对虚拟形象设置独特声音,使其更具个性化,增加与他人的互动趣味。虚拟人可在虚拟世界中举办各种演出活动,如虚拟音乐会、虚拟戏剧、购物节等,为观众带来沉浸式的互动体验。在虚拟世界中,玩家可通过使用变声驱动虚拟角色之间进行实时语音聊天,不仅可以创造更加有趣的交流氛围,也有助于保护用户的隐私。

腾讯云音视频联合dubbing

为客户打造一站式实时变声解决方案

腾讯云音视频结合自身领先的AI智能降噪技术与dubbing共同打造一站式实时变声解决方案,通过接入低成本、稳定可靠的终端SDK,即可将包含智能降噪的AI实时变声能力快速应用于实时互动的多种场景中,一站式解决降噪及变声两大场景核心需求,搭配新颖、有趣的互动语音玩法,给听众带来低延时、无杂音的高品质听觉盛筵。在增加用户互动趣味性的同时,可助力业务规模持续增长,提升行业的卓越竞争力。

效果自然可定制

毫秒级延时AI实时变声,千款音色灵活体验

AI实时变声的原理即是将实时输入的音频输入到已提前训练好的目标音色转换模型,并通过声码器合成变声的音频。腾讯云一站式实时变声解决方案提供的AI变声,可支持用户灵活、快速地选择和体验上千款音色,降低了用户使用的成本和门槛;可完美定向模拟音色、语调、语气和口音;表现出的效果更稳定;100ms内的超低延迟,可以灵活应用于实时互动场景,而且支持定制独有版权的专属音色。方案完美解决了传统变声,需要反复多次进行手动参数调整,转换输出无法定向精准匹配目标音色、输出音色僵硬、可选音色较少、定制十分繁琐等痛点问题。

实时变声原理

男声变声演示:

示例音色试听:

极致清晰流畅

自研AI智能降噪,确保全场景高质量语音体验

腾讯云自研的基于深度神经网络的 AI 智能降噪技术,通过积累的海量语音与噪声训练库,以心理声学的发音和听觉模型为基础,融合感知编码,并运用经典语音信号和深度学习,在模型特征提取上挖掘多尺度的音频特征信息,从而通过多目标优化函数训练,综合调节loss函数,得到AI降噪模型。

腾讯云一站式实时变声解决方案采用的降噪技术融合了常规的 DSP 降噪算法以及 AI 降噪算法,能对各种类型的噪声进行抑制,包括稳态噪声(比如空调声等)以及非平稳噪声(手机屏幕敲击/键盘鼠标音等)。保证用户在任何场景下开麦互动时,都可以拥有清晰、流畅的高质量语音互动体验。


欢迎扫描下方二维码添加音视频小姐姐微信,获取AI变声Demo安装包,与产研团队直接沟通,了解更多详细信息。

腾讯云音视频在音视频领域已有超过21年的技术积累,持续支持国内90%的音视频客户实现云上创新,独家具备腾讯云RT-ONE™全球网络,在此基础上,构建了业界最完整的 PaaS 产品家族,并通过腾讯云视立方 RT-Cube™ 提供All in One 的终端SDK,助力客户一键获取众多腾讯云音视频能力。腾讯云音视频为全真互联时代,提供坚实的数字化助力。

0 人点赞