基于AI的舞蹈合成概论

文章目录

• 背景介绍
• 前沿方法介绍
• 基于音乐的动作编排

背景介绍

1. 在现实应用中，由于舞蹈中肢体活动较灵活和摄像头角度变化，导致人体各部位的可视信息变化颇大，从而为生成高分辨率的目标舞蹈图像带来巨大挑战。
2. 用户需要输入舞蹈视频来生成目标任务的舞蹈
   1. 输入视频运用openpose 开源框架进行人物骨架信息提取
   2. 骨架信息生成目标人物的舞蹈动作视频

   

3. 虚拟主持人近年来成为研究的热点，而且已经有实际的应用，其中一个难点就是如何将虚拟人物形象的表情和口形与语言相结合。

前沿方法介绍

1. 生成对抗网络模型[13]由于其利用对抗训练技巧而产生高分辨率图像的能力特别受到欢迎。例如在视觉领域，生成逼真的图像对于诸如面部编辑，电影制作和基于合成图像的图像检索的许多应用具有很大价值[14,15]。
2. 卷积神经网络（Convolutional Neural Network, CNN）作为一种高效的识别方法，在模式识别以及计算机视觉等领域引起了学术界和工业界的广泛关注，是深度学习架构中最常用的一种。
3. [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RJ3U4qhy-1619337793303)(https://i.loli.net/2021/04/25/pvNUeKV5ZLSo4BQ.jpg)]

基于音乐的动作编排

• 音乐节拍分析是动作编排的关键问题。主要的难点是构建音乐与动作序列的映射。