LivePortrait,这个名字听起来就像是魔法,但它其实是现实世界中的黑科技。想象一下,你那尘封已久的相册里,那些定格在时间里的笑脸,突然间动了起来,眨眼、微笑、甚至说话,这不再是电影里的场景,LivePortrait让它变成了现实。
这是由业界大厂快手开源的一个项目,前段时间可灵的爆火,也让快手跟着火了一把,这个项目的开源,让老厂再次焕发新颜。
这个框架,就像是一个神奇的画笔,只需要你提供一张静态的肖像,它就能绘制出一段流畅的动态视频。这不仅仅是技术上的突破,更是对传统动画制作的一次颠覆。它高效、精确,甚至还能处理多人物肖像的无缝拼接,让每个人物的动作都自然流畅,没有任何突兀的边界。
今天的一键包在官方8月2日发布的最新版做了更新,新版主要新增了动物模式,可以驱动动物做任何表情同步操作了。而且新增了更多实用的图片和视频生成功能。因为更新的地方较多,所以这次没法做升级包,只提供完整的一键包。
需求人群:
"目标受众包括动画制作者、游戏开发者、电影后期制作人员等,他们需要快速生成逼真的人像动画,用于角色设计、广告制作或其他视觉媒体项目。LivePortrait因其高效和可控性,特别适合需要快速迭代和精确控制动画细节的专业用户。"
使用场景示例:
动画制作者使用LivePortrait快速生成角色动画,用于动画电影的预览。
游戏开发者利用LivePortrait为游戏角色创建逼真的面部表情。
广告制作团队使用LivePortrait为产品广告生成吸引人的动态人像。
产品特色:
从静态图像生成不同风格(现实、油画、雕塑、3D渲染)的人像动画
通过Kling生成的源视频进行人像视频编辑
基于给定的标量控制眼睛和嘴唇的开合程度
通过微调动物数据,实现对猫、狗和熊猫的精确驱动
在RTX 4090 GPU上以PyTorch实现12.8ms的生成速度
现在,无论你是想制作一段个性化的肖像视频,还是想给老照片赋予新的生命,LivePortrait都能帮你轻松实现。这不仅仅是一个工具,更是一个让创意无限扩展的平台。所以,别再让你的照片沉睡在相册里了,让LivePortrait唤醒它们,让它们动起来,讲述属于它们自己的故事。
使用教程:(只支持N卡,显存6G起)
先来看看 动物模式
动物模式基于Xposed模型,可以更加精确的检测和生成动物的面部表情。
动物模式支持上传Pickle文件和驱动视频文件来生成,如下图
自带几种Pickle表情,比如张嘴、害羞、愤怒、大笑、张嘴等。你也可以上传驱动视频来控制动物面部表情。
生成结果保留三种形式,一种视频、一种gif动画、还有一种对比视频。如下图:
动物生成操作和之前的版本是一样的,所以这里就不做过多说明。
下面说下人物生成:
和之前的版本操作差不多,多了几个参数,等下介绍下新增的几个参数
动画选项这里新增了驱动选项 “expression-friendly”和"pose-friendly"两个参数:
expression-friendly这个参数可以有效降低生成视频的抖动,但也有翻车的情况;
如果expression-friendly模式翻车了,可以切换到 pose-friendly 模式。
具体选择哪个模式,还是要根据生成的实际效果来决定。
驱动系数
控制最终生成效果的表情的强度,数值越大,生成的表情越接近驱动视频。
图像重定向 这里新增了三个头部转向参数,比如左右转向,上下转向和斜歪转向。
这个用途对于补全素材的小伙伴来说,可谓是太实用了。以后就可以用一张照片补全训练模型需要的多种角度的素材了。
具体效果如下图
可以更灵活的控制头部偏转方向了。
V2版本还新增了 视频重定向功能,可以控制视频中人物嘴唇张开度。
如上图,目标唇口张开率这个参数控制嘴巴张开大小,0是闭合,数值越大,代表张开度越大。
比如,上图中张嘴微笑的美女瞬间笑不漏齿,就是调节这个参数数值为0后生成的效果。
图片重定向和视频重定向这俩功能用途还远不止此,你还可以发挥想象,用来生成各种表情包等操作。