作者 | 核子可乐、褚杏娟
近日,文生视频公司 Pika 推出 Pika1.0,能够生成和编辑 3D 动画、动漫、卡通和电影等各种风格的视频,一经推出便在各大社交媒体上迅速走红。26 日凌晨,Pika 团队在社交平台 X 上宣布 Pika 1.0 网页端访问权限将在今天内向所有用户开放,而且这个阶段是所有用户都可以免费使用的。
在圣诞节期间,Pika 发布了一条将近 1 分钟的视频展现自己的技术能力,再次引发了大家的讨论。“我能想象到 Pika Labs 2.0 或 3.0 能有多好看”有网友称。
从表面上看,Pika 1.0 跟另一款通用 AI 视频生成平台 Runway 非常相似。二者就连运动控制系统也高度重合,前者唯一缺少的就是 Runway 刚刚发布、用于在特定区域内绘制运动轨迹的 Motion Brush 功能。
但有网友经过一系列测试后发现,Pika 1.0 的动作更加丰富,无需精细的控制,就能通过简单的提示词在特定区域内创作运动画面。在首次运行时,每条提示词会以一秒 24 帧的形式生成一段长度为 3 秒的片段,但大家可以根据需求灵活定制,比如扩展并升级每条生成的视频,或者添加更多精细细节、调整动作乃至对镜头做出各种调整。下面是网友“Ryan Morrison ”讲述的自己的使用体验。
Pika 1.0 测试体验
考虑到大多数模型仍处于 beta 测试阶段,对 AI 视频生成工具的测试多少有些运气成分,而且目前并没有通行的最佳测试方法。就个人来讲,Ryan 打算整理一组提示词,看看 AI 视频生成器会输出怎样的结果。
Ryan 从大家都熟悉的名人开始。某些 AI 模型会直接拒绝生成与名人相关的视频或图像,但 Pika Labs 在宣传视频中展示了卡通版伊隆·马斯克的镜头,所以 Ryan 在提示词中写下“伊隆·马斯克向入侵的外星人讲话”。
Pika Labs AI 视频工具很快生成了伊隆·马斯克的漫画风格片段,他看起来又苍老又疲惫,甚至跟尼克松有几分相像。但不用怀疑,我们一眼就能认出这就是马斯克。
可惜的是画面中没有外星人、也没有惊慌的人群,只有马斯克自己在说话。Ryan 不断调整和补全提示词,但始终得不到自己想要的效果——一群外星人聚集起来观看马斯克的演讲。
Ryan 又尝试了其他几条跟马斯克相关的提示词,而且这回更贴近宣传视频中的形式,要求 Pika 1.0 生成一段马斯克向火星殖民者们讲话的卡通片段。这下的结果靠谱了些,画面背景中出现了火星上的小型定居点。
下一轮测试是图像到视频实验。为此,Ryan 选择了一张由 Midjourney 生成的图片,毕竟最近风头很紧,我可不希望因为擅自在 AI 模型中使用图像而受到艺术家们的批评。
Ryan 想试试图像跟文本提示词组合后的生成效果如何。所以除了源图像之外,Ryan 还配上了“外星人入侵”的提示词。可 Pika Labs 工具似乎根本不关注文本内容,而是完全专注于通过图像制作动画。结果确实不错,但这款工具还是没有按照我的要求工作。
最后,Ryan 又尝试了视频到视频输出。在这次测试中,Ryan 拍下一段自己对着镜头说话的短片,上传之后提示“为我制作一段卡通片,让我登上一艘宇宙飞船”。
Pika 1.0 是否有些名不副实?
对于 Pika 1.0 是否实至名归,Ryan 评价称,总的来说,Pika 1.0 的输出质量令人印象深刻,使用高质量图像作为提示的话效果更佳。它在配合 Midjourney 图像时表现出色,能够很好地将其转化为动画片段。但在处理其他类型的输入或者格式时,Pika 的表现则不太尽人意。
Ryan 表示,视频到视频的生成效果也还不错,但如果单论人脸替换效果,那其他专业工具也能做到、甚至比 Pika 做得更好。比如 Reface 就专门使用生成式 AI 技术替换、变更或者完全改变面部特征。
Ryan 认为,Pika 1.0 基本符合大家所期待的下一阶段 AI 视频生成工具:输出效果非常漂亮,但动作部分仍需要改进。不过 AI 模型在处理 3D 运动空间时的表现仍在进步,相信随着时间推移,未来的成果将愈发出色。“至少就目前而言,Pika 作为一款有趣且免费的工具,已经做得足够好了。”
相关链接:
https://twitter.com/pika_labs/status/1739345676486561977?s=46
https://www.tomsguide.com/features/i-got-access-to-pika-labs-new-ai-video-tool-and-couldnt-believe-the-quality-of-the-videos-it-produced
点击底部阅读原文访问 InfoQ 官网,获取更多精彩内容!