一、CogVideoX简介
智谱AI在8月6日宣布了一个令人兴奋的消息：他们开源了视频生成模型CogVideoX，目前，其提示词上限为 226 个 token，视频长度为 6 秒，帧率为 8 帧 / 秒，视频分辨率为 720*480，而这仅仅是初代，性能更强参数量更大的模型正在路上。
CogVideoX的核心在于它的3D变分自编码器，这项技术能够将视频数据压缩至原来的2%，极大地降低了模型处理视频时所需的计算资源，还巧妙地保持了视频帧与帧之间的连贯性，有效避免了视频生成过程中可能出现的闪烁问题。
为了进一步提升内容的连贯性，CogVideoX采用了3D旋转位置编码（3D RoPE）技术，使得模型在处理视频时能够更好地捕捉时间维度上的帧间关系，建立起视频中的长期依赖关系，从而生成更加流畅和连贯的视频序列。
在可控性方面，智谱AI研发了一款端到端的视频理解模型，这个模型能够为视频数据生成精确且与内容紧密相关的描述。这一创新极大地增强了CogVideoX对文本的理解和对用户指令的遵循能力，确保了生成的视频不仅与用户的输入高度相关，而且能够处理超长且复杂的文本提示。
- 代码仓库：https://github.com/THUDM/CogVideo
- 模型下载：https://huggingface.co/THUDM/CogVideoX-2b
- 技术报告：https://github.com/THUDM/CogVideo/blob/main/resources/CogVideoX.pdf
- 丹摩智算平台：https://damodel.com/register?source=1D5686A0
本篇博客将详细介绍部署和初步使用CogVideoX的实践流程。
二、CogVideoX部署实践流程
2.1、创建丹摩实例
首先进入控制台，选择GPU云实例，点击创建实例：
由于CogVideoX在FP-16 精度下的推理至少需 18GB 显存，微调则需要 40GB 显存，我们这里可以选择L40S显卡（推荐）或者4090显卡，硬盘可以选择默认的100GB系统盘和50GB数据盘，镜像选择PyTorch2.3.0、Ubuntu-22.04，CUDA12.1镜像，创建并绑定密钥对，最后启动。
2.2、配置环境和依赖
进入JupyterLab后，打开终端，首先输入git clone https://github.com/THUDM/CogVideo.git，拉取CogVideo代码的仓库，如遇到github连接超时，可以使用本地下载压缩包然后上传到服务器解压，拉取成功后会显示CogVideo-main的文件夹如下：
其次，cd进入CogVideo-main文件夹，输入pip install -r requirements.txt安装对应依赖:
其中第一个依赖需要从GitHub仓库中安装特定版本的diffusers包，在安装中可能会出现Running command git clone --filter=blob:non过久：
这种情况可以选择使用本地下载diffusers-0.30.0.dev0-py3-none-any.whl文件（夸克网盘链接：https://pan.quark.cn/s/67d4bf445556），再使用pip install diffusers-0.30.0.dev0-py3-none-any.whl安装对应版本的diffusers，然后再删除requirements.txt文件中的git https://github.com/huggingface/diffusers.git@878f609aa5ce4a78fea0f048726889debde1d7e8#egg=diffusers那一行，继续使用pip安装剩下的依赖
以上依赖安装好后，可以在终端输入python，然后输入以下代码进行测试：
代码语言：javascript复制import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video显示如下状态，没有报错就说明依赖安装成功！
2.3、上传模型与配置文件
除了配置代码文件和项目依赖，还需要上传CogVideoX模型文件和对应的配置文件。打开huggingface，进入https://huggingface.co/THUDM/CogVideoX-2b/tree/main仓库，找到Files and versions目录，将其中的所有模型和配置文件全部下载到本地。
一共大概9GB 大小的文件，下载完成后的目录如下：
然后点击丹摩控制台-文件存储-上传文件，将刚刚下载好的整个CogVideo文件夹上传，上传好后的文件存在实例的/root/shared-storage目录。
上传完成后，继续打开终端，cd进入/root/shared-storage，输入ls可以看到刚刚上传好的CogVideo的文件夹已经显示在文件目录中。
2.4、开始运行
上传完成后，在CogVideo-main文件新建一个test.py文件
test.py代码内容如下，主要使用diffusers库中的CogVideoXPipeline模型，加载了一个预训练的CogVideo模型，然后根据一个详细的文本描述（prompt），生成对应视频：
import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video
# prompt里写自定义想要生成的视频内容
prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, flowing stream and vibrant green foliage, enhancing the peaceful and magical atmosphere of this unique musical performance."
pipe = CogVideoXPipeline.from_pretrained(
"root/shared-storage/CogVideo", # 这里填CogVideo模型存放的位置，此处是放在了丹摩实例的共享空间，也可以放到项目文件夹里
torch_dtype=torch.float16
).to("cuda")
# 参数do_classifier_free_guidance设置为True可以启用无分类器指导，增强生成内容一致性和多样性
# num_videos_per_prompt控制每个prompt想要生成的视频数量
# max_sequence_length控制输入序列的最大长度
prompt_embeds, _ = pipe.encode_prompt(
prompt=prompt,
do_classifier_free_guidance=True,
num_videos_per_prompt=1,
max_sequence_length=226,
device="cuda",
dtype=torch.float16,
)
video = pipe(
num_inference_steps=50,
guidance_scale=6,
prompt_embeds=prompt_embeds,
).frames[0]
export_to_video(video, "output.mp4", fps=8)运行成功后，可以在当前文件夹中找到对应prompt生成的output.mp4视频：
