60块15天的t4显卡服务器 如何玩转chatgpt系列语言模型

2023-04-23 12:12:43 浏览数 (1)

chatgpt国产化小规模化的实现非常的多。

今天我们用腾讯云提供的60块15天的t4服务器要来实现的是chatglm。

一个清华开源的类chatgpt对话式大参数量语言模型。

首先验证一下实例的python环境,python环境验证为3.8版本python。适合当前实验。

第二验证实例的cuda环境 cuda为11.4

第三开始安装实验所需要的基础深度学习框架

代码语言:javascript复制
pip install torch==1.12.1 cu113 torchvision==0.13.1 cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113

向下一个版本的cuda应该可以。在后面的实验中我们会验证一次。如果cuda不支持的话,需要我们重新安装一遍cuda适配的版本,之前的实验中cuda的选择11.7、11.8都是可以跑的。

第四开始寻找哪些盘符的空间比较大

代码语言:javascript复制
df -h

第五进入盘符空间比较大的文件夹下,通过git clone获取chatglm的代码。

代码语言:javascript复制
git clone https://github.com/THUDM/ChatGLM-6B.git

目前看git clone的速度比较慢一些。多clone两次发现还是能clone下来的。

第六 进入目录后执行 cli_demo.py

项目会自动下载chatglm模型。

0 人点赞