chatgpt国产化小规模化的实现非常的多。
今天我们用腾讯云提供的60块15天的t4服务器要来实现的是chatglm。
一个清华开源的类chatgpt对话式大参数量语言模型。
首先验证一下实例的python环境,python环境验证为3.8版本python。适合当前实验。
第二验证实例的cuda环境 cuda为11.4
第三开始安装实验所需要的基础深度学习框架
代码语言:javascript复制pip install torch==1.12.1 cu113 torchvision==0.13.1 cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
向下一个版本的cuda应该可以。在后面的实验中我们会验证一次。如果cuda不支持的话,需要我们重新安装一遍cuda适配的版本,之前的实验中cuda的选择11.7、11.8都是可以跑的。
第四开始寻找哪些盘符的空间比较大
代码语言:javascript复制df -h
第五进入盘符空间比较大的文件夹下,通过git clone获取chatglm的代码。
代码语言:javascript复制git clone https://github.com/THUDM/ChatGLM-6B.git
目前看git clone的速度比较慢一些。多clone两次发现还是能clone下来的。
第六 进入目录后执行 cli_demo.py
项目会自动下载chatglm模型。