大模型高效下载部署方式

一、 hfd：Huggingface 专用下载工具

1. 下载 hfd

代码语言：txt复制

wget https://hf-mirror.com/hfd/hfd.sh
chmod a x hfd.sh 

2. 设置环境变量(Linux Ubtun)

代码语言：txt复制

export GF_ENDPOINT=https://hf-mirror.com

3. 下载模型

代码语言：txt复制

sh hfd.sh gpt2 --tool aria2c -x 4

4.下载数据集

代码语言：txt复制

sh hfd.sh wikitext --dataset --tool aria2c -x 4 

二、国内魔塔社区下载

下面以cogvlm2-llama3-chinese-chat-19B 为例子

SDK下载

代码语言：txt复制

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('ZhipuAI/cogvlm2-llama3-chinese-chat-19B')

git下载

代码语言：txt复制

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/cogvlm2-llama3-chinese-chat-19B.git

大模型知识引擎

0 人点赞