国外资源国内镜像访问(亲测)

2024-05-20 16:00:26 浏览数 (1)

关于huggingface模型下载:

手动下载(测试时间20240328):

suno/bark · Hugging Face

https://hf-mirror.com/suno/bark

清华镜像:https://mirrors.tuna.tsinghua.edu.cn/

方式一:

使用huggingface镜像的方式为:HF_ENDPOINT=https://hf-mirror.com python yourmodel.py

代码下载:

import llama

#MODEL = '/home/guo/llama_test/llama_model'

MODEL = 'decapoda-research/llama-7b-hf'

# MODEL = 'decapoda-research/llama-13b-hf'

# MODEL = 'decapoda-research/llama-30b-hf'

# MODEL = 'decapoda-research/llama-65b-hf'

#建议使用tuna 与 bfsu

tokenizer = llama.LLaMATokenizer.from_pretrained(MODEL,mirror='tuna')

model = llama.LLaMAForCausalLM.from_pretrained(MODEL, mirror='tuna',low_cpu_mem_usage = True)

model.to('cpu')

batch = tokenizer("Yo mama", return_tensors = "pt")

print(tokenizer.decode(model.generate(batch["input_ids"], max_length=100)[0]))

方式二:手动下载模型文件(侵入式)

wget https://hf-mirror.com/hfd/hfd.sh

chmod a x hfd.sh

export HF_ENDPOINT=https://hf-mirror.com/hfd.sh openai-community/gpt2

--tool aria2c -x 4 对应下载的模型库路径为:openai-community/gpt2 · HF Mirror

关于github的镜像仓库下载

目前,国内可用的镜像网站有:

# 服务器位于香港

https://github.com.cnpmjs.org

# 服务器位于杭州

https://gitclone.com

# 服务器位于香港

https://doc.fastgit.org

比如在 clone 某一代码的时候,要用到的命令为:

git clone https://github.com/XXXXX

选择一个上面的镜像网站地址,例如选择 https://doc.fastgit.org (个人常用),将命令更改为:

git clone https://hub.fastgit.org/XXXXX

注意,以上网站请不要登录,在进行替换之前请先进入网站查看对应的替换命令,不同的网站替换方式不同。

或者使用全局参数,更改 git 参数

git config --global url."https://hub.fastgit.org/".insteadOf "https://github.com/"

使用全局参数更改以后,使用 vim ~/.gitconfig 命令即可查看当前的配置文件,看到以下配置。

[url "https://url you choose"] insteadOf = https://github.com/

关于pypi源:

linux进入到~/.pip/pip.conf

[global]

index-url=http://mirrors.aliyun.com/pypi/simple

trusted-host=mirrors.aliyun.com

window进入到~/pip/pip.conf

[global]

index-url=http://mirrors.aliyun.com/pypi/simple

trusted-host=mirrors.aliyun.com

关于conda源(国内源已经全部失效,建议直接使用国外默认源即可,速度还可以):

在~/.condarc修改conda 源:

channels:

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/fastai/

show_channel_urls: true

ssl_verify: false

0 人点赞