在HuggingFace上fork repository

2022-08-05 10:05:24 浏览数 (2)

该操作的意图主要是有修改 再发布的需求,原始的模型仓库可能来自于自己的组织,也可能是某个你喜欢的模型,你期望按照自己的方式做些小修补再发布一次。

这里介绍两个方法:

  • 通过git git lfs工具进行分叉
  • 直接在HuggingFace的UI上做人工“分叉”

这两个方法各有优缺点,先做快速介绍,再总结:

通过git git lfs工具进行分叉

按照以下方式执行,亲测可行:

代码语言:shell复制
git lfs clone https://huggingface.co/${NEW_ORG}/${MODEL_NAME}
cd ${MODEL_NAME}
git lfs install --skip-smudge --local # --local affects only this clone, try without it
git remote add upstream https://huggingface.co/${ORIGINAL_ORG}/${MODEL_NAME}
git fetch upstream
git checkout -b temp upstream/main
git rebase main # resolve conflicts if needed and finish rebasing
git lfs pull upstream
git push origin temp
git lfs push --all origin temp
git lfs install --force --local

简单解释就是:

  • 先创建自己的仓库
  • 再把要fork的仓库设置为新残酷的upstream
  • 拉取upstream的内容到一个新的branch
  • rebase再push

需要注意的是,需要安装git lfs:

代码语言:shell复制
$curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
$sudo apt-get install git-lfs
$git lfs install

Mac用户可以直接通过 brew install 来完成工具的安装。

这个方法主要是在命令行进行操作,缺点在于push的阶段是通过网络流量“硬推”,慢。。。

而且还需要处理一些莫名其妙的,莫须有的merge问题

因此,我们介绍第二个方法:

在HuggingFace的UI上做人工“分叉”

第一步,先把你要fock的模型通过git命令拉到本地。

代码语言:shell复制
git clone https://huggingface.co/${ORIGINAL_ORG}/${MODEL_NAME}

第二步,在huggingface上,你要fork出来的新仓库上,把本地文件通过upload的方式上传到仓库中

无论文件多大,几乎都是瞬间上传

原因在于,因为我们是"fork",也就是将已经存在于HuggingFace的文件放到另一个地址。HuggingFace首先通过hash判断这个文件已经存在了,然后就会跳过用户内容上传的过程,直接在其文件系统内部完成数据的拷贝。目前,使用这种方式只能单个文件上传,而如果能够提供批量上传的方式,那速度和操作的简易性就完全秒杀通过命令行的方式了。

因此,如果网络吞吐不佳的情况,可以选择这种方式。因为HuggingFace上的model通常也就几个文件,文件的特性是大而少,人工操作不会太过复杂

0 人点赞