该操作的意图主要是有修改 再发布的需求,原始的模型仓库可能来自于自己的组织,也可能是某个你喜欢的模型,你期望按照自己的方式做些小修补再发布一次。
这里介绍两个方法:
- 通过git git lfs工具进行分叉
- 直接在HuggingFace的UI上做人工“分叉”
这两个方法各有优缺点,先做快速介绍,再总结:
通过git git lfs工具进行分叉
按照以下方式执行,亲测可行:
代码语言:shell复制git lfs clone https://huggingface.co/${NEW_ORG}/${MODEL_NAME}
cd ${MODEL_NAME}
git lfs install --skip-smudge --local # --local affects only this clone, try without it
git remote add upstream https://huggingface.co/${ORIGINAL_ORG}/${MODEL_NAME}
git fetch upstream
git checkout -b temp upstream/main
git rebase main # resolve conflicts if needed and finish rebasing
git lfs pull upstream
git push origin temp
git lfs push --all origin temp
git lfs install --force --local
简单解释就是:
- 先创建自己的仓库
- 再把要fork的仓库设置为新残酷的upstream
- 拉取upstream的内容到一个新的branch
- rebase再push
需要注意的是,需要安装git lfs:
代码语言:shell复制$curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
$sudo apt-get install git-lfs
$git lfs install
Mac用户可以直接通过 brew install
来完成工具的安装。
这个方法主要是在命令行进行操作,缺点在于push的阶段是通过网络流量“硬推”,慢。。。
而且还需要处理一些莫名其妙的,莫须有的merge问题
因此,我们介绍第二个方法:
在HuggingFace的UI上做人工“分叉”
第一步,先把你要fock的模型通过git命令拉到本地。
代码语言:shell复制git clone https://huggingface.co/${ORIGINAL_ORG}/${MODEL_NAME}
第二步,在huggingface上,你要fork出来的新仓库上,把本地文件通过upload的方式上传到仓库中
无论文件多大,几乎都是瞬间上传
原因在于,因为我们是"fork",也就是将已经存在于HuggingFace的文件放到另一个地址。HuggingFace首先通过hash判断这个文件已经存在了,然后就会跳过用户内容上传的过程,直接在其文件系统内部完成数据的拷贝。目前,使用这种方式只能单个文件上传,而如果能够提供批量上传的方式,那速度和操作的简易性就完全秒杀通过命令行的方式了。
因此,如果网络吞吐不佳的情况,可以选择这种方式。因为HuggingFace上的model通常也就几个文件,文件的特性是大而少,人工操作不会太过复杂