ChatGLM2-6B使用入门

2024-03-13 12:31:04 浏览数 (1)

ChatGLM2-6B模型的中文效果较好，相比ChatGLM-6B模型有了进一步的优化，可以本地部署尝试。

模型下载和调试

下载源代码

代码语言：javascript复制
git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B
pip install -r requirements.txt

下载模型

模型的国内官方下载地址：https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/

方式一：自动从HuggingFace下载模型（下载没问题，启动时使用量化模型可能也会显存不足，启动建议使用Web Demo方式）

代码语言：javascript复制
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True, device='cuda')
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)
你好


	


LLMchatglm chatglm2-6b llm 




	






	

 0 人点赞