本地部署大模型的几种方式

2024-04-23 15:18:32 浏览数 (1)

现在大模型可谓是满天飞, 只要你稍微关注时下的AI资讯, 几乎每天都有新的AI大模型出现. 这之中当然有诸如GhatGPT, Gemini这样的私有化大模型, 更吸引人关注的可能是开源的可私有化部署的一些大模型. 比如Meta前两天开放的Lamma 3, Google的Gemma开源模型, 国内也有Qwen以及YI等.

无论私有的大模型, 还是开源的可私有化部署的大模型, 各有优缺点. 相对而言, 一些开源的可私有化部署的大模型, 可能更令人关注. 因为只要有足够的硬件资源, 你就能私有化部署这些大模型.

今天我就介绍几种常见的, 方便的私有化大模型的方式, 这些方式都是开源或免费的.

私有化部署方式

  1. Ollama

要说私有化部署大模型最方便的方式, 我认为非Ollama莫属了.

相较于其它一些方式, 有一定的编程或技术上的门槛, Ollama可以说是把本地部署大模型这个以前有点技术含量或难度的事情完全傻瓜化了.

就算你是一个编程的门外汉, 都可以轻松的使用Ollama来部署一个本地大模型.

我在这里以最新的Llama 3来举例说明如何运行一个本地大模型. 只要你从Ollama的官网下载并安装了Ollama之后, 就可以极其方便的部署及运行一个大模型

代码语言：javascript复制
# 拉取llama 3大模型
ollama pull llama3
# 运行
ollama run llama3

运行后, 你可以在SHELL界面上直接和它交互. 并且它也提供了类似OPENAI风格一致的API.

代码语言：javascript复制
curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "stream": false,
  "messages": [
    {
      "role": "user",
      "content": "你好, 大模型"
    }
  ]
}'

它的响应如下:

代码语言：javascript复制
{
  "model": "llama3",
  "created_at": "2024-04-21T10:00:17.951508Z",
  "message": {
    "role": "assistant",
    "content": "


	


工具 模型 开源 编程 部署 




	






	

 0 人点赞