首先安装ollama软件,
然后打开cmd或者powershell命令提示符,然后输入:
ollama run llamafamily/llama3-chinese-8b-instruct
这就在本地电脑安装了一个llama3大模型的中文版,然后就可以调用ollama的api,基于llama3大模型来开发各种AI应用。这个api调用的是本地电脑上的大模型服务,所以不会有任何费用;而且不联网传输,数据很安全。
首先安装ollama的Python库:pip install ollama
然后在deepseek的代码助手中输入提示词:
你是一个Python编程专家,现在要完成一个编写AI应用的Python脚本,具体步骤如下:
ollama的模型是'llamafamily/llama3-chinese-8b-instruct';
用ollama库输入内容“将以下内容翻译为英文:为什么天是蓝色的?”
解析流式响应,提取出文本内容;
ollama库的使用示例:
import ollama
stream = ollama.chat(
model='llama3',
messages=[{'role': 'user', 'content': 'Why is the sky blue?'}],
stream=True,
)
deepseek代码助手生成的代码:
import ollama
# 定义消息列表,包含要翻译的内容
messages = [{'role': 'user', 'content': '将以下内容翻译为英文:为什么天是蓝色的?'}]
# 调用ollama库的chat函数,指定模型和消息列表,并开启流式响应
stream = ollama.chat(
model='llamafamily/llama3-chinese-8b-instruct', # 使用你提供的模型名称
messages=messages,
stream=True, # 开启流式响应
)
# 遍历流式响应,提取文本内容并输出
for chunk in stream:
# 检查chunk是否包含'message'字段
if 'message' in chunk:
# 提取'content'字段并打印
print(chunk['message']['content'], end='')
运行程序,返回结果:why is the sky blue? 说明程序运行成功了。