使用RAGAs评估基于Milvus的RAG应用

2024-07-10 19:16:40 浏览数 (1)

现在，我们很容易构建一个基于检索增强生成（RAG）的应用，但将其投入生产却非常困难，因为RAG的性能很难达到令人满意的状态。

我们知道RAG中两个重要的组件：

  • 检索器：从外部数据库中检索额外的上下文，以供LLM回答查询。
  • 生成器：基于使用检索到的信息增强的提示生成答案。

在评估RAG时，我们需要分别评估两个组件以及它们的整体性能，以了解RAG是否仍然需要改进，以及需要在哪里改进。此外，为了评估RAG应用程序的性能是否正在改善，我们需要进行定量评估。为此，我们需要两个评估要素：评估指标和评估数据集。

当前，确定正确的评估指标并收集良好的验证数据是一个活跃的研究领域。涌现出各种用于RAG评估框架的方法，例如RAG Triad of metrics，ROUGE，ARES，BLEU和RAGAs。本文将重点介绍如何使用RAGAs评估RAG系统。

什么是RAGAs

RAGAs（检索增强生成评估）是一个框架，提供了必要的组成部分，以帮助我们在组件粒度评估RAG。

评估数据

关于RAGAs的有趣之处在于，它最初是一个“无参考”评估框架。这意味着，不必依赖于人工注释的真实标签评估数据，RAGAs在幕后利用LLM进行评估。

为评估RAG，RAGAs需要以下信息：

  • question：作为RAG输入的用户查询。
  • answer：来自RAG输出的生成答案。
  • contexts：从用于回答问题的外部知识源中检索到的上下文。
  • ground_truths：问题的真实答案。这是唯一的人工标注信息。

利用LLM进行无参考评估是一个活跃的研究课题。虽然尽可能少地使用人工注释的数据使其成为一种更便宜和更快速的评估方法，但关于其缺点，如偏见等，仍有一些讨论。一些论文中也展示了一些令人激动的结果。

评估指标

RAGAs提供了一些指标，方便以端到端方式对于RAG进行评估。

在组件级别上，RAGAs提供了评估检索器（context_relevancy和context_recall）和生成器（faithfulness和answer_relevancy）的指标：

  • Context precision：衡量检索到的上下文的信噪比。此指标使用问题和上下文来计算。
  • Context recall：衡量检索到的上下文中是否包含回答问题所需的所有相关信息。此指标基于ground_truths和上下文来计算。
  • Faithfulness：衡量生成答案的事实准确性。从给定上下文中的正确陈述数量除以生成答案中的总陈述数量。此指标使用了问题、上下文和答案。
  • Answer relevancy：衡量生成答案与问题的相关性。此指标使用问题和答案来计算。例如，对于问题"法国在哪里，它的首都是什么？"，答案"法国位于西欧"，会获得较低的答案相关性，因为它只回答了一半问题。

RAGAs还提供了端到端评估RAG管道的指标，例如答案语义相似性和答案正确性。本文重点介绍了组件级别指标。

使用RAGAs评估RAG应用

前提条件

安装所需的Python 包

代码语言：javascript复制
#!pip install langchain openai pymilvus ragas

另外，引入OpenAI的秘钥。

代码语言：javascript复制
OPENAI_API_KEY="<YOUR_OPENAI_API_KEY>"

设置RAG应用程序

首先，通过加载和分块文档来准备数据。

代码语言：javascript复制
import requests
from langchain.document_loaders import TextLoader
from langchain.text_splitter import CharacterTextSplitter

url = "https://publicdataset.zillizcloud.com/milvus_doc.md"
res = requests.get(url)
with open("milvus_doc.md", "w") as f:
    f.write(res.text)

# Load the data
loader = TextLoader('./milvus_doc.md')
documents = loader.load()

# Chunk the data
text_splitter = CharacterTextSplitter(chunk_size=60, chunk_overlap=10)
chunks = text_splitter.split_documents(documents)

接下来，使用OpenAI Embedding为每个块生成Embedding，并将它们存储在向量数据库Milvus中。

代码语言：javascript复制
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores.milvus import Milvus
vectorstore = Milvus.from_documents(
    chunks,
    embedding=OpenAIEmbeddings(),
    connection_args={"host": "127.0.0.1", "port": "19530"},
)
retriever = vectorstore.as_retriever(search_kwargs={"k": 3})

最后，设置一个提示模板和OpenAI，并将它们与检索器组件组合成一个RAG。

代码语言：javascript复制
from langchain.chat_models import ChatOpenAI
from langchain.prompts import ChatPromptTemplate
from langchain.schema.runnable import RunnablePassthrough
from langchain.schema.output_parser import StrOutputParser

# Define LLM
llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)

# Define prompt template
template = """You are an assistant for question-answering tasks. 
Use the following pieces of retrieved context to answer the question. 
If you don't know the answer, just say that you don't know. 
Use two sentences maximum and keep the answer concise.
Question: {question} 
Context: {context} 
Answer:
"""

prompt = ChatPromptTemplate.from_template(template)

# Setup RAG pipeline
rag_chain = (
    {"context": retriever,  "question": RunnablePassthrough()} 
    | prompt 
    | llm
    | StrOutputParser() 
)

准备评估数据

由于RAGAs目的是成为一个无参考的评估框架，评估数据集的准备要求比较少。我们需要先准备配对的问题和ground_truths，然后可以通过推理来准备其余信息，如下所示：

代码语言：javascript复制
from datasets import Dataset

questions = ["Can user delete milvus entities through non-primary key filtering?"
            ]
ground_truths = [["Milvus supports deleting entities by primary key or complex boolean expressions"]]
answers = []
contexts = []

# Inference
for query in questions:
    answers.append(rag_chain.invoke(query))
    contexts.append([docs.page_content for docs in retriever.get_relevant_documents(query)])

data = {
    "question": questions,
    "answer": answers,
    "contexts": contexts,
    "ground_truths": ground_truths
}

# Convert dict to dataset
dataset = Dataset.from_dict(data)

如果我们对context_recall指标不感兴趣，则不需要提供ground_truths信息。此时，我们只需准备问题即可。

评估RAG应用程序

首先，从ragas.metrics中导入我们想要使用的所有指标。然后使用evaluate()函数，简单地传入相关的指标和准备好的数据集。

代码语言：javascript复制
from ragas import evaluate
from ragas.metrics import (
    faithfulness,
    answer_relevancy,
    context_recall,
    context_precision,
)
result = evaluate(
    dataset = dataset,
    metrics=[
        context_precision,
        context_recall,
        faithfulness,
        answer_relevancy,
    ],
)
df = result.to_pandas()

我们可以看到结果RAGAs分数：

由此，我们可以得出以下结论：

  • context_precision：检索到的上下文的准确度。
  • context_recall：是否检索到了回答问题所需的所有相关信息，提供的回答正确地解决了问题并与真实情况一致，表明上下文精度和召回率很高。
  • faithfulness：生成答案的事实准确性，得分为 0.75，表明尽管答案大部分是准确的，但可能存在细微的不完整之处。
  • answer_relevancy：生成答案与问题的相关性。相关性得分非常高（0.995013），表明答案与问题高度相关。

总结

构建一个RAG应用程序很容易，但将其性能投入生产使用则很困难。像机器学习项目一样，我们需要使用验证数据集和评估指标评估RAG应用的性能。但是，由于RAG应用由多个组件组成，这些组件必须分别和组合地进行评估，因此我们需要一组评估指标。本文介绍了RAGAs评估框架。该框架提出了四个评估指标 context_relevancy、context_recall、faithfulness和answer_relevancy，它们共同组成了RAGAs分数。此外，RAGAs还利用大模型进行无参考评估以节省成本。

作者：臧伟

游戏服务器工程师，Milvus 北辰使者

框架 数据 性能 import 函数

0 人点赞