用可观测性工具追踪和记录评测

记录和追踪 LLM 的结果，对任何基于语言模型的应用都很重要。这是一篇关于如何用 Ragas 做 tracing 的教程。Ragas 提供 callbacks 功能，让你可以方便地接入各种 tracers，如 LangSmith、wandb、Opik 等。在这个 notebook 中，我将使用 LangSmith 进行 tracing。

要设置 LangSmith，我们需要设置它所需的一些环境变量。更多信息可以参考 文档

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_ENDPOINT=https://api.smith.langchain.com
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>  # if not specified, defaults to "default"

现在我们要从 LangChain 导入所需的 tracer，这里我们使用 LangChainTracer，但你可以类似地使用 LangChain 支持的任何 tracer，如 WandbTracer 或 OpikTracer

# LangSmith
from langchain.callbacks.tracers import LangChainTracer

tracer = LangChainTracer(project_name="callback-experiments")

我们现在在调用 evaluate 时把 tracer 传给 callbacks 参数

from ragas import EvaluationDataset
from datasets import load_dataset
from ragas.metrics import LLMContextRecall

dataset = load_dataset("vibrantlabsai/amnesty_qa", "english_v3")

dataset = EvaluationDataset.load_from_hf(dataset["eval"])
evaluate(dataset, metrics=[LLMContextRecall()],callbacks=[tracer])

{'context_precision': 1.0000}

用 LangSmith 做 Tracing

你也可以用 LangChain 的 BaseCallbackHandler 编写自己的自定义 callbacks，参见 这里 了解更多。