创建Langchain、Tair和OpenAI的问题回答系统教程

本教程将详细介绍如何使用Langchain、Tair作为知识库和OpenAI嵌入来实现一个问题回答系统。如果您不熟悉Tair，请先查看“Getting_started_with_Tair_and_OpenAI.ipynb”笔记。

本教程将全面介绍以下过程：

1. 使用OpenAI API计算嵌入。
2. 将嵌入存储在Tair实例中以构建知识库。
3. 将原始文本查询转换为OpenAI API的嵌入。
4. 使用Tair在创建的集合中执行最近邻搜索以查找一些上下文。
5. 请求LLM在给定上下文中查找答案。

所有这些步骤将简化为调用一些对应的Langchain方法。

先决条件

为了完成本教程，我们需要准备以下几项内容：

• Tair云实例。
• Langchain作为框架。
• OpenAI API密钥。

安装要求

本教程需要以下Python包：openai、tiktoken、langchain和tair。

• openai 提供了方便的访问OpenAI API的方式。
• tiktoken 是用于OpenAI模型的快速BPE标记化工具。
• langchain 帮助我们更轻松地构建具有LLM的应用程序。
• tair库用于与tair向量数据库交互。

!pip install openai tiktoken langchain tair

准备您的OpenAI API密钥

OpenAI API密钥用于文档和查询的矢量化。

如果您没有OpenAI API密钥，可以从 https://platform.openai.com/account/api-keys 获取一个。

获取密钥后，请通过getpass将其添加。

import getpass

openai_api_key = getpass.getpass("输入您的OpenAI API密钥:")

准备您的Tair URL

要建立Tair连接，您需要TAIR_URL。

URL的格式为：redis://[[用户名]:[密码]]@localhost:6379/0

TAIR_URL = getpass.getpass("输入您的Tair URL:")

载入数据

在这一部分，我们将加载包含一些自然问题和它们的答案的数据。所有这些数据将用于创建具有Tair作为知识库的Langchain应用程序。

import wget
import json

# 所有示例均来自https://ai.google.com/research/NaturalQuestions
# 这是我们下载并提取以进行进一步处理的训练集的示例。
wget.download("https://storage.googleapis.com/dataset-natural-questions/questions.json")
wget.download("https://storage.googleapis.com/dataset-natural-questions/answers.json")

with open("questions.json", "r") as fp:
    questions = json.load(fp)

with open("answers.json", "r") as fp:
    answers = json.load(fp)

链定义

Langchain已经与Tair集成，并执行给定文档列表的所有索引。在我们的案例中，我们将存储答案集。

from langchain.vectorstores import Tair
from langchain.embeddings import OpenAIEmbeddings
from langchain import VectorDBQA, OpenAI

embeddings = OpenAIEmbeddings(openai_api_key=openai_api_key)
doc_store = Tair.from_texts(
    texts=answers, embedding=embeddings, tair_url=TAIR_URL,
)

此时，所有可能的答案都已存储在Tair中，因此我们可以定义整个QA链。

llm = OpenAI(openai_api_key=openai_api_key)
qa = VectorDBQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    vectorstore=doc_store,
    return_source_documents=False,
)

搜索数据

一旦数据放入Tair中，我们就可以开始提出一些问题。问题将由OpenAI模型自动向量化，并创建的向量将用于在Tair中找到一些可能匹配的答案。一旦检索到，最相似的答案将被合并到发送给OpenAI Large Language Model的提示中。

import random
import time

random.seed(52)
selected_questions = random.choices(questions, k=5)

for question in selected_questions:
    print(">", question)
    print(qa.run(question), end="\n\n")
    # 等待20秒以处理速率限制
    time.sleep(20)

自定义提示模板

Langchain的“stuff”链类型使用具有问题和上下文文档的特定

提示。以下是默认提示的样式：

使用以下上下文部分来回答最后的问题。如果您不知道答案，只需说您不知道，不要试图编造一个答案。
{context}
问题：{question}
有帮助的答案：

然而，我们可以提供我们自己的提示模板，并更改OpenAI LLM的行为，同时仍然使用“stuff”链类型。保持{context}和{question}作为占位符是重要的。

实验自定义提示

我们可以尝试使用不同的提示模板，以便模型：

• 如果它知道答案，就提供一个单句回答。
• 如果不知道问题的答案，建议一个随机歌曲标题。

from langchain.prompts import PromptTemplate
custom_prompt = """
使用以下上下文部分来回答最后的问题。请只提供简短的单句摘要回答。如果您不知道答案或上下文中没有答案，请不要试图编造一个答案，而是建议我听一首随机无关的歌曲。
上下文：{context}
问题：{question}
有帮助的答案：
"""

custom_prompt_template = PromptTemplate(
    template=custom_prompt, input_variables=["context", "question"]
)

custom_qa = VectorDBQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    vectorstore=doc_store,
    return_source_documents=False,
    chain_type_kwargs={"prompt": custom_prompt_template},
)

random.seed(41)
for question in random.choices(questions, k=5):
    print(">", question)
    print(custom_qa.run(question), end="\n\n")
    # 等待20秒以处理速率限制
    time.sleep(20)

结论

通过本教程，您已经学会了如何使用Langchain、Tair和OpenAI来创建一个强大的问题回答系统。这种系统可以用于各种应用，从搜索引擎到智能助手。希望本教程对您有所帮助，使您能够更好地理解和应用这些技术。