在数字化时代,人工智能和深度学习技术正迅速发展,而OpenAI一直是这一领域的领先者之一。但是,随着项目和团队的增长,对OpenAI API的使用情况的监控变得越来越重要。本教程将向您展示如何使用Weights & Biases Weave来监控OpenAI API调用,了解项目和团队如何使用语言模型(LLMs),并可视化这些数据以便更好地管理您的项目。
开篇故事
想象一下,您正在领导一个人工智能团队,团队成员在多个项目中使用OpenAI的语言模型。您关心的不仅是项目的进展,还包括如何优化API调用、控制成本、降低延迟和提高吞吐量。然而,要了解这些关键指标,需要大量的数据和分析工作。这时,Weights & Biases Weave登场了。它为您提供了一个强大的工具,可以自动跟踪LLM的使用情况,记录有关成本、延迟和吞吐量的关键指标,并为您提供交互式的仪表板,以便更轻松地与团队共享进展。
步骤0:设置
在开始之前,您需要进行一些设置。首先,安装所需的依赖项,然后登录到Weights & Biases(W&B)以保存和分享您的工作,并与OpenAI进行身份验证。
# 如果尚未安装
!pip install -qqq weave openai tiktoken wandb
import wandb
wandb.login()
import weave
import os
WANDB_BASE_URL = "https://api.wandb.ai"
os.environ["WANDB_BASE_URL"] = WANDB_BASE_URL
# 与OpenAI进行身份验证
from getpass import getpass
if os.getenv("OPENAI_API_KEY") is None:
os.environ["OPENAI_API_KEY"] = getpass("从 https://platform.openai.com/account/api-keys 复制粘贴您的OpenAI密钥\n")
assert os.getenv("OPENAI_API_KEY", "").startswith("sk-"), "这似乎不是一个有效的OpenAI API密钥"
print("OpenAI API密钥已配置")
步骤1:配置数据流和存储在W&B中
在W&B中,您需要配置数据流和存储,以便记录OpenAI API调用的日志。设置WB_ENTITY
为您的W&B用户名或团队名称,WB_PROJECT
为项目名称,STREAM_NAME
为记录表的名称。
WB_ENTITY = # 设置为您的W&B用户名或团队名称
WB_PROJECT = "weave" # 为此工作创建顶级目录
STREAM_NAME = "openai_logs" # 记录表,用于存储OpenAI API调用的日志
步骤2:调用init_monitor()
要开始监控OpenAI API的使用情况,请调用init_monitor(<stream>)
,其中<stream>
的格式为<wandb_team_or_user>/<wandb_project>/<stream_name>
。该流会记录并存储所有OpenAI API调用的日志。
from weave.monitoring import openai, init_monitor
m = init_monitor(f"{WB_ENTITY}/{WB_PROJECT}/{STREAM_NAME}")
# 为简单起见,指定一个模型
OPENAI_MODEL = 'gpt-3.5-turbo'
# 使用一些示例日志进行预填充
r = openai.ChatCompletion.create(model=OPENAI_MODEL, messages=[{"role": "user", "content": "hello world!"}])
r = openai.ChatCompletion.create(model=OPENAI_MODEL, messages=[{"role": "user", "content": "what is 2+2?"}])
步骤3:预览监控仪表板
点击上面的链接预览数据流,然后在右侧边栏中点击“OpenAI Monitor Board”以为此数据流创建Weave Board。
步骤4:探索和了解您的LLM使用情况
要保存您的工作,请单击页面顶部的自动生成名称以重命名面板。要分享您的面板,请单击右上角的“发布”。
通过以下方式,您可以实时可视化您的工作:
- 将面板保持在单独的选项卡中,并刷新以查看最新数据。
- 随时重命名面板以更容易参考,并“发布”该版本以与他人共享链接。
- 通过从weave.wandb.ai导航到相关的W&B实体和W&B项目名称,找到以前保存的面板。
- 或者打开一个新的面板模板的实例,以从迄今为止积累的所有数据开始。
接下来,我们将举例说明一些您可以跟踪OpenAI API调用的方式。根据您的用例,还有许多其他可能性,我们迫不及待地期待您从这些起始模板中创建的内容。
示例
示例0:记录提示及其完成
监视ChatCompletion请求并打印相应的响应,仅提取完成的文本。
response = openai.ChatCompletion.create(model=OPENAI_MODEL, messages=[
{"role": "user", "content": f"生命、宇宙和一切的意义是什么?"},
])
print(response['choices'][0]['message']['content'])
示例1:将相关参数作为属性进行跟踪
将感兴趣的参数分解并将其作为日志记录的属性进行跟踪。在这里,我们将“系统提示”与“提示模板”和“方程”参数分开跟踪。这次我们将打印ChatCompletion调用的完整结构化响应。
system_prompt = "你总是写成要点"
prompt_template = '逐步解决以下方程:{equation}'
params = {'equation': '4 * (3 - 1)'}
openai.ChatCompletion.create(model=OPENAI_MODEL,
messages=[
{"role": "system", "content": system_prompt},
{"role": "user", "content": prompt_template.format(**params)},
],
# 您可以在日志记录中添加其他属性
# 有关更多示例,请参见monitor_api笔记本
monitor_attributes={
'system_prompt': system_prompt,
'prompt_template': prompt_template,
'params': params
})
示例2:记录一系列消息的实时流
监视消息流并将结果记录为单个记录。请注意:此格式不计算标记数。
from weave.monitoring.openai import message_from_stream
r = openai.ChatCompletion.create(model=OPENAI_MODEL, messages=[
{"role": "system", "content": "你是一个机器人,只说像机器人一样的话,比如滴滴滴。"},
{"role": "user", "content": "给我讲一个50字的故事。"},
], stream=True)
for s in message_from_stream(r):
print(s, end='')
示例3:结构化提示工程实验
在这里,我们比较了一些系统提示、用户问题和目标受众的玩具选项。尝试您自己的实验,看看在探索Board并按不同参数分组时是否会出现有趣的见解。
def explain_math(system_prompt, prompt_template, params):
openai.ChatCompletion.create(model=OPENAI_MODEL,
messages=[
{"role": "system", "content": system_prompt},
{"role": "user", "content": prompt_template.format(**params)},
],
# 您可以在日志记录中添加其他属性
# 有关更多示例,请参见monitor_api笔记本
monitor_attributes={
'system_prompt': system_prompt,
'prompt_template': prompt_template,
'params': params
})
# 随时替换您自己的提示 :)
system_prompts = ["你写得非常花哨和诗意", "你非常直接和准确", "平衡简洁和见解"]
prompt_template = '解释以下方程的解给{audience}听:{equation}'
equations = ['x^2 + 4x + 9 = 0', '15 * (2 - 6) / 4']
audience = ["新生", "数学天才"]
for system_prompt in system_prompts:
for equation in equations:
for person in audience:
params = {"equation" : equation, "audience" : person}
explain_math(system_prompt, prompt_template, params)
总结
通过Weights & Biases Weave,您可以轻松监控OpenAI API的使用情况,了解项目和团队如何使用LLMs,并可视化这些数据以便更好地管理您的项目。这种实时监控和数据分析工具将有助于您更好地掌握AI项目的进展,优化API调用,并降低成本。
希望这个教程对您有所帮助,让您更好地利用Weights & Biases Weave来管理和优化您的OpenAI API项目。如果您有任何问题或需要进一步的帮助,请随时联系我们。