如何使用Weights & Biases Weave监控OpenAI API调用

在数字化时代,人工智能和深度学习技术正迅速发展,而OpenAI一直是这一领域的领先者之一。但是,随着项目和团队的增长,对OpenAI API的使用情况的监控变得越来越重要。本教程将向您展示如何使用Weights & Biases Weave来监控OpenAI API调用,了解项目和团队如何使用语言模型(LLMs),并可视化这些数据以便更好地管理您的项目。

开篇故事

想象一下,您正在领导一个人工智能团队,团队成员在多个项目中使用OpenAI的语言模型。您关心的不仅是项目的进展,还包括如何优化API调用、控制成本、降低延迟和提高吞吐量。然而,要了解这些关键指标,需要大量的数据和分析工作。这时,Weights & Biases Weave登场了。它为您提供了一个强大的工具,可以自动跟踪LLM的使用情况,记录有关成本、延迟和吞吐量的关键指标,并为您提供交互式的仪表板,以便更轻松地与团队共享进展。

步骤0:设置

在开始之前,您需要进行一些设置。首先,安装所需的依赖项,然后登录到Weights & Biases(W&B)以保存和分享您的工作,并与OpenAI进行身份验证。

# 如果尚未安装
!pip install -qqq weave openai tiktoken wandb

import wandb
wandb.login()

import weave
import os
WANDB_BASE_URL = "https://api.wandb.ai"
os.environ["WANDB_BASE_URL"] = WANDB_BASE_URL

# 与OpenAI进行身份验证
from getpass import getpass

if os.getenv("OPENAI_API_KEY") is None:
  os.environ["OPENAI_API_KEY"] = getpass("从 https://platform.openai.com/account/api-keys 复制粘贴您的OpenAI密钥\n")
assert os.getenv("OPENAI_API_KEY", "").startswith("sk-"), "这似乎不是一个有效的OpenAI API密钥"
print("OpenAI API密钥已配置")

步骤1:配置数据流和存储在W&B中

在W&B中,您需要配置数据流和存储,以便记录OpenAI API调用的日志。设置WB_ENTITY为您的W&B用户名或团队名称,WB_PROJECT为项目名称,STREAM_NAME为记录表的名称。

WB_ENTITY = # 设置为您的W&B用户名或团队名称
WB_PROJECT = "weave"  # 为此工作创建顶级目录
STREAM_NAME = "openai_logs"  # 记录表,用于存储OpenAI API调用的日志

步骤2:调用init_monitor()

要开始监控OpenAI API的使用情况,请调用init_monitor(<stream>),其中<stream>的格式为<wandb_team_or_user>/<wandb_project>/<stream_name>。该流会记录并存储所有OpenAI API调用的日志。

from weave.monitoring import openai, init_monitor
m = init_monitor(f"{WB_ENTITY}/{WB_PROJECT}/{STREAM_NAME}")

# 为简单起见,指定一个模型
OPENAI_MODEL = 'gpt-3.5-turbo'

# 使用一些示例日志进行预填充
r = openai.ChatCompletion.create(model=OPENAI_MODEL, messages=[{"role": "user", "content": "hello world!"}])
r = openai.ChatCompletion.create(model=OPENAI_MODEL, messages=[{"role": "user", "content": "what is 2+2?"}])

步骤3:预览监控仪表板

点击上面的链接预览数据流,然后在右侧边栏中点击“OpenAI Monitor Board”以为此数据流创建Weave Board。

步骤4:探索和了解您的LLM使用情况

要保存您的工作,请单击页面顶部的自动生成名称以重命名面板。要分享您的面板,请单击右上角的“发布”。

通过以下方式,您可以实时可视化您的工作:

  • 将面板保持在单独的选项卡中,并刷新以查看最新数据。
  • 随时重命名面板以更容易参考,并“发布”该版本以与他人共享链接。
  • 通过从weave.wandb.ai导航到相关的W&B实体和W&B项目名称,找到以前保存的面板。
  • 或者打开一个新的面板模板的实例,以从迄今为止积累的所有数据开始。

接下来,我们将举例说明一些您可以跟踪OpenAI API调用的方式。根据您的用例,还有许多其他可能性,我们迫不及待地期待您从这些起始模板中创建的内容。

示例

示例0:记录提示及其完成

监视ChatCompletion请求并打印相应的响应,仅提取完成的文本。

response = openai.ChatCompletion.create(model=OPENAI_MODEL, messages=[
        {"role": "user", "content": f"生命、宇宙和一切的意义是什么?"},
    ])
print(response['choices'][0]['message']['content'])

示例1:将相关参数作为属性进行跟踪

将感兴趣的参数分解并将其作为日志记录的属性进行跟踪。在这里,我们将“系统提示”与“提示模板”和“方程”参数分开跟踪。这次我们将打印ChatCompletion调用的完整结构化响应。

system_prompt = "你总是写成要点"
prompt_template = '逐步解决以下方程:{equation}'
params = {'equation': '4 * (3 - 1)'}
openai.ChatCompletion.create(model=OPENAI_MODEL,
                             messages=[
                                    {"role": "system", "content": system_prompt},
                                    {"role": "user", "content": prompt_template.format(**params)},
                                ],
                             # 您可以在日志记录中添加其他属性
                             # 有关更多示例,请参见monitor_api笔记本
                             monitor_attributes={
                                 'system_prompt': system_prompt,
                                 'prompt_template': prompt_template,
                                 'params': params
                             })

示例2:记录一系列消息的实时流

监视消息流并将结果记录为单个记录。请注意:此格式不计算标记数。

from weave.monitoring.openai import message_from_stream
r = openai.ChatCompletion.create(model=OPENAI_MODEL, messages=[
        {"role": "system", "content": "你是一个机器人,只说像机器人一样的话,比如滴滴滴。"},
        {"role": "user", "content": "给我讲一个50字的故事。"},
    ], stream=True)
for s in message_from_stream(r):
    print(s, end='')

示例3:结构化提示工程实验

在这里,我们比较了一些系统提示、用户问题和目标受众的玩具选项。尝试您自己的实验,看看在探索Board并按不同参数分组时是否会出现有趣的见解。

def explain_math(system_prompt, prompt_template, params):
    openai.ChatCompletion.create(model=OPENAI_MODEL,
                             messages=[
                                    {"role": "system", "content": system_prompt},
                                    {"role": "user", "content": prompt_template.format(**params)},
                                ],
                             # 您可以在日志记录中添加其他属性
                             # 有关更多示例,请参见monitor_api笔记本
                             monitor_attributes={
                                 'system_prompt': system_prompt,
                                 'prompt_template': prompt_template,
                                 'params': params
                             })

# 随时替换您自己的提示 :)
system_prompts = ["你写得非常花哨和诗意", "你非常直接和准确", "平衡简洁和见解"]
prompt_template = '解释以下方程的解给{audience}听:{equation}'
equations = ['x^2 + 4x + 9 = 0', '15 * (2 - 6) / 4']
audience = ["新生", "数学天才"]

for system_prompt in system_prompts:
    for equation in equations:
        for person in audience:
            params = {"equation" : equation, "audience" : person}
            explain_math(system_prompt, prompt_template, params)

总结

通过Weights & Biases Weave,您可以轻松监控OpenAI API的使用情况,了解项目和团队如何使用LLMs,并可视化这些数据以便更好地管理您的项目。这种实时监控和数据分析工具将有助于您更好地掌握AI项目的进展,优化API调用,并降低成本。

希望这个教程对您有所帮助,让您更好地利用Weights & Biases Weave来管理和优化您的OpenAI API项目。如果您有任何问题或需要进一步的帮助,请随时联系我们。

本文由作者 王大神 原创发布于 大神网的AI博客。

转载请注明作者:王大神

原文出处:如何使用Weights & Biases Weave监控OpenAI API调用

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 2023年10月14日
下一篇 2023年10月14日

相关推荐

  • OpenAI首席执行官:AI不会彻底改变世界和工作

    近日,OpenAI首席执行官萨姆·奥特曼在瑞士达沃斯世界经济论坛上发表了一场备受关注的演讲。他在演讲中谈到了人工通用智能(AGI)以及对于AI可能对世界产生破坏性影响的担忧。奥特曼的言论引发了广泛的讨论和反应。…

    2024年1月17日
    00
  • OpenAI旗下ChatGPT发生重大故障 中断引发热议

    11月8日晚,人工智能公司OpenAI旗下聊天机器人ChatGPT发生重大故障中断,导致用户无法正常使用该应用,随后该话题迅速登上热搜榜。据了解,故障发生的时间大致为当晚21:30至23:30左右。这一突发状况引发了广泛关注…

    2023年11月9日
    00
  • OpenAI与SoftBank的10亿美元融资交易:科技界的一场“巨龙之舞”

    大家好,今天我们要聊一聊科技界最新的大新闻:OpenAI即将从孙正义的SoftBank融资逾10亿美元,用于研发一款消费者使用的手机。这个消息一经传出,立刻在科技圈掀起了轩然大波,众多分析师和观察家都在猜测这个交易…

    2023年10月5日
    00
  • 人工智能的未来与安全挑战:OpenAI与Anthropic的不同路径

    人工智能(AI)领域的发展一直备受瞩目,但随着其技术日益成熟,伴随而来的是潜在的安全挑战。OpenAI和Anthropic作为两家领先的AI研究机构,各自制定了应对这些挑战的策略。本文将探讨这两家机构的不同路径,以及它…

    2023年12月19日
    00
  • 开放AI Node API库:无缝接入OpenAI的利器

    如果你希望在TypeScript或JavaScript中方便地访问OpenAI的REST API,那么这个库为你提供了便捷的解决方案。它是基于我们的OpenAPI规范使用Stainless生成的。 要学习如何使用OpenAI API,请查看我们的API参考文档和…

    2023年9月9日
    00
  • 微软与OpenAI的人工智能合作:探索未来技术

    在一个充满变革和未知的时代,微软与OpenAI的合作无疑是科技界的一大焦点。从他们的联盟到山姆·阿尔特曼的意外解雇,这一系列事件不仅影响着两家公司的命运,更揭示了人工智能行业的复杂性与挑战。 微软与OpenAI的…

    2023年12月3日
    00
  • AI群雄争霸:GPT4.5圣诞前推出?

    在这个信息爆炸的时代,一场关于人工智能的革命正在悄然发生。随着OpenAI宣布即将推出GPT4.5,整个科技界都在为这一划时代的进展翘首以待。让我们一起走进这个由AI巨头们共同编织的奇幻世界,探索他们的最新动向和…

    2023年12月13日
    00
  • GPT-5传言与OpenAI的AI大举动

    在科技领域,有些消息犹如晨风,轻轻拂过,却引起了波澜壮阔的浪潮。最近,关于GPT-5即将到来的传言就是这样一阵风,虽然只是轻声细语,却足以在人工智能的世界里掀起一场风暴。OpenAI的首届开发者大会上,GPT-4的…

    2023年11月10日
    00
  • OpenAI 2024:人工智能的新飞跃与挑战

    在社交平台上,OpenAI的联合创始人兼首席执行官Sam Altman公布了一系列雄心勃勃的目标,这些目标将在2024年成为现实。从AGI(稍晚一些)到更好的GPTs,再到视频模型和个性化服务,OpenAI的未来计划引发了广泛的关注…

    2023年12月25日
    00
  • OpenAI领导层换届:新风向与挑战

    近日,OpenAI宣布了其领导层的重大变动,引发了业界和媒体的广泛关注。作为人工智能领域的领军企业,OpenAI的这一决策不仅标志着公司的新发展阶段,也可能预示着整个人工智能行业的未来走向。 OpenAI领导层的变更 …

    2023年11月18日
    00