如何使用Weights & Biases Weave监控OpenAI API调用

在数字化时代,人工智能和深度学习技术正迅速发展,而OpenAI一直是这一领域的领先者之一。但是,随着项目和团队的增长,对OpenAI API的使用情况的监控变得越来越重要。本教程将向您展示如何使用Weights & Biases Weave来监控OpenAI API调用,了解项目和团队如何使用语言模型(LLMs),并可视化这些数据以便更好地管理您的项目。

开篇故事

想象一下,您正在领导一个人工智能团队,团队成员在多个项目中使用OpenAI的语言模型。您关心的不仅是项目的进展,还包括如何优化API调用、控制成本、降低延迟和提高吞吐量。然而,要了解这些关键指标,需要大量的数据和分析工作。这时,Weights & Biases Weave登场了。它为您提供了一个强大的工具,可以自动跟踪LLM的使用情况,记录有关成本、延迟和吞吐量的关键指标,并为您提供交互式的仪表板,以便更轻松地与团队共享进展。

步骤0:设置

在开始之前,您需要进行一些设置。首先,安装所需的依赖项,然后登录到Weights & Biases(W&B)以保存和分享您的工作,并与OpenAI进行身份验证。

# 如果尚未安装
!pip install -qqq weave openai tiktoken wandb

import wandb
wandb.login()

import weave
import os
WANDB_BASE_URL = "https://api.wandb.ai"
os.environ["WANDB_BASE_URL"] = WANDB_BASE_URL

# 与OpenAI进行身份验证
from getpass import getpass

if os.getenv("OPENAI_API_KEY") is None:
  os.environ["OPENAI_API_KEY"] = getpass("从 https://platform.openai.com/account/api-keys 复制粘贴您的OpenAI密钥\n")
assert os.getenv("OPENAI_API_KEY", "").startswith("sk-"), "这似乎不是一个有效的OpenAI API密钥"
print("OpenAI API密钥已配置")

步骤1:配置数据流和存储在W&B中

在W&B中,您需要配置数据流和存储,以便记录OpenAI API调用的日志。设置WB_ENTITY为您的W&B用户名或团队名称,WB_PROJECT为项目名称,STREAM_NAME为记录表的名称。

WB_ENTITY = # 设置为您的W&B用户名或团队名称
WB_PROJECT = "weave"  # 为此工作创建顶级目录
STREAM_NAME = "openai_logs"  # 记录表,用于存储OpenAI API调用的日志

步骤2:调用init_monitor()

要开始监控OpenAI API的使用情况,请调用init_monitor(),其中的格式为//。该流会记录并存储所有OpenAI API调用的日志。

from weave.monitoring import openai, init_monitor
m = init_monitor(f"{WB_ENTITY}/{WB_PROJECT}/{STREAM_NAME}")

# 为简单起见,指定一个模型
OPENAI_MODEL = 'gpt-3.5-turbo'

# 使用一些示例日志进行预填充
r = openai.ChatCompletion.create(model=OPENAI_MODEL, messages=[{"role": "user", "content": "hello world!"}])
r = openai.ChatCompletion.create(model=OPENAI_MODEL, messages=[{"role": "user", "content": "what is 2+2?"}])

步骤3:预览监控仪表板

点击上面的链接预览数据流,然后在右侧边栏中点击“OpenAI Monitor Board”以为此数据流创建Weave Board。

步骤4:探索和了解您的LLM使用情况

要保存您的工作,请单击页面顶部的自动生成名称以重命名面板。要分享您的面板,请单击右上角的“发布”。

通过以下方式,您可以实时可视化您的工作:

  • 将面板保持在单独的选项卡中,并刷新以查看最新数据。
  • 随时重命名面板以更容易参考,并“发布”该版本以与他人共享链接。
  • 通过从weave.wandb.ai导航到相关的W&B实体和W&B项目名称,找到以前保存的面板。
  • 或者打开一个新的面板模板的实例,以从迄今为止积累的所有数据开始。

接下来,我们将举例说明一些您可以跟踪OpenAI API调用的方式。根据您的用例,还有许多其他可能性,我们迫不及待地期待您从这些起始模板中创建的内容。

示例

示例0:记录提示及其完成

监视ChatCompletion请求并打印相应的响应,仅提取完成的文本。

response = openai.ChatCompletion.create(model=OPENAI_MODEL, messages=[
        {"role": "user", "content": f"生命、宇宙和一切的意义是什么?"},
    ])
print(response['choices'][0]['message']['content'])

示例1:将相关参数作为属性进行跟踪

将感兴趣的参数分解并将其作为日志记录的属性进行跟踪。在这里,我们将“系统提示”与“提示模板”和“方程”参数分开跟踪。这次我们将打印ChatCompletion调用的完整结构化响应。

system_prompt = "你总是写成要点"
prompt_template = '逐步解决以下方程:{equation}'
params = {'equation': '4 * (3 - 1)'}
openai.ChatCompletion.create(model=OPENAI_MODEL,
                             messages=[
                                    {"role": "system", "content": system_prompt},
                                    {"role": "user", "content": prompt_template.format(**params)},
                                ],
                             # 您可以在日志记录中添加其他属性
                             # 有关更多示例,请参见monitor_api笔记本
                             monitor_attributes={
                                 'system_prompt': system_prompt,
                                 'prompt_template': prompt_template,
                                 'params': params
                             })

示例2:记录一系列消息的实时流

监视消息流并将结果记录为单个记录。请注意:此格式不计算标记数。

from weave.monitoring.openai import message_from_stream
r = openai.ChatCompletion.create(model=OPENAI_MODEL, messages=[
        {"role": "system", "content": "你是一个机器人,只说像机器人一样的话,比如滴滴滴。"},
        {"role": "user", "content": "给我讲一个50字的故事。"},
    ], stream=True)
for s in message_from_stream(r):
    print(s, end='')

示例3:结构化提示工程实验

在这里,我们比较了一些系统提示、用户问题和目标受众的玩具选项。尝试您自己的实验,看看在探索Board并按不同参数分组时是否会出现有趣的见解。

def explain_math(system_prompt, prompt_template, params):
    openai.ChatCompletion.create(model=OPENAI_MODEL,
                             messages=[
                                    {"role": "system", "content": system_prompt},
                                    {"role": "user", "content": prompt_template.format(**params)},
                                ],
                             # 您可以在日志记录中添加其他属性
                             # 有关更多示例,请参见monitor_api笔记本
                             monitor_attributes={
                                 'system_prompt': system_prompt,
                                 'prompt_template': prompt_template,
                                 'params': params
                             })

# 随时替换您自己的提示 :)
system_prompts = ["你写得非常花哨和诗意", "你非常直接和准确", "平衡简洁和见解"]
prompt_template = '解释以下方程的解给{audience}听:{equation}'
equations = ['x^2 + 4x + 9 = 0', '15 * (2 - 6) / 4']
audience = ["新生", "数学天才"]

for system_prompt in system_prompts:
    for equation in equations:
        for person in audience:
            params = {"equation" : equation, "audience" : person}
            explain_math(system_prompt, prompt_template, params)

总结

通过Weights & Biases Weave,您可以轻松监控OpenAI API的使用情况,了解项目和团队如何使用LLMs,并可视化这些数据以便更好地管理您的项目。这种实时监控和数据分析工具将有助于您更好地掌握AI项目的进展,优化API调用,并降低成本。

希望这个教程对您有所帮助,让您更好地利用Weights & Biases Weave来管理和优化您的OpenAI API项目。如果您有任何问题或需要进一步的帮助,请随时联系我们。

本文由作者 王大神 原创发布于 大神网的AI博客。

转载请注明作者:王大神

原文出处:如何使用Weights & Biases Weave监控OpenAI API调用

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 2023年10月14日
下一篇 2023年10月14日

相关推荐

  • 如何在Windows上设置OpenAI的环境变量

    在使用OpenAI的API时,设置环境变量是一个重要的步骤,它可以帮助你轻松地管理API密钥和基本API配置。本教程将教你如何在Windows操作系统上设置OpenAI的环境变量,以便顺利使用OpenAI的服务。 背景故事 在数字时代…

    2023年11月7日
    00144
  • 如何使用多个OpenAI服务实例:详细指南

    随着技术的不断进步,有时您可能需要使用多个OpenAI服务实例来满足不同的需求。从版本6.9.0开始,OpenAI SDK提供了创建多个实例的功能,使您能够更灵活地管理和利用服务。在本文中,我们将详细介绍如何使用多个Open…

    2023年9月17日
    0046
  • 如何使用OpenAI的Web UI API进行文本到图像生成

    嗨,大家好!如果你对使用OpenAI的Web UI API进行文本到图像生成感到困惑,不用担心,我将为你提供一份详细的教程。在这个教程中,我将向你介绍如何设置API,构建请求,获取生成的图像以及如何修改一些重要的参数。…

    2023年9月22日
    00101
  • OpenAI 服务器访问速度分析

    故事发生在一个寒冷的冬日,王大神是一位充满好奇心的程序员,他对人工智能领域充满了热情。最近,他开始使用OpenAI的服务,但却发现访问速度有时不尽人意。他决定深入研究,看看是否有办法优化访问速度,让他的人…

    2023年4月26日
    00957
  • 数据可视化:探索信息的魔法

    在数字时代,数据无处不在,但如何有效地理解和利用这些数据成为一个关键问题。这就是数据可视化的魔力所在。数据可视化是一门科学技术研究,旨在以图形化手段,清晰有效地传达和沟通信息。在这篇文章中,我们将深…

    2023年10月29日
    0068
  • OpenAI执行长遭解雇引发转折:投资者施压、董事会反悔

    在科技界掀起轰动的一幕,OpenAI公司的执行长阿特曼(Sam Altman)于17日遭到无预警解雇,这一消息震惊了整个科技业界。然而,随后不久,又传出OpenAI遭到包括微软在内的投资人施压,希望阿特曼复职,双方已展开谈…

    2023年11月20日
    0076
  • ChatGPT官网指南:使用技巧全解析

    在当今信息时代,人工智能技术的快速发展为我们带来了前所未有的便利。其中,OpenAI推出的ChatGPT作为一款领先的自然语言处理工具,已经成为了业界的焦点。让我们一起探索ChatGPT的官网,并了解如何高效使用这一工…

    2023年11月17日
    00133
  • 如何使用Python编写网页爬虫爬取京东商品信息并进行数据可视化

    在数字时代,数据是至关重要的资源。无论是企业还是个人,都需要从各种渠道获取数据,并进行分析和可视化,以便更好地了解市场趋势和用户需求。本教程将介绍如何使用Python编写一个简单但强大的网页爬虫,以爬取京…

    2023年11月1日
    00111
  • OpenAI发布DALL·E 3:AI艺术的新篇章

    在2023年9月,OpenAI再次震撼世界,发布了一项重大突破——DALL·E 3。这一文生图模型的亮点在于,它可以与ChatGPT合作,通过简单的提示(prompt)生成惊人的图像,而无需深入的编写技能。这个消息引发了广泛的兴趣和…

    2023年10月20日
    0077
  • OpenAI与SoftBank的10亿美元融资交易:科技界的一场“巨龙之舞”

    大家好,今天我们要聊一聊科技界最新的大新闻:OpenAI即将从孙正义的SoftBank融资逾10亿美元,用于研发一款消费者使用的手机。这个消息一经传出,立刻在科技圈掀起了轩然大波,众多分析师和观察家都在猜测这个交易…

    2023年10月5日
    004.7K

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注