如何使用Chat模型进行微调:一个食谱命名实体识别教程

在数字时代,人工智能技术正不断演进,为我们的生活和工作带来了革命性的变化。开放AI(OpenAI)的GPT-3.5-turbo模型是一项重要的技术,它可以用于各种自然语言处理任务,包括聊天和命名实体识别(NER)。本教程将向您展示如何使用GPT-3.5-turbo进行微调,以执行食谱命名实体识别任务。

1. 引子:解锁人工智能的潜力

在当今的数字世界中,人工智能技术正日益成熟和普及。无论是自动化客户支持,还是从大规模数据中提取有用信息,AI都发挥着关键作用。而GPT-3.5-turbo模型是一种强大的AI工具,可以用于许多自然语言处理任务,使您能够创建智能聊天机器人,或者像本教程一样执行命名实体识别任务。

2. 准备工作:设置环境

在开始微调之前,确保您已经安装了最新版本的OpenAI Python包,并已获取了OpenAI API密钥。这个密钥将用于与GPT-3.5-turbo模型进行通信。

# 安装最新版本的OpenAI Python包
!pip install --upgrade openai

import json
import openai
import os
import pandas as pd
from pprint import pprint

# 添加您的OpenAI API密钥
OPENAI_API_KEY = os.getenv("OPENAI_API_KEY", "")

3. 数据准备:准备数据进行微调

在进行微调之前,您需要准备训练数据。在本教程中,我们将使用食谱数据集,并从中提取通用的食材名称作为命名实体。以下是数据准备的步骤:

3.1 数据集加载和筛选

为了进行微调,我们需要一个特定领域的数据集。数据集应该足够专注,以便模型可以学习,但也要足够通用,以便不会错过未见过的示例。在本教程中,我们从RecipesNLG数据集中提取了一个子集,该子集只包含来自www.cookbooks.com的文档。

# 读取我们将在此任务中使用的数据集
recipe_df = pd.read_csv("data/cookbook_recipes_nlg_10k.csv")

# 显示数据集的前几行
recipe_df.head()

3.2 数据格式转换

在微调时,我们需要将数据转换为适用于ChatCompletion格式的训练示例。每个训练示例都是一个包含多个消息的对话列表。以下是数据转换的示例代码:

training_data = []

system_message = "You are a helpful recipe assistant. You are to extract the generic ingredients from each of the recipes provided."

def create_user_message(row):
    return f"""Title: {row['title']}\n\nIngredients: {row['ingredients']}\n\nGeneric ingredients: """

def prepare_example_conversation(row):
    messages = []
    messages.append({"role": "system", "content": system_message})

    user_message = create_user_message(row)
    messages.append({"role": "user", "content": user_message})

    messages.append({"role": "assistant", "content": row["NER"]})

    return {"messages": messages}

# 对数据集的每一行应用数据转换函数
training_data = recipe_df.apply(prepare_example_conversation, axis=1).tolist()

3.3 上传文件

将转换后的数据保存为.jsonl文件,然后上传到OpenAI的Files端点,以供微调使用。

def write_jsonl(data_list: list, filename: str) -> None:
    with open(filename, "w") as out:
        for ddict in data_list:
            jout = json.dumps(ddict) + "\n"
            out.write(jout)

# 保存训练数据和验证数据为.jsonl文件
training_file_name = "tmp_recipe_finetune_training.jsonl"
write_jsonl(training_data, training_file_name)

validation_file_name = "tmp_recipe_finetune_validation.jsonl"
write_jsonl(validation_data, validation_file_name)

# 使用OpenAI的Files端点上传文件
training_response = openai.File.create(
    file=open(training_file_name, "rb"), purpose="fine-tune"
)
training_file_id = training_response["id"]

validation_response = openai.File.create(
    file=open(validation_file_name, "rb"), purpose="fine-tune"
)
validation_file_id = validation_response["id"]

4. 微调模型

现在,我们可以使用准备好的文件创建微调任务。在创建任务时,我们需要指定训练文件、验证文件、模型名称和可选的后缀来标识模型。以下是微调模型的示例代码:

response = openai.FineTuningJob.create(
    training_file=training_file_id,
    validation_file=validation_file_id,
    model="gpt-3.5-turbo",
    suffix="recipe-ner",
)

job_id = response["id"]

您可以使用以下代码检查微调任务的状态:

response = openai.FineTuningJob.retrieve(job_id)

print("Job ID:", response["id"])
print("Status:", response["status"])

5. 跟踪微调进度

微调任务可能需要一些时间来完成。您可以使用以下代码跟踪微调进度:

response = openai.FineTuningJob.list_events(id=job_id, limit=50)

events = response["data"]
events.reverse()

for event in events:
    print(event["message"])

6. 微调成功!

一旦微调任务完成,您将获得一个微调模型的ID。以下是

如何获取微调模型的示例代码:

response = openai.FineTuningJob.retrieve(job_id)
fine_tuned_model_id = response["fine_tuned_model"]

print("Fine-tuned model ID:", fine_tuned_model_id)

7. 使用微调模型进行推理

最后,您可以使用微调的模型来执行推理。只需调用ChatCompletions并指定微调模型的名称和消息列表。以下是如何使用微调模型进行推理的示例代码:

test_df = recipe_df.loc[201:300]
test_row = test_df.iloc[0]
test_messages = []
test_messages.append({"role": "system", "content": system_message})
user_message = create_user_message(test_row)
test_messages.append({"role": "user", "content": create_user_message(test_row)})

response = openai.ChatCompletion.create(
    model=fine_tuned_model_id, messages=test_messages, temperature=0, max_tokens=500
)
print(response["choices"][0]["message"]["content"])

8. 结论

通过本教程,您已经学会了如何使用GPT-3.5-turbo模型进行微调,以执行食谱命名实体识别任务。这个过程涵盖了数据准备、模型微调和推理的所有关键步骤。希望这个教程对您在自然语言处理领域的工作和项目中有所帮助。

本文由作者 王大神 原创发布于 大神网的AI博客。

转载请注明作者:王大神

原文出处:如何使用Chat模型进行微调:一个食谱命名实体识别教程

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 2023年9月13日
下一篇 2023年9月14日

相关推荐

  • ChatGPT API常见问题解答

    在数字化时代,ChatGPT API成为了开发人员、企业和创业者的重要工具之一,为他们提供了强大的自然语言处理能力。本教程将回答关于ChatGPT API的常见问题,帮助您更好地了解如何利用这一API来解决问题、构建应用程序…

    2023年3月31日
    0074
  • 聊天机器人与我——新手如何更好地与ChatGPT交流?

    在一个寒冷的夜晚,我坐在书桌前,面对屏幕,不断地试图和我的新助理——ChatGPT进行交流。每当我认为我掌握了和它聊天的技巧,结果往往让我失望。这就好像我突然进入了鲁迅笔下的小杂货铺,和店主尝试用我不太熟悉的…

    2023年10月5日
    0065
  • 2023年10月Python库推荐:助你编程事半功倍

    Python,这门炙手可热的编程语言,如今已经成为了众多开发者的首选。它的简洁性、可读性以及丰富的库生态系统,使得Python在各个领域都有着广泛的应用。然而,随着时间的推移,Python库也不断涌现,让人眼花缭乱。…

    2023年10月21日
    0093
  • 如何实现可复现的Chat Completions输出

    Chat Completions是一个强大的工具,可以用于生成文本,但默认情况下,它的输出是非确定性的,也就是说,模型的输出可能会因请求而异。然而,OpenAI为您提供了一些控制输出的方法,使您能够实现(大部分)可复现的…

    2023年11月25日
    0059
  • GPT-5传言与OpenAI的AI大举动

    在科技领域,有些消息犹如晨风,轻轻拂过,却引起了波澜壮阔的浪潮。最近,关于GPT-5即将到来的传言就是这样一阵风,虽然只是轻声细语,却足以在人工智能的世界里掀起一场风暴。OpenAI的首届开发者大会上,GPT-4的…

    2023年11月10日
    00108
  • OpenAI发布全新AI模型和开发者产品:AI技术的巨大飞跃

    近日,在OpenAI首届开发者大会DevDay活动上,该公司宣布了一系列令人振奋的新模型和开发者产品,引发了科技界的广泛关注。这些新发布的产品将对AI技术领域产生深远的影响,让我们一起来看看其中的亮点。 开场故事:…

    2023年11月7日
    0090
  • 开源:60行代码用openai代替人工写SEO文章发布到wordpress

    在今天的数字时代,拥有一个具有高质量内容的网站对于吸引流量和提高排名至关重要。然而,频繁地为网站创建新的SEO友好文章可能是一项耗时的任务。本教程将介绍如何使用OpenAI和Python来自动生成SEO文章,并将其发…

    2023年2月14日
    00172
  • 使用Chat Completions API的JSON模式:创建可解析的智能助手

    在现代科技的时代,人工智能正日益成为我们生活中的重要一部分。OpenAI的Chat Completions API是一个强大的工具,可以用于创建智能助手,以执行各种任务,从回答问题到生成文本。本教程将向您介绍如何使用JSON模式…

    2023年11月25日
    0039
  • OpenAI领导层震荡,AI未来何去何从?

    在科技界发生了一件震动人心的大事:OpenAI的两位重量级领导人突然离职,引发了关于人工智能发展方向的广泛讨论和猜测。本文将深入探讨此次事件背后的各种因素,以及它对人工智能行业的可能影响。 OpenAI的领导危机…

    2023年11月19日
    0089
  • 基于博弈论的均衡排名策略:Llama超越Google版GPT

    有一天,一位名叫小明的年轻研究员,眼神炯炯有神地坐在计算机前。他的屏幕上满是关于自然语言处理领域的研究论文和新闻报道。小明一直在寻找一种突破性的方法,可以让大型语言模型在各种任务上表现更出色,而不需…

    2023年10月19日
    00115

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注