如何使用Chat模型进行微调:一个食谱命名实体识别教程

在数字时代,人工智能技术正不断演进,为我们的生活和工作带来了革命性的变化。开放AI(OpenAI)的GPT-3.5-turbo模型是一项重要的技术,它可以用于各种自然语言处理任务,包括聊天和命名实体识别(NER)。本教程将向您展示如何使用GPT-3.5-turbo进行微调,以执行食谱命名实体识别任务。

1. 引子:解锁人工智能的潜力

在当今的数字世界中,人工智能技术正日益成熟和普及。无论是自动化客户支持,还是从大规模数据中提取有用信息,AI都发挥着关键作用。而GPT-3.5-turbo模型是一种强大的AI工具,可以用于许多自然语言处理任务,使您能够创建智能聊天机器人,或者像本教程一样执行命名实体识别任务。

2. 准备工作:设置环境

在开始微调之前,确保您已经安装了最新版本的OpenAI Python包,并已获取了OpenAI API密钥。这个密钥将用于与GPT-3.5-turbo模型进行通信。

# 安装最新版本的OpenAI Python包
!pip install --upgrade openai

import json
import openai
import os
import pandas as pd
from pprint import pprint

# 添加您的OpenAI API密钥
OPENAI_API_KEY = os.getenv("OPENAI_API_KEY", "")

3. 数据准备:准备数据进行微调

在进行微调之前,您需要准备训练数据。在本教程中,我们将使用食谱数据集,并从中提取通用的食材名称作为命名实体。以下是数据准备的步骤:

3.1 数据集加载和筛选

为了进行微调,我们需要一个特定领域的数据集。数据集应该足够专注,以便模型可以学习,但也要足够通用,以便不会错过未见过的示例。在本教程中,我们从RecipesNLG数据集中提取了一个子集,该子集只包含来自www.cookbooks.com的文档。

# 读取我们将在此任务中使用的数据集
recipe_df = pd.read_csv("data/cookbook_recipes_nlg_10k.csv")

# 显示数据集的前几行
recipe_df.head()

3.2 数据格式转换

在微调时,我们需要将数据转换为适用于ChatCompletion格式的训练示例。每个训练示例都是一个包含多个消息的对话列表。以下是数据转换的示例代码:

training_data = []

system_message = "You are a helpful recipe assistant. You are to extract the generic ingredients from each of the recipes provided."

def create_user_message(row):
    return f"""Title: {row['title']}\n\nIngredients: {row['ingredients']}\n\nGeneric ingredients: """

def prepare_example_conversation(row):
    messages = []
    messages.append({"role": "system", "content": system_message})

    user_message = create_user_message(row)
    messages.append({"role": "user", "content": user_message})

    messages.append({"role": "assistant", "content": row["NER"]})

    return {"messages": messages}

# 对数据集的每一行应用数据转换函数
training_data = recipe_df.apply(prepare_example_conversation, axis=1).tolist()

3.3 上传文件

将转换后的数据保存为.jsonl文件,然后上传到OpenAI的Files端点,以供微调使用。

def write_jsonl(data_list: list, filename: str) -> None:
    with open(filename, "w") as out:
        for ddict in data_list:
            jout = json.dumps(ddict) + "\n"
            out.write(jout)

# 保存训练数据和验证数据为.jsonl文件
training_file_name = "tmp_recipe_finetune_training.jsonl"
write_jsonl(training_data, training_file_name)

validation_file_name = "tmp_recipe_finetune_validation.jsonl"
write_jsonl(validation_data, validation_file_name)

# 使用OpenAI的Files端点上传文件
training_response = openai.File.create(
    file=open(training_file_name, "rb"), purpose="fine-tune"
)
training_file_id = training_response["id"]

validation_response = openai.File.create(
    file=open(validation_file_name, "rb"), purpose="fine-tune"
)
validation_file_id = validation_response["id"]

4. 微调模型

现在,我们可以使用准备好的文件创建微调任务。在创建任务时,我们需要指定训练文件、验证文件、模型名称和可选的后缀来标识模型。以下是微调模型的示例代码:

response = openai.FineTuningJob.create(
    training_file=training_file_id,
    validation_file=validation_file_id,
    model="gpt-3.5-turbo",
    suffix="recipe-ner",
)

job_id = response["id"]

您可以使用以下代码检查微调任务的状态:

response = openai.FineTuningJob.retrieve(job_id)

print("Job ID:", response["id"])
print("Status:", response["status"])

5. 跟踪微调进度

微调任务可能需要一些时间来完成。您可以使用以下代码跟踪微调进度:

response = openai.FineTuningJob.list_events(id=job_id, limit=50)

events = response["data"]
events.reverse()

for event in events:
    print(event["message"])

6. 微调成功!

一旦微调任务完成,您将获得一个微调模型的ID。以下是

如何获取微调模型的示例代码:

response = openai.FineTuningJob.retrieve(job_id)
fine_tuned_model_id = response["fine_tuned_model"]

print("Fine-tuned model ID:", fine_tuned_model_id)

7. 使用微调模型进行推理

最后,您可以使用微调的模型来执行推理。只需调用ChatCompletions并指定微调模型的名称和消息列表。以下是如何使用微调模型进行推理的示例代码:

test_df = recipe_df.loc[201:300]
test_row = test_df.iloc[0]
test_messages = []
test_messages.append({"role": "system", "content": system_message})
user_message = create_user_message(test_row)
test_messages.append({"role": "user", "content": create_user_message(test_row)})

response = openai.ChatCompletion.create(
    model=fine_tuned_model_id, messages=test_messages, temperature=0, max_tokens=500
)
print(response["choices"][0]["message"]["content"])

8. 结论

通过本教程,您已经学会了如何使用GPT-3.5-turbo模型进行微调,以执行食谱命名实体识别任务。这个过程涵盖了数据准备、模型微调和推理的所有关键步骤。希望这个教程对您在自然语言处理领域的工作和项目中有所帮助。

本文由作者 王大神 原创发布于 大神网的AI博客。

转载请注明作者:王大神

原文出处:如何使用Chat模型进行微调:一个食谱命名实体识别教程

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 2023年9月13日
下一篇 2023年9月14日

相关推荐

  • OpenAI发布DALL·E 3:AI艺术的新篇章

    在2023年9月,OpenAI再次震撼世界,发布了一项重大突破——DALL·E 3。这一文生图模型的亮点在于,它可以与ChatGPT合作,通过简单的提示(prompt)生成惊人的图像,而无需深入的编写技能。这个消息引发了广泛的兴趣和…

    2023年10月20日
    00
  • 开发者日新发布的GPT-4 Turbo和GPT-3.5 Turbo

    作为一个对技术和创新充满热情的自由职业者,我一直密切关注着人工智能领域的最新动态。最近,OpenAI宣布了GPT-4 Turbo和更新的GPT-3.5 Turbo的预览发布,这些新模型引发了广泛的兴趣和讨论。在本文中,我将为大家…

    2023年11月19日
    00
  • ChatGPT最新功能大揭秘:联网、语音输入和图像输入!

    你好,亲爱的读者们!今天,我将为你们带来一篇激动人心的文章,让你们了解到ChatGPT的最新功能,这些功能将会彻底改变你们的体验。从联网功能、语音输入到图像输入,ChatGPT已经焕然一新,让我们一起来看看这些新…

    2023年10月4日
    00
  • GitHub Copilot Chat:提升代码质量和效率的AI助手

    在现代软件开发中,高质量的代码和高效率是开发人员追求的目标之一。然而,实现这两者之间的平衡一直是一项具有挑战性的任务。GitHub Copilot Chat,作为一款基于自然语言处理的人工智能工具,正在改变开发者编写和…

    2023年10月21日
    00
  • ChatGPT新功能震撼发布:Read Aloud让ChatGPT会说话

    随着人工智能技术的不断进步,OpenAI的ChatGPT作为一款领先的智能聊天机器人,一直在不断地创新和进化。从最初的文字聊天到语音聊天,再到如今最新推出的Read Aloud功能,ChatGPT的发展之路无疑令人瞩目。这项新功…

    2024年3月12日
    00
  • OpenAI, GPT-3.5 Turbo, 微调训练, 数据准备, 对话生成

    在最近的更新中,OpenAI推出了Fine-tune(微调)功能,允许我们基于自己的数据对GPT-3.5 Turbo进行微调训练。微调训练是一个强大的工具,可以使GPT模型适应特定领域或任务。本文将为你介绍如何使用OpenAI官方文档中…

    2023年10月6日
    00
  • 2023年10月Python库推荐:助你编程事半功倍

    Python,这门炙手可热的编程语言,如今已经成为了众多开发者的首选。它的简洁性、可读性以及丰富的库生态系统,使得Python在各个领域都有着广泛的应用。然而,随着时间的推移,Python库也不断涌现,让人眼花缭乱。…

    2023年10月21日
    00
  • OpenAI首席科学家Ilya Sutskever:AI的未来与风险

    Ilya Sutskever,OpenAI的首席科学家,是人工智能领域的一位杰出人物。他的X账号一直是科技界里的一股神秘力量,极少分享个人生活,但却频繁发表引人深思的思考和观点。在一个媒体炒作的行业中,他是那个少数不热衷…

    2023年11月1日
    00
  • GPT Store上线延期:内部动荡影响OpenAI的关键产品

    在OpenAI近期的内部动荡之后,GPT Store上线日期被宣布推迟至2024年年初。这一突如其来的延期背后,是一系列让公司陷入忙碌状态的意料之外的事件。本文将深入探讨这一问题,以及GPTs产品的发展、优势与挑战。 背景…

    2023年12月5日
    00
  • OpenAI泄露GPT-4.5 Turbo,AI技术新突破

    在数字化时代,人工智能(AI)技术的进步不断推动社会向前发展。近日,一则关于OpenAI可能意外泄露其即将发布的GPT-4.5 Turbo大型语言模型信息的消息引发了广泛关注。本文将深入探讨这一事件及其对未来AI技术发展的…

    2024年3月14日
    00