如何使用Chat模型进行微调:一个食谱命名实体识别教程

在数字时代,人工智能技术正不断演进,为我们的生活和工作带来了革命性的变化。开放AI(OpenAI)的GPT-3.5-turbo模型是一项重要的技术,它可以用于各种自然语言处理任务,包括聊天和命名实体识别(NER)。本教程将向您展示如何使用GPT-3.5-turbo进行微调,以执行食谱命名实体识别任务。

1. 引子:解锁人工智能的潜力

在当今的数字世界中,人工智能技术正日益成熟和普及。无论是自动化客户支持,还是从大规模数据中提取有用信息,AI都发挥着关键作用。而GPT-3.5-turbo模型是一种强大的AI工具,可以用于许多自然语言处理任务,使您能够创建智能聊天机器人,或者像本教程一样执行命名实体识别任务。

2. 准备工作:设置环境

在开始微调之前,确保您已经安装了最新版本的OpenAI Python包,并已获取了OpenAI API密钥。这个密钥将用于与GPT-3.5-turbo模型进行通信。

# 安装最新版本的OpenAI Python包
!pip install --upgrade openai

import json
import openai
import os
import pandas as pd
from pprint import pprint

# 添加您的OpenAI API密钥
OPENAI_API_KEY = os.getenv("OPENAI_API_KEY", "")

3. 数据准备:准备数据进行微调

在进行微调之前,您需要准备训练数据。在本教程中,我们将使用食谱数据集,并从中提取通用的食材名称作为命名实体。以下是数据准备的步骤:

3.1 数据集加载和筛选

为了进行微调,我们需要一个特定领域的数据集。数据集应该足够专注,以便模型可以学习,但也要足够通用,以便不会错过未见过的示例。在本教程中,我们从RecipesNLG数据集中提取了一个子集,该子集只包含来自www.cookbooks.com的文档。

# 读取我们将在此任务中使用的数据集
recipe_df = pd.read_csv("data/cookbook_recipes_nlg_10k.csv")

# 显示数据集的前几行
recipe_df.head()

3.2 数据格式转换

在微调时,我们需要将数据转换为适用于ChatCompletion格式的训练示例。每个训练示例都是一个包含多个消息的对话列表。以下是数据转换的示例代码:

training_data = []

system_message = "You are a helpful recipe assistant. You are to extract the generic ingredients from each of the recipes provided."

def create_user_message(row):
    return f"""Title: {row['title']}\n\nIngredients: {row['ingredients']}\n\nGeneric ingredients: """

def prepare_example_conversation(row):
    messages = []
    messages.append({"role": "system", "content": system_message})

    user_message = create_user_message(row)
    messages.append({"role": "user", "content": user_message})

    messages.append({"role": "assistant", "content": row["NER"]})

    return {"messages": messages}

# 对数据集的每一行应用数据转换函数
training_data = recipe_df.apply(prepare_example_conversation, axis=1).tolist()

3.3 上传文件

将转换后的数据保存为.jsonl文件,然后上传到OpenAI的Files端点,以供微调使用。

def write_jsonl(data_list: list, filename: str) -> None:
    with open(filename, "w") as out:
        for ddict in data_list:
            jout = json.dumps(ddict) + "\n"
            out.write(jout)

# 保存训练数据和验证数据为.jsonl文件
training_file_name = "tmp_recipe_finetune_training.jsonl"
write_jsonl(training_data, training_file_name)

validation_file_name = "tmp_recipe_finetune_validation.jsonl"
write_jsonl(validation_data, validation_file_name)

# 使用OpenAI的Files端点上传文件
training_response = openai.File.create(
    file=open(training_file_name, "rb"), purpose="fine-tune"
)
training_file_id = training_response["id"]

validation_response = openai.File.create(
    file=open(validation_file_name, "rb"), purpose="fine-tune"
)
validation_file_id = validation_response["id"]

4. 微调模型

现在,我们可以使用准备好的文件创建微调任务。在创建任务时,我们需要指定训练文件、验证文件、模型名称和可选的后缀来标识模型。以下是微调模型的示例代码:

response = openai.FineTuningJob.create(
    training_file=training_file_id,
    validation_file=validation_file_id,
    model="gpt-3.5-turbo",
    suffix="recipe-ner",
)

job_id = response["id"]

您可以使用以下代码检查微调任务的状态:

response = openai.FineTuningJob.retrieve(job_id)

print("Job ID:", response["id"])
print("Status:", response["status"])

5. 跟踪微调进度

微调任务可能需要一些时间来完成。您可以使用以下代码跟踪微调进度:

response = openai.FineTuningJob.list_events(id=job_id, limit=50)

events = response["data"]
events.reverse()

for event in events:
    print(event["message"])

6. 微调成功!

一旦微调任务完成,您将获得一个微调模型的ID。以下是

如何获取微调模型的示例代码:

response = openai.FineTuningJob.retrieve(job_id)
fine_tuned_model_id = response["fine_tuned_model"]

print("Fine-tuned model ID:", fine_tuned_model_id)

7. 使用微调模型进行推理

最后,您可以使用微调的模型来执行推理。只需调用ChatCompletions并指定微调模型的名称和消息列表。以下是如何使用微调模型进行推理的示例代码:

test_df = recipe_df.loc[201:300]
test_row = test_df.iloc[0]
test_messages = []
test_messages.append({"role": "system", "content": system_message})
user_message = create_user_message(test_row)
test_messages.append({"role": "user", "content": create_user_message(test_row)})

response = openai.ChatCompletion.create(
    model=fine_tuned_model_id, messages=test_messages, temperature=0, max_tokens=500
)
print(response["choices"][0]["message"]["content"])

8. 结论

通过本教程,您已经学会了如何使用GPT-3.5-turbo模型进行微调,以执行食谱命名实体识别任务。这个过程涵盖了数据准备、模型微调和推理的所有关键步骤。希望这个教程对您在自然语言处理领域的工作和项目中有所帮助。

本文由作者 王大神 原创发布于 大神网的AI博客。

转载请注明作者:王大神

原文出处:如何使用Chat模型进行微调:一个食谱命名实体识别教程

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 2023年9月13日
下一篇 2023年9月14日

相关推荐

  • ChatGPT工作原理详解:揭秘OpenAI的聊天机器人技术

    在当今数字化时代,人工智能已经渗透到我们生活的方方面面。聊天机器人作为人工智能领域的杰出代表之一,已经在客户服务、虚拟助手、教育等领域发挥着越来越重要的作用。而ChatGPT,作为OpenAI研发的一款顶尖聊天机…

    2023年12月9日
    00
  • 提高文本相似度计算的效率:从TF-IDF到余弦相似度

    嗨,大家好!在今天的教程中,我们将探讨一个令人兴奋的话题——文本相似度计算。或许你曾经想知道如何衡量两个文本之间的相似度,这在自然语言处理和信息检索中是一个关键的问题。无论是在搜索引擎中查找相关结果,…

    2023年9月24日
    00
  • 使用Dotnet SDK为OpenAI ChatGPT、Whisper、GPT-4和DALL·E创建项目

    想象一下,您正在进行一个充满创意和潜力的项目,该项目需要与OpenAI的强大AI模型进行交互,以实现各种令人惊叹的功能。这个项目可能是一个聊天机器人,一个创造性的图像生成工具,或者一个可以执行各种任务的智能…

    2023年10月8日
    00
  • OpenAI领导层震荡,AI未来何去何从?

    在科技界发生了一件震动人心的大事:OpenAI的两位重量级领导人突然离职,引发了关于人工智能发展方向的广泛讨论和猜测。本文将深入探讨此次事件背后的各种因素,以及它对人工智能行业的可能影响。 OpenAI的领导危机…

    2023年11月19日
    00
  • 如何使用Weights & Biases Weave监控OpenAI API调用

    在数字化时代,人工智能和深度学习技术正迅速发展,而OpenAI一直是这一领域的领先者之一。但是,随着项目和团队的增长,对OpenAI API的使用情况的监控变得越来越重要。本教程将向您展示如何使用Weights & Biase…

    2023年10月14日
    00
  • OpenAI的ChatGPT之路:探索人工智能的商业前景

    在2022年11月,OpenAI发布了ChatGPT,这个备受瞩目的人工智能工具,但在发布之前,公司的高管团队进行了一场重要的会议,讨论是否应该发布这个工具。这一决策背后涉及了众多考虑和争论,本文将深入探讨这一话题以及…

    2023年12月8日
    00
  • ChatGPT官网指南:使用技巧全解析

    在当今信息时代,人工智能技术的快速发展为我们带来了前所未有的便利。其中,OpenAI推出的ChatGPT作为一款领先的自然语言处理工具,已经成为了业界的焦点。让我们一起探索ChatGPT的官网,并了解如何高效使用这一工…

    2023年11月17日
    00
  • 从零开始:我如何掌握OpenAI的ChatGPT API密钥并成为AI领域的新星

    回忆起那天,我还是一个对AI一窍不通的小白,每次看到那些“机器人帮我做这做那”的视频,总是既羡慕又嫉妒。直到有一天,我无意中听说了OpenAI的ChatGPT,这一切都开始发生改变。我决定尝试一下,也许,我也可以成为…

    2023年10月12日
    00
  • ChatGPT 4V发布:开启多模态时代

    嗨,大家好,我是王大神。今天,我要和大家分享一项令人激动的消息:OpenAI正式发布了全新的ChatGPT 4V,这是继GPT-3之后的最新一代自然语言处理模型。这一版本的ChatGPT不仅带来了众多期待已久的特性,还引入了两…

    2023年10月14日
    00
  • 为什么我将微软奖励积分捐献给OpenAI?- 一份关于人工智能和公益的贡献

    人工智能,作为当今世界最具潜力和活力的领域之一,已经深刻地改变了我们的生活。从智能手机上的语音助手到自动驾驶汽车,从医疗诊断到自然语言处理,人工智能的应用无处不在。然而,随着其快速发展,也引发了一系…

    2023年6月6日
    00