在数字时代，人工智能技术正不断演进，为我们的生活和工作带来了革命性的变化。开放AI（OpenAI）的GPT-3.5-turbo模型是一项重要的技术，它可以用于各种自然语言处理任务，包括聊天和命名实体识别（NER）。本教程将向您展示如何使用GPT-3.5-turbo进行微调，以执行食谱命名实体识别任务。
1. 引子：解锁人工智能的潜力
在当今的数字世界中，人工智能技术正日益成熟和普及。无论是自动化客户支持，还是从大规模数据中提取有用信息，AI都发挥着关键作用。而GPT-3.5-turbo模型是一种强大的AI工具，可以用于许多自然语言处理任务，使您能够创建智能聊天机器人，或者像本教程一样执行命名实体识别任务。
2. 准备工作：设置环境
在开始微调之前，确保您已经安装了最新版本的OpenAI Python包，并已获取了OpenAI API密钥。这个密钥将用于与GPT-3.5-turbo模型进行通信。
# 安装最新版本的OpenAI Python包
!pip install --upgrade openai
import json
import openai
import os
import pandas as pd
from pprint import pprint
# 添加您的OpenAI API密钥
OPENAI_API_KEY = os.getenv("OPENAI_API_KEY", "")3. 数据准备：准备数据进行微调
在进行微调之前，您需要准备训练数据。在本教程中，我们将使用食谱数据集，并从中提取通用的食材名称作为命名实体。以下是数据准备的步骤：
3.1 数据集加载和筛选
为了进行微调，我们需要一个特定领域的数据集。数据集应该足够专注，以便模型可以学习，但也要足够通用，以便不会错过未见过的示例。在本教程中，我们从RecipesNLG数据集中提取了一个子集，该子集只包含来自www.cookbooks.com的文档。
# 读取我们将在此任务中使用的数据集
recipe_df = pd.read_csv("data/cookbook_recipes_nlg_10k.csv")
# 显示数据集的前几行
recipe_df.head()3.2 数据格式转换
在微调时，我们需要将数据转换为适用于ChatCompletion格式的训练示例。每个训练示例都是一个包含多个消息的对话列表。以下是数据转换的示例代码：
training_data = []
system_message = "You are a helpful recipe assistant. You are to extract the generic ingredients from each of the recipes provided."
def create_user_message(row):
return f"""Title: {row['title']}\n\nIngredients: {row['ingredients']}\n\nGeneric ingredients: """
def prepare_example_conversation(row):
messages = []
messages.append({"role": "system", "content": system_message})
user_message = create_user_message(row)
messages.append({"role": "user", "content": user_message})
messages.append({"role": "assistant", "content": row["NER"]})
return {"messages": messages}
# 对数据集的每一行应用数据转换函数
training_data = recipe_df.apply(prepare_example_conversation, axis=1).tolist()3.3 上传文件
将转换后的数据保存为.jsonl文件，然后上传到OpenAI的Files端点，以供微调使用。
def write_jsonl(data_list: list, filename: str) -> None:
with open(filename, "w") as out:
for ddict in data_list:
jout = json.dumps(ddict) + "\n"
out.write(jout)
# 保存训练数据和验证数据为.jsonl文件
training_file_name = "tmp_recipe_finetune_training.jsonl"
write_jsonl(training_data, training_file_name)
validation_file_name = "tmp_recipe_finetune_validation.jsonl"
write_jsonl(validation_data, validation_file_name)
# 使用OpenAI的Files端点上传文件
training_response = openai.File.create(
file=open(training_file_name, "rb"), purpose="fine-tune"
)
training_file_id = training_response["id"]
validation_response = openai.File.create(
file=open(validation_file_name, "rb"), purpose="fine-tune"
)
validation_file_id = validation_response["id"]4. 微调模型
现在，我们可以使用准备好的文件创建微调任务。在创建任务时，我们需要指定训练文件、验证文件、模型名称和可选的后缀来标识模型。以下是微调模型的示例代码：
response = openai.FineTuningJob.create(
training_file=training_file_id,
validation_file=validation_file_id,
model="gpt-3.5-turbo",
suffix="recipe-ner",
)
job_id = response["id"]您可以使用以下代码检查微调任务的状态：
response = openai.FineTuningJob.retrieve(job_id)
print("Job ID:", response["id"])
print("Status:", response["status"])5. 跟踪微调进度
微调任务可能需要一些时间来完成。您可以使用以下代码跟踪微调进度：
response = openai.FineTuningJob.list_events(id=job_id, limit=50)
events = response["data"]
events.reverse()
for event in events:
print(event["message"])6. 微调成功！
一旦微调任务完成，您将获得一个微调模型的ID。以下是
如何获取微调模型的示例代码：
response = openai.FineTuningJob.retrieve(job_id)
fine_tuned_model_id = response["fine_tuned_model"]
print("Fine-tuned model ID:", fine_tuned_model_id)7. 使用微调模型进行推理
最后，您可以使用微调的模型来执行推理。只需调用ChatCompletions并指定微调模型的名称和消息列表。以下是如何使用微调模型进行推理的示例代码：
test_df = recipe_df.loc[201:300]
test_row = test_df.iloc[0]
test_messages = []
test_messages.append({"role": "system", "content": system_message})
user_message = create_user_message(test_row)
test_messages.append({"role": "user", "content": create_user_message(test_row)})
response = openai.ChatCompletion.create(
model=fine_tuned_model_id, messages=test_messages, temperature=0, max_tokens=500
)
print(response["choices"][0]["message"]["content"])8. 结论
通过本教程，您已经学会了如何使用GPT-3.5-turbo模型进行微调，以执行食谱命名实体识别任务。这个过程涵盖了数据准备、模型微调和推理的所有关键步骤。希望这个教程对您在自然语言处理领域的工作和项目中有所帮助。
