OpenAI API 审核指南：如何使用审核端点检查文本内容合规性

随着技术的不断发展，OpenAI API 审核端点成为了一个重要的工具，帮助用户验证文本内容是否符合OpenAI的使用政策。在这篇教程中，我们将详细介绍如何使用审核端点来检查文本内容的分类，以及如何理解返回的结果。

概述

OpenAI的审核端点提供了一种简便的方法，用于检查文本内容是否违反了OpenAI的使用策略。这使开发人员能够迅速辨别不符合政策的内容，并可以进行相应的处理，比如进行过滤操作。这一功能特别适用于社交媒体、聊天应用等平台，以确保用户能够获得友好、合规的体验。

审核端点将内容划分为以下几个类别：

• hate：涉及种族、性别、民族、宗教、国籍、性取向、残疾状况或种姓等方面，表达、煽动或推广仇恨的内容。
• hate/threatening：除了仇恨内容，还包括针对特定群体进行暴力或造成严重伤害的言论。
• self-harm：宣扬、鼓励或描述自残行为（例如自杀、割伤和饮食失调）的内容。
• sexual：涉及引起性兴奋的内容，包括性行为的描述以及宣传性服务（不包括性教育和健康相关内容）。
• sexual/minors：包含涉及未满18岁个体的色情内容。
• violence：宣传或美化暴力行为，或者赞美他人的痛苦和屈辱。
• violence/graphic：包含描绘死亡、暴力或严重身体伤害的极端图像和细节的暴力内容。

通过监控OpenAI API的输入和输出过程，您可以免费使用审核端点，不过需要注意，当前还不支持监测第三方产生的流量。

快速入门

以下是使用Python和Curl两种方式向审核端点发送请求的示例。

使用Python

首先，您需要使用OpenAI的Python库（openai）来进行请求。确保您已经安装了这个库。

import openai

response = openai.Moderation.create(
    input="在这里输入示例文本"
)

output = response["results"][0]

使用Curl命令

您也可以使用Curl命令来发起请求，确保将$OPENAI_API_KEY替换为您的实际API密钥。

curl https://api.openai.com/v1/moderations \
  -X POST \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{"input": "在这里输入示例文本"}'

结果解析

审核端点返回的结果是一个包含了多个字段的JSON对象，其中包括了被判定的各个类别是否为违规以及置信度等信息。以下是示例输出的解释：

• flagged：如果模型将内容分类为违反OpenAI的使用政策，则为true，否则为false。
• categories：一个字典，每个类别都对应一个二进制标志，表示模型是否将该类别标记为违规。
• category_scores：一个字典，包含了模型对于每个类别的原始分数，这些分数反映了模型对输入是否违反了OpenAI的类别策略的信心程度。

注意事项

值得注意的是，OpenAI会持续改进审核端点的底层模型，因此如果您依赖于category_scores来制定自定义策略，可能需要随着时间的推移重新进行校准。

通过使用OpenAI API审核端点，您可以更好地确保内容的合规性，为用户提供更安全、友好的使用体验。