如何充分利用大型语言模型

如何充分利用大型语言模型

大型语言模型的工作原理

大型语言模型是将文本映射到文本的函数。给定一个文本输入字符串,大型语言模型会预测接下来应该出现的文本。

大型语言模型的魔力在于,通过在大量文本上进行训练以最小化预测误差,这些模型最终学会了对这些预测有用的概念。例如,它们学会了:

  • 如何拼写
  • 语法如何工作
  • 如何改写
  • 如何回答问题
  • 如何进行对话
  • 如何用多种语言写作
  • 如何编写代码
  • 等等

所有这些功能都不是明确编程的,它们都是在训练过程中产生的结果。

GPT-3支持数百种软件产品,包括生产力应用程序、教育应用程序、游戏等等。

如何控制大型语言模型

在所有输入中,对大型语言模型影响最大的是文本提示。

大型语言模型可以通过以下几种方式进行提示以生成输出:

  • 指令: 告诉模型你想要什么
  • 完成: 引导模型完成你想要的文本的开头
  • 演示: 向模型展示你想要的内容,可以是提示中的一些示例,也可以是精细调整训练数据集中的成百上千个示例

下面分别展示了每种方式的示例。

指令提示

遵循指令的模型(例如text-davinci-003或以text-开头的任何模型)专门设计用于遵循指令。在提示的顶部(或底部,或两者兼有)编写你的指令,模型将尽力遵循指令,然后停止。指令可以很详细,所以不要害怕写一段明确详细的输出要求。

例如指令提示:

提取下面引用中的作者姓名。

“有些人理论认为,智能种族在扩展到外太空之前就会灭绝。如果他们正确,那么夜空的寂静就是坟墓的寂静。”
― Ted Chiang, 《呼吸》

输出:

Ted Chiang

完成提示示例

完成式提示利用了大型语言模型试图编写它认为最有可能出现的文本的方式。为了引导模型,尝试开始一个模式或句子,这个模式或句子将由你想要看到的输出来完成。与直接指令相比,这种方式需要更多的关心和实验。此外,模型不一定知道何时停止,因此通常需要停止序列或后处理来截断生成的文本,以确保输出符合预期。

例如完成提示:

“有些人理论认为,智能种族在扩展到外太空之前就会灭绝。如果他们正确,那么夜空的寂静就是坟墓的寂静。”
― Ted Chiang, 《呼吸》

这句话的作者是

输出:

 Ted Chiang

演示提示示例(少样本学习)

与完成式提示类似,演示可以向模型展示你想要它做什么。这种方法有时被称为少样本学习,因为模型从提示中提供的少数示例中学习。

例如演示提示:

引用:
“当理性思维一次又一次地被迫面对不可能时,它别无选择,只能适应。”
― N.K. Jemisin, 《第五季》
作者: N.K. Jemisin

引用:
“有些人理论认为,智能种族在扩展到外太空之前就会灭绝。如果他们正确,那么夜空的寂静就是坟墓的寂静。”
― Ted Chiang, 《呼吸》
作者:

输出:

 Ted Chiang

细调提示示例

通过足够多的训练示例,你可以对自定义模型进行细调。在这种情况下,指令变得不必要,因为模型可以从提供的训练数据中学习任务。但是,包含分隔符序列(例如->###或任何不常出现在输入中的字符串)可以帮助告诉模型提示何时结束以及输出何时开始。如果没有分隔符序列,模型有可能继续详细阐述输入文本,而不是开始生成你想要看到的答案。

例如,细调提示示例(用于已在类似提示完成对中进行自定义训练的模型):

“有些人理论认为,智能种族在扩展到外太空之前就会灭绝。如果他们正确,那么夜空的寂静就是坟墓的寂静。”
― Ted Chiang, 《呼吸》

###

输出:

 Ted Chiang

代码能力

大型语言模型不仅在文本方面表现出色,还在代码方面表现出色。OpenAI的专用代码模型称为[Codex](https

://openai.com/blog/openai-codex)。

Codex支持超过70个产品,包括:

  • GitHub Copilot(在VS Code和其他IDE中自动完成代码)
  • Pygma(将Figma设计转化为代码)
  • Replit(具有“解释代码”按钮等功能)
  • Warp(带有AI命令搜索的智能终端)
  • Machinet(编写Java单元测试模板)

请注意,与遵循指令的文本模型(例如text-davinci-002)不同,Codex没有经过训练以遵循指令。因此,设计良好的提示需要更多的关注。

更多提示建议

有关更多提示示例,请访问OpenAI Examples

总的来说,输入提示是改进模型输出的最佳杠杆。你可以尝试一些技巧,如:

  • 提供更明确的指令。 例如,如果你希望输出是逗号分隔的列表,可以要求它返回逗号分隔的列表。如果你希望它在不知道答案时说“我不知道”,可以告诉它'如果你不知道答案,请说“我不知道”。'
  • 提供更好的示例。 如果你在提示中展示示例,请确保你的示例多样且高质量。
  • 要求模型像专家一样回答。 明确要求模型产生高质量的输出,或者产生像专家写的输出一样的输出,可以诱使模型提供更高质量的答案,因为模型认为专家会写的答案。例如,“以下答案是正确的、高质量的,由专家撰写。”
  • 提示模型写下解释其推理的一系列步骤。 例如,在最终答案之前,以“让我们一步一步地思考”之类的方式引导模型给出其推理的解释。提示模型在最终答案之前解释其推理的步骤可以增加最终答案一致且正确的可能性。

本文由作者 王大神 原创发布于 大神网的AI博客。

转载请注明作者:王大神

原文出处:如何充分利用大型语言模型

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 2023年9月9日
下一篇 2023年9月9日

相关推荐

  • GPT-4性能问题曝光:OpenAI承认并计划修复

    2023年12月11日,OpenAI的GPT-4模型成为热门话题,但不是因为其卓越的性能,而是因为用户普遍反映模型变得“懒散”,不愿提供答案。这一问题引起了广泛关注和批评,OpenAI在社交平台上承认了这一问题,并表示将采取措…

    2023年12月11日
    00
  • ReMax算法:简单、高效、有效的大型语言模型对齐方法

    在现代科技的浪潮中,大型语言模型(Large Language Models,LLMs)如GPT-3、GPT-4等已经成为自然语言处理和人工智能领域的璀璨明星。它们能够自动生成文本、回答问题、进行翻译,乃至于模拟人类的对话,这一切都离…

    2023年10月20日
    00
  • 如何充分利用大型语言模型

    在数字时代,人工智能的崛起给我们带来了前所未有的可能性。而在这个无处不在的AI时代,大型语言模型如GPT-3则成为了实现许多创意和任务的得力助手。无论是在编程、创作、还是解答问题上,大型语言模型都能发挥巨大…

    2023年10月14日
    00
  • 大型语言模型的涌现能力:现实还是海市蜃楼?

    在当今数字时代,大型语言模型如GPT-3已经成为了技术界的明星,它们可以生成高质量的文本、回答各种问题,甚至进行创作。这些模型的涌现能力被认为是人工智能的里程碑,但是,是否一切都如此神奇,或者这只是一种错…

    2023年10月20日
    00
  • 谷歌Infini-Transformer模型:有效管理无限上下文挑战与未来方向

    本文介绍谷歌最新的Infini-Transformer模型,该模型通过Infini-attention机制扩展传统Transformer处理无限长输入的能力。文章探讨了技术细节、性能比较及未来应用方向。 引言 从2017年的开创性论文《Attention is A…

    2024年5月5日
    00
  • “text-generation-webui”:赋予语言模型“见识”新天地

    想象一下,你坐在舒适的沙发上,手机在手,轻轻一点,就能与世界上最先进的语言模型进行深刻的对话或获取专业的文本生成服务。这不是科幻,这是现实——一切都得益于oobabooga的“text-generation-webui”项目。 项目背…

    2023年9月1日
    00
  • 发现最佳AI聊天体验:ChatALL 项目介绍

    你是否曾经体验过使用大型语言模型(LLMs)创建的AI聊天机器人?这些机器人确实令人惊叹,但它们的行为可能会随机变化,不同的机器人在不同的任务上表现出色。如果你想要最佳的聊天体验,那就不要逐个尝试它们,Cha…

    2023年10月20日
    00
  • chatgpt提示prompt工程:探索思维链以提高复杂推理能力

    在当今人工智能领域,我们经常听说大型语言模型(LLM)的强大,但它们如何实现复杂推理呢?思维链(Chain of Thought)是一个有趣而强大的概念,它可以帮助LLM进行复杂推理。本文将深入探讨思维链是什么,以及如何…

    2023年10月5日
    00
  • 打造虚拟软件公司:ChatDev带你进入智能代理的新世界

    Bob是一个酷爱编程的人,一直以来,他梦想能有一种技术,让软件开发的流程更智能、更高效。一天,Bob在一次偶然的机会中,发现了ChatDev这个项目。他好奇心作祟,开始研究。接下来的旅程,让他大开眼界,就像发现了…

    2023年9月25日
    00
  • 如何提高大型语言模型的事实性:FRESHPROMPT方法

    在今天的数字时代,大型语言模型(LLM)如GPT-3.5和GPT-4已经成为了多功能的开放域聊天机器人。它们在多种任务中表现出色,但在某些情况下,它们的回答可能会受到“幻觉”和过时信息的影响,降低了可信度,尤其是需要…

    2023年10月10日
    00