在今天的数字时代，大型语言模型（LLM）如GPT-3.5和GPT-4已经成为了多功能的开放域聊天机器人。它们在多种任务中表现出色，但在某些情况下，它们的回答可能会受到“幻觉”和过时信息的影响，降低了可信度，尤其是需要实时信息的领域。本文将介绍一种名为FRESHPROMPT的方法，可以有效提高LLM的事实性，让它们更好地应对快速变化的知识。
FRESHQA数据集
为了评估LLM生成内容的事实性，研究者创建了一个名为"FRESHQA"的新型质量保证基准。这个数据集包含了600个自然问题，涵盖了各种主题和不同难度级别。这些问题要求模型理解世界上最新的知识以正确回答问题。此外，FRESHQA还具有动态性，一些问题的答案可能随着时间的推移而改变，这增加了挑战。
FRESHPROMPT方法
FRESHPROMPT方法旨在通过将搜索引擎提供的准确和最新信息整合到LLM的回答中，提高模型的事实性。这一方法的关键步骤包括：
- 使用问题查询搜索引擎，例如谷歌搜索，获取相关信息。
- 提取搜索结果中的文本片段以及其他信息，如来源、日期、标题和高亮文字。
- 创建包含这些证据的列表，并通过上下文内学习来调整LLM。
- 对证据进行排序，以便模型专注于较新的信息。
实验结果
FRESHPROMPT方法显著提高了LLM在FRESHQA上的表现。具体来说，GPT-4 + FRESHPROMPT在STRICT和RELAXED模式下的绝对准确率分别较GPT-4提高了47%和31.4%。这意味着FRESHPROMPT可以极大地减少过时和幻觉答案的出现。
此外，FRESHPROMPT在处理快速变化的问题和涉及最新知识的问题时表现出色，同时也改善了对旧知识问题的回答准确性。对于假前提问题，FRESHPROMPT也取得了显著的进步。
结论
FRESHPROMPT方法为提高LLM的事实性提供了一种有效的途径。通过整合搜索引擎提供的最新信息，LLM可以更好地适应快速变化的知识，减少过时信息的影响。这一方法对于提高LLM的可信度和实用性具有重要意义。
微信扫一扫 
