简介
HuggingGPT 是由浙江大学和微软亚洲研究院合作开发的一款自动化 AI 任务执行工具。只需输入自然语言请求,HuggingGPT 将分析任务需求并自动调用 HuggingFace 上的相应模型,解决各种 AI 任务。
工作原理
HuggingGPT 的工作分为四个步骤:
- 任务规划。ChatGPT 解析用户请求,确定任务执行顺序和资源依赖关系。
- 模型选择。ChatGPT 根据 HuggingFace 上各专家模型的描述,为任务分配合适的模型。
- 任务执行。混合端点(包括本地推理和 HuggingFace 推理)上被选定的专家模型根据任务顺序和依赖关系执行分配的任务,并将执行信息和结果给到 ChatGPT。
- 输出结果。由 ChatGPT 总结各模型的执行过程日志和推理结果,给出最终的输出。
实验效果
HuggingGPT 可以在各种形式的复杂任务上表现出良好的性能。作者采用 gpt-3.5-turbo 和 text-davinci-003 这两个通过 OpenAI API 公开访问的变体进行了实测,效果如下:
- 在任务之间存在资源依赖关系的情况下,HuggingGPT 可以根据用户的抽象请求正确解析出具体任务,完成图片转换。
- 在音频和视频任务中,它也展现了组织模型之间合作的能力,通过分别并行和串行执行两个模型的方式,完成一段“宇航员在太空行走”的视频和配音作品。
- 此外,它还可以集成多个用户的输入资源执行简单的推理,比如在以下三张图片中,数出其中有多少匹斑马。
合作机构
HuggingGPT 是由浙江大学和微软亚洲研究院联合开发的一款自动化 AI 任务执行工具。
项目开源
目前,HuggingGPT 的论文已经发布,项目正在建设中,代码已经开源,已揽获 1.4k 标星。
总结
HuggingGPT 的诞生为 AI 领域带来了新的思路,它将各种 AI 模型统一起来,提供了一种全新的解决方案,也为 AGI 的发展提供了新的思路。