你是否曾经想要在本地使用强大的代码生成工具，但却不想依赖云服务？FauxPilot正是为此而生。本文将向你介绍如何搭建一个本地托管的代码生成服务器，它使用了SalesForce CodeGen模型以及NVIDIA的Triton Inference Server和FasterTransformer后端。这个项目的名字很有趣，但它的功能却一点也不虚伪。
引子：代码生成的新时代
在过去，写代码是一项需要耐心和时间的任务。然而，随着机器学习的发展，我们迎来了代码生成的新时代。GitHub Copilot是一个广受欢迎的云端代码生成工具，但是它需要连接到互联网，而且有一些隐私和依赖性的顾虑。FauxPilot则是一个本地解决方案，让你在本地环境中获得了相似的强大功能。
准备工作
在开始之前，你需要确保满足以下几个先决条件：
- Docker
- docker-compose >= 1.28
- 一块NVIDIA GPU，计算能力需大于等于6.0，并且具备足够的显存来运行你选择的模型。
- nvidia-docker
- curl和zstd，用于下载和解压模型。
请注意，所需的显存是总数，如果你有多个GPU，你可以将模型分配到它们中间。例如，如果你有两块NVIDIA RTX 3080 GPU，你可以将6B模型的一半放在每块GPU上。
支持与保修
是不是觉得FauxPilot的支持和保修信息很有趣？其实，目前它仍然处于早期阶段，虽然有一些维基页面和讨论论坛可以提供一些帮助，但它仍然没有正式的支持和保修。
安装步骤
现在，让我们一起来安装FauxPilot服务器和客户端。
设置FauxPilot服务器
首先，运行设置脚本来选择要使用的模型。这将从Huggingface/Moyix下载模型，该模型以GPT-J格式提供，然后将其转换为FasterTransformer可用的格式。
具体设置步骤请参考FauxPilot服务器设置教程。
配置FauxPilot客户端
FauxPilot提供了多种连接到服务器的方式。例如，你可以通过OpenAI API、Copilot插件、REST API等方式创建客户端。
具体客户端配置请参考FauxPilot客户端设置教程。
术语解释
在继续之前，让我们先了解一些常见术语的含义：
- API：应用程序编程接口
- CC：计算能力（Compute Capability）
- CUDA：计算统一设备架构（Compute Unified Device Architecture）
- FT：Faster Transformer
- JSON：JavaScript对象表示法（JavaScript Object Notation）
- gRPC：谷歌的远程过程调用（Remote Procedure Call）
- GPT-J：由Ben Wang的Mesh Transformer JAX训练的变压器模型
- REST：表征状态转移（REpresentational State Transfer）
结束语
FauxPilot为代码生成提供了一个本地解决方案，让你无需依赖云服务，同时享受到强大的功能。尽管它仍然处于早期阶段，但它有着巨大的潜力，可以帮助开发人员更高效地编写代码。
无论你是想要提高工作效率，还是只是对这个项目感兴趣，都可以尝试一下FauxPilot，看看它能为你带来什么好处。
现在，你已经了解了如何设置FauxPilot服务器和客户端，是时候开始你的本地代码生成之旅了！
微信扫一扫 
