在人工智能和大型语言模型（LLM）的发展过程中，嵌入（Embeddings）技术扮演着至关重要的角色。本教程将深入浅出地介绍嵌入技术，以及它在AI和LLM应用中的运用。
什么是嵌入技术？
嵌入技术是一种将非结构化数据转化为结构化向量的方法。这些向量包含了一系列浮点数，代表数据的特征或维度。例如，句子“The cow jumped over the moon”可以通过嵌入技术转化为一个向量，如[0.5, 0.3, 0.1]。这种转换方式使我们能够量化不同文本之间的相似性。
举例说明
考虑以下三个句子：
- "The cow jumped over the moon."
- "The bovine leapt above the celestial body."
- "I enjoy eating pancakes."
假设它们的嵌入向量分别为：
- 句子1 → [0.5, 0.3, 0.1]
- 句子2 → [0.6, 0.29, 0.12]
- 句子3 → [0.1, -0.2, 0.4]
通过计算这些嵌入向量之间的距离，我们可以判断哪两个句子最相似。
嵌入技术的应用
嵌入技术在多个领域有着广泛的应用，包括但不限于：
- 信息检索：将用户查询转化为向量，实现基于查询背后含义的更精确搜索。
- 自然语言处理：嵌入技术能够捕捉文本的本质，适用于文本分类和情感分析等任务。
- 推荐系统：通过向量相似性，我们能推荐与给定项目相似的电影、产品或书籍，创造更个性化的推荐体验。
- 异常检测：通过确定数据集内项之间的相似性，我们可以识别出与众不同的异常项，这在网络安全和质量控制等领域至关重要。
距离度量
- 欧几里得（Euclidean）：常规距离，类似于用尺子测量的距离。
- 曼哈顿（Manhattan）：也称“出租车”或“城市街区”距离。
- 余弦（Cosine）：计算两个向量之间角度的余弦值。
如何生成嵌入
可以使用OpenAI的Embeddings API来生成嵌入。以下是使用OpenAI的text-embedding-ada-002模型生成嵌入的示例：
curl https://api.openai.com/v1/embeddings \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
"input": "Your text string goes here",
"model": "text-embedding-ada-002"
}'在Postgres中存储向量嵌入
使用Neon支持的pgvector和pg_embedding Postgres扩展，可以直接在Postgres数据库中存储和检索向量嵌入。例如，安装pgvector扩展后，你可以创建一个表来存储嵌入：
CREATE TABLE items(id BIGSERIAL PRIMARY KEY, embedding VECTOR(1536));
INSERT INTO items(embedding) VALUES ('[...嵌入数据...]');构建基于嵌入的AI应用
以下是利用嵌入技术构建AI应用的一般流程：
- 从数据中生成嵌入。
- 将嵌入存储在数据库中。
- 构建用户输入界面。
- 为用户输入生成嵌入。
- 执行相似性搜索，将用户输入的嵌入与数据库中存储的嵌入进行比较。
- 向用户返回最相似的数据。
微信扫一扫 