TL;DR
Embedding(向量嵌入)将文本映射为高维数值向量,语义相近的文本向量距离更近,是实现语义检索与 RAG 的核心技术,豆包 PEG 模型输出 1024 维向量。
01 Embedding 的定义
Embedding 是将离散的文本数据转换为连续的高维向量表示。每个维度捕获文本的某种语义特征,使语义相近的文本在向量空间中距离更近。
02 为什么需要向量
传统关键词检索无法理解语义,「如何开户」与「开户流程」关键词不同但语义相同。向量检索通过余弦相似度衡量语义距离,能找到语义相关而非仅关键词匹配的内容。