向量表示与 Embedding
# 向量表示（Embedding）
本页维护向量表示的概念；检索流程见 RAG，模型参数见 LLM 基础。
# 基本概念
向量是一组有序数字。Token embedding 是 token ID 对应的表示，维度取决于模型；经过 Transformer 层得到的上下文表示又与所在语境有关。面向句子或文档的检索向量通常由专门模型或聚合方式产生，不能直接把每个 token 的向量当作整篇文档的检索表示。
"我" → [0.1, 0.2, 0.3, ...]
"喜欢" → [0.4, 0.5, 0.6, ...]
1
2
2
# 为什么需要向量
- 计算机只能处理数字，不能直接理解文字
- 向量包含词的语义信息
- 相似的词有相似的向量，可通过数学计算语义关系
# 核心特点
- 语义相似性：合适的训练目标和距离度量可使语义相关的输入更接近，不保证每个空间都如此
- 可计算：支持加减等数学运算（经典例子：国王 - 男人 + 女人 ≈ 女王）
- 上下文感知：Transformer 层输出结合上下文；基础 token embedding 与上下文表示需要区分
# 应用场景
- 语义搜索
- RAG 文档检索
- 推荐系统
- 文本分类
- 聚类分析
# 与 Transformer 的关系
文本 → Token化 → Embedding层 → 向量序列 → 自注意力机制 → 输出
1
向量是 Transformer 处理文本的基础数据形式，bridge 了人类语言和计算机计算。
参考
上次更新: 2026/10/18, 22:14:48