知识从哪里来?
数据表示与检索增强
把世界变成模型能读的形式嵌入模型
把文本、图像或音频映射到向量空间,让语义相近变成几何相近。
- 向量化
- 语义距离
- 混合检索
向量数据库
用 ANN 索引在海量向量中毫秒级找到最相近的 top-k。
- HNSW
- ANN
- 元数据过滤
RAG
先检索外部证据,再让模型基于证据生成可溯源答案。
- 分块
- 重排
- RAGAS
上下文工程
管理此刻模型该看到什么、以什么顺序出现、占用多少 token。
- Token 预算
- 位置衰减
- 上下文压缩
语义缓存
让语义相同但字面不同的请求复用历史答案,跳过模型调用。
- 命中阈值
- TTL
- 成本优化