跳到主内容
芝麻园地

002 AI SYSTEMS · 2026

从调用模型,
到构建系统。

15 个核心概念,3 层工程架构,1 条从数据到行动的闭环。大模型给的是概率,系统工程给的是确定性。

01
知识从哪里来?数据表示与检索增强
→
02
请求发给谁,模型如何行动?模型接入与治理
→
03
多步任务如何不失控?从工具到自主智能体
→
GUARDRAILSOBSERVABILITYBUDGET
15
核心概念
03
系统层次
02
横切能力
05
学习步骤
用户请求→语义表示→知识检索→模型治理→工具行动→智能体闭环
ONE-PAGE OVERVIEW一图总览
2026 开发者必须掌握的 15 个 AI 系统概念:三层架构、核心主线与生产级系统要素
先用一张图建立全局坐标,再继续向下查看每个概念的工程职责、关键提醒与学习顺序。

THE SYSTEM MAP

三层不是三张清单,
而是一条逐层递进的生产线。

LAYER 01

知识从哪里来?

数据表示与检索增强

把世界变成模型能读的形式
01Embedding Models

嵌入模型

把文本、图像或音频映射到向量空间,让语义相近变成几何相近。

!查询前缀、度量方式和模型版本必须一致;精确 token 仍需 BM25。
  • 向量化
  • 语义距离
  • 混合检索
02Vector Databases

向量数据库

用 ANN 索引在海量向量中毫秒级找到最相近的 top-k。

!优先匹配真实规模;元数据过滤必须进入检索过程,而非事后回表。
  • HNSW
  • ANN
  • 元数据过滤
03Retrieval-Augmented Generation

RAG

先检索外部证据,再让模型基于证据生成可溯源答案。

!分块是地基,重排是闸门;RAG 只能降低幻觉,不能消除幻觉。
  • 分块
  • 重排
  • RAGAS
04Context Engineering

上下文工程

管理此刻模型该看到什么、以什么顺序出现、占用多少 token。

!关键证据放首尾,动态内容设预算,不可信内容隔离后再进入窗口。
  • Token 预算
  • 位置衰减
  • 上下文压缩
05Semantic Caching

语义缓存

让语义相同但字面不同的请求复用历史答案,跳过模型调用。

!阈值决定误命中风险;必须设置 TTL,并跟随知识版本一起失效。
  • 命中阈值
  • TTL
  • 成本优化
LAYER 02

请求发给谁,模型如何行动?

模型接入与治理

把模型变成可控、可观测、可计费的基础设施
06Model Routing

模型路由

按质量、成本、延迟和能力把请求动态交给最合适的模型。

!跨模型级联负责省钱;fallback、熔断与故障摘除负责可用性。
  • 级联
  • Fallback
  • 成本质量权衡
07AI Gateway

AI 网关

在应用和模型之间统一协议、密钥、限流、计费、日志与治理。

!限请求数不等于控成本;生产环境还要按真实美元花费设额度。
  • 统一端点
  • Spend Limits
  • DLP
08Function Calling

函数调用

模型生成函数名与 JSON 参数,应用执行后再把结果回喂模型。

!模型只表达调用意图,执行权始终在应用;Schema 越明确越可靠。
  • JSON Schema
  • Structured Output
  • 错误回喂
09Tool Use

工具使用

赋予模型搜索、计算、读写业务系统与感知环境的外部能力。

!工具不是越多越好;按任务裁剪子集,副作用动作必须提高审查等级。
  • 实时数据
  • 确定性计算
  • 人在回路
10Model Context Protocol

MCP

标准化工具与数据源的发现、传输和鉴权,把 M×N 集成降为 M+N。

!MCP 不替代函数调用;远程服务要坚持最小权限与可靠鉴权。
  • JSON-RPC
  • 工具发现
  • OAuth
11External Integrations

外部集成

把 Slack、邮箱、CRM 等 SaaS 连接成模型可治理的业务手脚。

!只读优先;发信、删数据、动钱等写操作必须经过人工确认。
  • 连接器
  • 凭证托管
  • 审批
LAYER 03

多步任务如何不失控?

从工具到自主智能体

把单步推理变成可靠、可恢复、可约束的程序
12Agent Harness

智能体编排

用图、状态机和共享状态把不确定调用钉在确定的控制流上。

!先跑稳单智能体,再按真实瓶颈拆 worker;不要为线性流程付编排税。
  • 状态图
  • 规划执行监控
  • 持久化
13Execution Loop

执行循环

感知、推理、行动、观察,直到达成目标或触发终止条件。

!自主不等于无限;步数、token、美元预算和无进展检测要同时兜底。
  • ReAct
  • Max Turns
  • 预算
14Memory Systems

记忆系统

在有限窗口之外保存跨会话偏好、任务状态和可复用经验。

!写入结构化事实而非整段对话;按 user_id 隔离是正确性与隐私底线。
  • 短期记忆
  • 长期记忆
  • 作用域隔离
15Guardrails

护栏

在模型说话或行动前,对输入、输出、检索和工具参数执行拦截。

!模型对齐不等于护栏;敏感动作要用最小权限、人审和纵深防御。
  • Prompt 注入
  • 动作审计
  • 纵深防御

CROSS-CUTTING CAPABILITIES

两条贯穿全栈的能力

03+

微调 Fine-tuning

知识高频变化、需要引用时选 RAG;固定格式、风格或推理范式需要内化时选微调。多数生产系统会把两者叠加。

07+

可观测性 Observability

把一次请求的检索、路由、模型、工具、成本与评估串成 trace。没有观测的 Agent 不是智能,而是黑箱。

THE AGENT LOOP

智能体不是魔法,
是有预算的循环。

每一步都留下状态,每一次行动都经过权限检查,每一轮都知道还剩多少预算。

终止条件目标 / 步数
Token / 美元
01感知PERCEIVE
02推理REASON
03行动ACT
04观察OBSERVE
→↓←↑

BUILD IT, LAYER BY LAYER

一条务实的学习路径

  1. 01

    向量化

    文档切块 → Embedding → pgvector / Qdrant → top-k

  2. 02

    接上知识

    混合检索 → cross-encoder 重排 → RAGAS 评估 → 语义缓存

  3. 03

    收口接入

    AI 网关 → 模型路由 → fallback → spend limits

  4. 04

    赋予行动

    函数调用 → 工具子集 → MCP server → 结果回喂

  5. 05

    形成闭环

    Harness → 执行预算 → 记忆 → 护栏 → 全链路观测