一个 AI Agent，拆开来看就是：大脑（LLM）+ 规划（Planning）+ 记忆（Memory）+ 工具/手脚（Action）+ 感知（Perception），外面再套一层编排（Orchestration）把它们串起来。

李飞飞那篇综述讲的 5 大模块（环境感知 / 学习 / 记忆 / 动作 / 认知），本质就是这五层的学术命名。上一篇只给了骨架，这一篇把真实模型与产品填进去，让你一眼看清全局。

一、全景图：五层 + 编排层

层级 职责 代表模型 / 系统 格局看点
L1 大脑（基础模型） 理解、推理、生成 闭源：OpenAI GPT-4o / o 系列、Anthropic Claude、Google Gemini；开源：Meta Llama、DeepSeek、Mistral、Qwen 能力差距在缩小；推理模型（o1 / DeepSeek-R1 式”先想后答”）把”规划”内化进大脑
L2 规划 / 推理 拆任务、定步骤、自我纠错 Chain-of-Thought、ReAct（推理↔行动交替）、Reflexion（自我反思）、Plan-and-Execute、Tree-of-Thoughts 两条腿走路：模型内化（o1/R1）+ 框架外化（LangGraph plan-execute）
L3 记忆 记住并复用 短期：超长上下文窗口；长期：RAG + 向量库（Qdrant / Milvus / Pinecone）；专项：MemGPT / Letta、mem0 “上下文工程”正在取代”提示工程”
L4 工具 / 动作 真去”动手” Function Calling、代码解释器；协议：MCP（Model Context Protocol）、A2A；操作电脑：Claude Computer Use、OpenAI Operator / browser-use；编码：GitHub Copilot、Codex、Claude Code、Cursor、Devin 2024→2025 从”会聊天”转向”会做事”；MCP 统一了”手”的接口
L5 感知 / 具身 看、听、在物理世界动 多模态：GPT-4V/4o、Gemini、Qwen-VL、LLaVA；机器人：RT-1 / RT-2（Google）、PaLM-E、π0、Figure；游戏/仿真：Voyager（Minecraft）、Generative Agents（斯坦福小镇）、Habitat 从屏幕走向物理世界；sim-to-real 是最大门槛
编排层 把五层串起来 框架：LangChain / LangGraph、AutoGen、CrewAI、OpenAI Agents SDK、LlamaIndex；平台：OpenClaw、n8n、Dify、Coze 单 agent → 多 agent 协作；”固定工作流” vs “自主循环”两种路线

二、把李飞飞 5 模块对到具体模型

综述模块 学术含义 现实里的对应物
环境与感知 任务规划 + 技能观察 GPT-4V/4o 读屏幕与截图；VLM 做视觉 grounding；各类传感器
Agent 学习 RL / 模仿学习 / In-context DeepSeek-R1 用 RL 训练推理；RT-2 用模仿学习学动作；少样本 ICL
记忆 知识编码 ↔ 检索 超长上下文 + RAG 向量库 + MemGPT / Letta
Agent 动作 具身 / 工具 / API Function Calling、MCP、Computer Use、机械臂控制
认知 知识 / 推理 / 常识 / 情感 o1 / R1 的”慢思考”、Tree-of-Thoughts、情感与共情模型

结论：综述的”模块”不是抽象概念，每一个都能在今天的真实系统里指到具体模型；它的价值是提供了这套五层结构的统一命名。

三、”Agent Token” 在现实里的影子

  • 论文主张：把视觉 token + 语言 token + agent token 统一进一个端到端 transformer。
  • 现实印证：多模态模型已把”动作”（工具调用、控制指令）纳入输出空间；但主流工程路线仍是拼接式——冻结的 VLM + 外部工具调用。
  • 仍在争：端到端 agent 模型 vs “LLM + 编排框架”，谁代表未来尚无定论。

四、三条格局主线（帮你抓大方向）

  1. 从”会说”到”会做”：function calling → Computer Use → 编码 / 办公 agent。价值正从”生成文字”迁移到”完成任务”。
  2. 从”单体”到”协作”：单 agent → 多 agent（LangGraph / AutoGen / CrewAI）；协议标准化（MCP / A2A）让不同 agent 与工具能互接。
  3. 从”屏幕”到”物理”：游戏与仿真 → 机器人；sim-to-real（仿真到现实的落差）是具身落地的最大瓶颈。

五、一页速记

  • 记五层：大脑 → 规划 → 记忆 → 工具 → 感知（+ 编排层）。
  • 大脑在收敛（GPT / Claude / Gemini / Llama / DeepSeek 五强并立），差异化在”记忆 + 工具 + 编排”。
  • 2024→2025 关键词：推理模型、Computer Use、MCP、多 agent、具身智能。
  • 李飞飞综述的位置：给了这五层的学术坐标；现实产品是这五层的工程实现。看格局时，先问”它补的是哪一层”。

六、平台落地：VPS / AWS / Azure / GCP 的实现差异

关键判断：Agent 的”逻辑”（规划—记忆—工具 的循环）是可移植的；真正分叉的是三件事——模型从哪来、编排/托管服务用谁、基础设施长什么样。

先记住：三层可移植性

层次 内容 迁移成本
可移植层 agent 逻辑（LangGraph / OpenClaw / LlamaIndex）、提示与工具定义 几乎为零，换平台基本不改
半锁定层 模型接入端点（OpenAI / Bedrock / Azure OpenAI / Vertex）、向量库、可观测性 中等，改配置+适配
强锁定层 托管 Agent 服务（Bedrock Agents / Azure AI Agent Service / Vertex Agent Builder） 最高，一旦用了最难搬

平台对照表

维度 自建 VPS（本机） AWS Azure GCP
算力形态 固定 CPU/GPU 主机，自己运维 EC2（GPU P4/P5）、ECS/EKS、Lambda、SageMaker VM（NC/ND GPU）、AKS、Functions、Azure ML GCE（GPU/TPU）、GKE、Cloud Run、Vertex AI
模型接入 本地 Ollama / llama.cpp + 任意外部 API Bedrock（Claude / Titan / Llama / Mistral）、SageMaker 自托管 Azure OpenAI（GPT-4o / o 系列）、AI Foundry 模型目录 Vertex Model Garden（Gemini / Claude / Llama）、Gemini API
托管 Agent 服务 无（用 OpenClaw / n8n 自建） Bedrock Agents / AgentCore Azure AI Agent Service / Copilot Studio / Semantic Kernel / AutoGen Vertex AI Agent Builder / ADK / Agentspace
记忆 / 向量 Qdrant / Milvus / pgvector 自建 OpenSearch Serverless、Aurora pgvector Azure AI Search、pgvector Vertex Vector Search、AlloyDB / BigQuery
编排 Docker Compose / systemd / Caddy / Tailscale Step Functions、EventBridge、EKS Logic Apps、Durable Functions、AKS Workflows、Pub/Sub、GKE
差异化 数据主权、成本可控、零锁定、需自己运维 模型选择最广、托管 Agent 最成熟 企业治理/合规/身份（Entra）、GPT 首发 Gemini + TPU、数据分析一体（BigQuery）

同一件事，四种做法（例：部署一个带 RAG 的客服 agent）

步骤 VPS AWS Azure GCP
取模型 Ollama 本地 / 调外部 API Bedrock 调 Claude Azure OpenAI 调 GPT Vertex 调 Gemini
知识库 Qdrant + 本地 embedding Bedrock Knowledge Bases 或 OpenSearch Azure AI Search（vector） Vertex Vector Search
编排 OpenClaw / LangGraph 自托管 Bedrock Agents / Step Functions AI Agent Service / Semantic Kernel Agent Builder / ADK
部署 systemd + nginx Lambda / ECS / EKS Functions / AKS Cloud Run / GKE

一句话取舍

  • VPS：最大自由、最低固定成本、零锁定；代价是运维、无 GPU 上限（适合个人/小团队，如本机）。
  • AWS：模型选择最广、托管 Agent 最成熟；适合想”少造轮子”的团队。
  • Azure：企业合规与 Office/Entra 生态最强，GPT 系模型首发。
  • GCP：Gemini + 数据分析一体、TPU 成本优势；适合数据密集与 Google 栈。

真正的格局点

厂商都在争一件事：把”Agent 运行时”变成自己的托管服务（Bedrock Agents / Azure AI Agent Service / Vertex Agent Builder）。谁的运行时被采用，谁就握住了下一层入口。而对使用方来说，把 agent 逻辑与厂商运行时解耦（用 LangGraph / OpenClaw 这类可移植层），才是避免被单云锁死的关键。

七、把平台映射进 Agent AI 框架：谁覆盖了哪一格，还缺什么

把「框架 5 模块 + 编排层」当行、「VPS / AWS / Azure / GCP」当列，逐格填真实服务——缺口会自己浮出来。

7.1 映射矩阵

框架模块 VPS（自建） AWS Azure GCP
① 环境与感知 OpenCV / Playwright / OCR / ASR 自拼 Rekognition、Transcribe、Textract AI Vision、Speech、Document Intelligence Vision AI、Speech-to-Text、Video Intelligence
② Agent 学习 LoRA 本地微调（受限于无 GPU） SageMaker 训练/微调、Bedrock Fine-tuning Azure ML、Azure OpenAI 微调 Vertex AI Training/Tuning
③ 记忆 pgvector / Qdrant / Milvus 自建 + 文件 memory Bedrock Knowledge Bases、OpenSearch、AgentCore Memory Azure AI Search（vector）、Cosmos DB Vertex Vector Search、AlloyDB、Memory Bank
④ Agent 动作 shell/exec、MCP、Playwright 浏览器 Bedrock Agents Action Groups（Lambda）、Step Functions、AgentCore Gateway、MCP AI Agent Service tools、Logic Apps、Power Automate、MCP ADK/Agent Builder tools、Cloud Functions、MCP
⑤ 认知 靠外部推理模型（o1 / R1，经 one-api 网关） Claude extended thinking（Bedrock） Azure OpenAI o 系列 Gemini thinking（Vertex）
编排层 OpenClaw、n8n、LangGraph 自托管 Bedrock Agents、Step Functions、AgentCore AI Agent Service、Semantic Kernel、AutoGen Vertex Agent Builder、ADK

7.2 覆盖度热力（● 强 · ◐ 部分 · ○ 缺）

模块 VPS AWS Azure GCP 判断
① 感知 ◐ ● ● ● 云厂商强项，但是单点 API，缺”感知→动作”闭环
② 学习 ○ ◐ ◐ ◐ 最弱一环：只有 offline 微调，无在线持续学习
③ 记忆 ◐ ● ● ● 向量检索成熟；跨会话长期记忆刚起步
④ 动作 ◐ ● ● ● MCP 统一了”手”；“物理手”仍空白
⑤ 认知 ◐ ◐ ◐ ◐ 全塞进推理模型黑盒，细分能力无专门组件
编排 ◐ ● ● ● 最饱和，也最锁定的地方

7.3 还缺什么（缺口清单）

① 持续学习 / 环境反馈闭环 —— 最大空白

综述 §4 的核心是”从交互反馈中持续学习（RL / 模仿 + 环境反馈）”，但三朵云的”学习”基本只做离线微调。没有一个托管服务能让 agent 在真实运行中自动 RL 进化。→ 人人都讲 agent 会变强，平台层却没有这条管道。

② 具身 / 物理动作 —— 云厂商不碰

综述 L5 讲机器人、sim-to-real，但云平台只有”感知”（视觉/语音 API），“物理手”（机械臂、自驾）几乎无托管服务（AWS RoboMaker 已停）。这块被 Figure / π0 / 机器人本体厂商占着，云厂商只做背后的算力。

③ 跨云 / 跨平台编排 —— 协议刚起

MCP（工具）与 A2A（agent 间）是希望，但仍早期。没有”一个 agent 跨 AWS+GCP 调工具”的标准运行时。现在用哪家云，agent 就被那家的运行时收编。

④ 长期记忆标准化 —— 各做各的

短期记忆靠上下文窗口；长期记忆 AWS 有 AgentCore Memory、GCP 有 Memory Bank，但无互操作标准，换平台记忆搬不走。

⑤ Agent 评测与可观测（AgentOps）—— 分散且缺失

各云有 tracing / eval，但跨平台的 agent 评测基准缺乏。综述专门提出 CuisineWorld / leaderboard，恰恰说明这是学术与工业共同缺口。

⑥ Agent 专属安全 / 治理 —— 早期

综述有专章讲伦理、操纵风险、偏见；云平台有 Responsible AI 工具，但 agent 专属护栏（自主行动的权限边界、身份、防越权）才刚起步（AgentCore Identity/Policies、Azure AI Content Safety for agents）。

⑦ 计费模型未定 —— 隐性缺口

现在按 token 计费，但 agent 按”动作/任务”计费更合理。动作计费标准缺失，是商业化前的暗礁。

⑧ 认知层细分缺失

神经符号、情感推理、显式逻辑——综述各占一节，托管服务里几乎没有对应组件，全被大模型黑盒吸收。

7.4 结论：平台强在”手脚与编排”，弱在”学习与具身”

  • 云厂商真正覆盖的：①感知、③记忆（检索）、④工具动作（MCP）、编排 —— 也就是「手脚 + 接线」。
  • 系统性缺失的：②持续学习闭环、⑤具身物理执行 —— 也就是「成长 + 落地」。
  • 框架视角的启示：李飞飞综述把”学习”和”具身”列为一级模块，而恰恰这两块是平台层最空的。这正说明——综述不只是学术地图，它标出的空白，就是下一波 agent 基础设施的创业与产品机会。

八、实战案例：golforfun 的「高尔夫规则问答」RAG Agent

用一个真实可复现的案例，把每一步落到框架模块 + 各平台服务上。

场景：golforfun.net 的「规则问答 Agent」。

用户提问：「球打进红桩区，能不能在侧面抛球？」

语料：站上 Golf Etiquette & Rules（分类 12） 的 10 篇规则文章——罚杆区/界外/不可打之球、找球与暂定球、发球台规则、计分与让杆等。

期望：agent 检索规则文章，给出带出处链接的答复，罚杆数、抛球选项、桩色一律不得出错。

为什么规则场景更严苛：技术上「偏右一点」是容错，规则上「红桩说成黄桩」就是误导。所以这个案例把 RAG 的「引用准确性」逼到极限——也最能看出平台的短板。

8.1 一条查询的 9 步流水线（映射到框架模块）

# 步骤 在做什么 框架模块
1 接收查询 收用户文字（未来可含语音/截图问球位） ① 环境与感知
2 查询改写 把「红桩怎么抛球」扩写成「红色罚杆区 + 侧面抛球 + 罚杆数 + 2 杆身」多路查询 ⑤ 认知 / ② 规划
3 向量化 embedding 把查询转成向量 ③ 记忆
4 向量检索 在 10 篇规则文章切片里找 top-k（应命中「罚杆区、界外与不可打之球的区别」） ③ 记忆
5 重排 / 过滤 cross-encoder 重排、去重，优先规则原文而非技术文章 ③ 记忆
6 上下文组装 命中片段 + 出处元数据（文章 ID / 标题 / 链接）拼进提示 ③ 记忆 + 编排层
7 生成答复 LLM 生成答案，逐条标注引用；罚杆数与桩色必须与原文一致 ⑤ 认知（大脑）
8 工具调用 调 WordPress REST 取文章真实 URL；可附规则文章配图 ④ Agent 动作
9 回复 + 归因 返回答案 + 出处链接；记录日志供评估 编排层
— 反馈回流 用户纠错（”应该是黄桩吧？”）→ 改进 → 这一段平台最缺 ② Agent 学习

8.2 同一案例，四个平台的实现对照

步骤 VPS（本机/OpenClaw） AWS Azure GCP
1 接收 Telegram / HTTP 入口，OpenClaw 接 API Gateway + Lambda Functions + Logic Apps Cloud Run + Workflows
2 改写 调 o1/R1（one-api 网关） Bedrock 调 Claude Azure OpenAI（o 系列） Vertex 调 Gemini
3 向量化 bge-m3 / bge-small 本地（已缓存） Bedrock Titan Embeddings Azure OpenAI Embeddings Vertex text-embeddings
4 检索 Qdrant / pgvector 自建 OpenSearch Serverless / Bedrock KB Azure AI Search（vector） Vertex Vector Search
5 重排 bge-reranker 本地 Bedrock Rerank / Cohere Rerank Azure AI Search 语义重排 Vertex Ranking API
6 组装 OpenClaw / LangGraph 模板 Bedrock Agents（自动拼 KB 检索） AI Agent Service / Semantic Kernel Agent Builder / ADK
7 生成 同上推理模型 Bedrock Claude Azure OpenAI GPT Vertex Gemini
8 工具 exec + MCP（WordPress REST） Action Groups → Lambda（WP API） AI Agent Service tools → Logic Apps ADK tools → Cloud Functions
9 归因 规则文章 URL（站内链接） CloudWatch + 应用日志 App Insights Cloud Logging / Trace
反馈回流 半自动：conversation_indexer 写入 Chroma conversations 集合 ~ 缺（需自建） ~ 缺 ~ 缺

8.3 从规则案例看清缺口（把理论落到这一条规则问答上）

① 持续学习闭环（② 学习）—— 最大缺口

用户纠错「这条规则过时了 / 我记错的是另一条」时，四家平台都没有”自动把它变成训练数据、改进检索或生成”的管道。本机已有**半自动对话索引**（conversation_indexer 把问答写入 Chroma 的 conversations 集合，按 user_id 分），但**索引 ≠ 学习闭环**——存进去并不改进检索或生成；三朵云则完全要自己搭。→ 综述 §4 强调的”环境反馈持续学习”，在这条链上是断的。

② 检索质量归因（③ 记忆）—— 半缺口

答错了，是没检索到规则原文（召回失败）还是模型自己编了罚杆数（幻觉）？各平台能看 trace，但没有标准的”检索质量 → 生成质量”归因工具。规则场景里这直接决定要不要扩大召回。

③ 权威源优先级（③ 记忆）—— 规则场景特有缺口

站上既有规则文章（分类 12）又有技术文章（分类 14），两者都可能含”罚杆/抛球”字样。平台不区分语料权威性——必须自己加”规则优先”的过滤/加权，否则会把技术随笔当规则答。这是 golf 规则 RAG 的刚需补丁。

④ 版本与时效（③ 记忆）—— 规则场景特有缺口

高尔夫规则（R&A / USGA）有版本更新。旧文章何时失效？平台没有”规则版本”元数据与时效过滤，RAG 可能引到已过时的条款。

⑤ 引用可信度 / 防幻觉（⑤ 认知）—— 规则场景最致命

规则问答的命门是每个数字与桩色都要有出处（红桩 1 杆、界外 1 杆+距离、肩高抛球、2 杆身范围）。但托管服务不保证引用真存在——模型会编造”规则 17-1b”这类编号。→ 必须强制工具校验引用（第 8 步回查文章原文），这是工程补丁，不是平台能力。

⑥ 多模态提问（① 感知 + ③ 记忆）—— 缺口

用户发球场照片问”这是红桩还是黄桩？”就需要多模态理解 + 规则检索。平台只有原始 Vision API，没有现成的”多模态规则 RAG”托管。

⑦ 跨会话记忆连续性（③ 记忆）

同一用户上周问过界外、这周问不可打之球，平台默认不记得（除非用 AgentCore Memory / Memory Bank，且无互操作标准）。

⑧ 动作计费（④ 动作 + 商业化）

一条规则问答有多次模型调用 + 检索 + 重排 + 工具调用，按 token 计费完全对不上”一次问答的价值”。动作级计费标准仍缺。

8.4 一张图收尾

用户问「红桩区能在侧面抛球吗？」
   │  ①感知
   ▼
改写 ─⑤─► 向量化 ─③─► 检索 ─③─► 重排 ─③─► 组装
   │           (规则优先过滤)                    │
   │                        ④动作 ◄─ 取文章URL ──┤
   ▼                                            ▼
 ⑤生成（逐条标引用）────────────────────► 回复+归因
   │                                            │
   └────────── ②学习（反馈回流）◄───────────────┘
                    ▲
              四家平台都最缺这一段

结论：一个规则问答 RAG Agent 走完流程，①感知 ③记忆 ④动作 ⑤认知 + 编排 = 平台都能给；但 ②持续学习（反馈闭环）在四家平台上都是断的，而且规则场景还额外缺权威源优先级、规则版本时效、引用强制校验——这三样都得自己补。

一句话：RAG 的「R」（检索）平台管得住，「AG」（成长）平台管不住；而规则问答更是把「引用必须可靠」逼成了硬要求。

附：李飞飞综述的框架骨架（学术坐标）

以下为 arXiv 2401.03568 第 3–5 章原文框架，作为上面五层结构的学术出处。

本文专门讲框架本身：范式（模块构成）→ Agent Transformer → 训练与学习 → 分类体系

一、框架总览（Fig. 5）

论文提出的 Multimodal Generalist Agent 新范式，由 5 个主模块组成：

# 模块 作用
1 Environment & Perception（环境与感知） 含 task-planning（任务规划） 与 skill observation（技能观察）；把视觉/语言/环境接地数据转成可用输入
2 Agent Learning（Agent 学习） RL / 模仿学习 / In-context Learning / 自监督预训练，让 agent 从交互与反馈中改进
3 Memory（记忆） 让习得知识可编码存储、可检索复用——支撑长程规划与上下文一致性
4 Agent Action（Agent 动作） 生成并执行具身动作（机器人控制器输入、工具调用、API 调用等）
5 Cognition（认知） 知识/推理/常识/情感的高层整合，决定”为什么这么做”

Microsoft 的 MindAgent 基础设施即按这 5 大模块落地：环境感知+任务规划、agent 学习、记忆、通用动作预测、认知。

框架要达成的 4 个目标（原文 §3）

  1. 复用现有预训练模型（LLM/VLM）快速 bootstrap agent，获得对文本/视觉等重要模态的理解；
  2. 支持足够长的长期任务规划能力；
  3. 提供记忆框架：让学到的知识能被编码、并在之后检索；
  4. 让环境反馈能被用来训练 agent，学会”该采取哪个动作”。

设计哲学（§1.1）

  • 回溯 亚里士多德整体论（Holism） 与 目的因（Final Cause / “系统为何存在”），反对过度还原论导致的 AI 目标碎片化；
  • 核心命题：Agent AI = 能感知视觉刺激、语言输入及其他环境接地数据，并产生有意义具身动作的交互式系统；
  • 关键机制：next-embodied action prediction（下一个具身动作预测） —— 融合外部知识 + 多传感输入 + 人类反馈；
  • 价值主张：在接地环境中开发 agentic AI 可缓解大模型幻觉及其”生成环境不正确输出”的倾向。

二、两条技术路线（§3.1–3.3）

路线 A：用 LLM/VLM「拼装」agent（当前主流，Fig. 6）

  • 用 冻结的 视觉模型（如 CLIP，语言对齐的通用视觉编码器、零样本识别）+ 语言模型（负责 task-planning、世界知识、逻辑推理），只训练连接模态的较小子网络。
  • 代表：Flamingo、BLIP-2、InstructBLIP、LLaVA（后两者以冻结 CLIP 作视觉编码器）。

路线 B：统一端到端的 Agent Transformer（论文主张，§3.2, Fig. 7）

与 Gato 类似——单个 transformer 同时吃 视觉 token + 语言 token，论文新增第三类输入：Agent Token。

Agent Token 是什么：为 agentic 行为专门保留的输入/输出子空间。在机器人或游戏里可表示控制器的动作空间；训练 agent 使用特定工具（图生成/图编辑模型、其它 API 调用）时也可用 agent token。三者拼成训练多模态 agent 的统一接口。

相对”大而专有 LLM 当 agent”的 4 个优势：

  1. 可定制：能表达自然语言难以描述的特定 agentic 任务（控制器输入等），让 agent 从环境交互与领域数据中学习；
  2. 可解释：能直接查看 agent token 的概率，更容易理解”为何采取/不采取某动作”；
  3. 隐私：医疗、法律等数据隐私要求严格的领域可本地化；
  4. 成本：相对较小的 agent transformer 可能显著便宜于大型专有语言模型。

Agent Transformer 的训练（§3.3，两步）

  1. Define Objectives within the Domain（定义域内目标）：明确每个环境里 agent 的目标与动作空间，为每个任务/动作分配唯一 agent token；若能用自动规则判定任务成功，可大幅增加可用训练数据（否则需基础模型生成或人工标注数据）。
  2. Continuous Improvement（持续改进）：持续监控性能 + 收集反馈 → 微调更新；同时检查训练数据与输出偏见、必要时训练模型识别并规避偏见；达标后部署，并继续监控。

与 §8 联动：训练数据来自 Human-based Interaction Data（人类交互数据）与 Foundation Model Generated Data（基础模型生成数据）两条来源，支撑持续学习。

三、Agent 学习机制（§4）

3.1 总体策略（§4.1）

交互式 AI 的策略是对”调用大基础模型”范式的扩展：训练一个 agent 主动收集用户反馈、动作信息与有用知识。有时不必重训 LLM/VLM，只在测试时给 agent 更好的上下文提示即可；此外常涉及一个三元系统的交互建模：

  1. 从多模态查询做知识检索；
  2. 由相关 agent 做交互式生成；
  3. 用 RL / 模仿学习或更优的自监督预训练训练新知识。

3.2 四类学习方法

方法 要点 已知挑战 / 对策
强化学习 RL（§4.1.1） 基于奖励学习”状态→动作”最优关系；可扩展性强 ① 奖励设计依赖专家经验 → 用 LLM/VLM 设计奖励函数；② 数据收集与效率差 → 增强数据生成、参数高效学习；③ 长程步数难（信用分配 + 状态爆炸）→ 拆成子目标 + TAMP（任务规划 + 运动规划）；LLM 做高层任务规划、RL 做低层控制
模仿学习 IL（§4.1.2） 用专家数据模仿；机器人主流框架是 Behavioral Cloning（BC） 现代 BC 引入 LLM/VLM 做端到端模型，如 RT-1 / RT-2（输入图像序列+语言，输出底座与机械臂动作序列），据报泛化性能高
Traditional RGB（§4.1.3） 直接用图像输入学行为 维度灾难 → 更多数据，或在模型里注入归纳偏置（3D 结构、地图表示、NeRF 三维重建）；用图形仿真器合成数据并弥合 sim2real gap
In-context Learning（§4.1.4） 少样本提示即可跨任务上下文化 示例的多样性/质量影响输出；多模态里 Flamingo/BLIP-2 少量示例有效；agent 场景可结合环境反馈进一步提升

3.3 Agent 系统优化（§4.1.5）

  • 空间优化：机器人间协同、资源分配、空间组织。大规模并行 agent 用大批量 RL；多智能体数据稀缺用 self-play，但会过拟合自对弈变得脆弱 → 改为发现多样化的”约定（conventions）”并训练”约定感知”的 agent；基础模型可帮助与真人/独立 agent 建立约定。
  • 时间优化：任务调度、排序、时间线效率。如机械臂轨迹优化；调度层面有 LLM-DP、ReAct 等交互式规划方法。

3.4 Agent Modules（零样本/少样本级，§4.2.1）

用 LLM/VLM 做交互式多模态 agent 的”模块”，采用极简设计以演示 agent 的调度与协同能力，并探索基于提示的记忆技术以改进规划、指导后续动作。→ 对应 MindAgent 的 5 模块结构。

3.5 Agent Infrastructure（§4.2.2）

  • agent AI 社区（娱乐/研究/产业）快速扩张；大基础模型显著提升 agent 性能，但受高质量数据集制作成本与总成本制约。
  • 微软用先进硬件 + 多元数据源 + 强软件库构建高质量 agent 基础设施，深刻影响多模态 agent copilot。
  • 现状痛点：现有人机交互系统主要是规则驱动、行为受软件开发成本限制、且无法在用户做不到时帮助其达成目标 → 需要 agent AI 基础设施去分析用户行为、在必要时提供支持。

3.6 Agentic Foundation Models（预训练/微调级，§4.3）

复用预训练基础模型的核心优势是广适用、免去每任务大量标注数据：

  • 导航：LM-Nav——GPT-3 生成文本地标 + CLIP 锚定到机器人图像，实现文本与视觉融合；
  • 机器人操作：现成 LLM（如 ChatGPT）+ 开放词汇物体检测器（如 Detic），把人类指令接地到场景信息；
  • 多模态任务规划：用 GPT-4V 做 prompt engineering，展示通用性与适应性。

四、Agent 分类体系（§5）

大类 子类 说明
5.1 Generalist Agent Areas — 计算机动作型 & 通用型 agent（GA）：须自然易用且能广泛泛化到多语境/多模态
5.2 Embodied Agents Action Agents：gaming AI（与环境及其它实体交互、NL 通信，如 *Diplomacy* 用人类对话数据+RL 动作策略达人类水平）与 robotics；也有”虚拟小镇居民”式（无需优化特定目标，加外部记忆即产生日程/关系/虚拟生活）<br>Interactive Agents：更广的一类——不必物理动作，可是信息传递或环境修改（对话问答、诊断 agent、知识检索 agent） 具身智能：创造能在变化世界中创造性地解决交互任务的 agent
5.3 Simulation & Environments Agents — 用仿真做试错学习（RL 需大量失败经验；物理环境昂贵且危险，如自驾/水下）→ Habitat（3D 室内）、VirtualHome（人形 avatar 操作物体）、游戏里 Overcooked-AI（人-AI 协作基准）；需真实感渲染（光照等）与物理引擎以支撑 sim-to-real
5.4 Generative Agents 5.4.1 AR/VR/MR (XR) Agents 不只是往场景加交互式 3D 内容，还包括：给物体加任意行为与交互规则、从纸面草图生成整关几何（GPT-4V + 视觉模型链）、diffusion 重贴图、由提示生成自定义着色器与特效；早期实验证明 GPT 可在 Unity 少量样本下调用引擎方法、下载并放置 3D 模型、指派行为/动画状态树
5.5 Knowledge & Logical Inference Agents Knowledge Agent（隐式知识=LLM 内含但静态会过时；显式知识=可查询的知识库/数据库；融合二者）<br>Logic Agents（LLM 无独立”逻辑模块”，是按模式生成，非形式化逻辑推理；可用子模块把文本解析为逻辑片段、在 token embedding 中显式建模逻辑层级）<br>Agents for Emotional Reasoning（NICE 数据集 ~200 万图像+评论+情感标注；MAGIC 模型生成更有共情、更社交得体的评论；注意模型情感理解存在偏见）<br>Neuro-Symbolic Agents（神经元+符号混合；如 TP-N2F 用 TPR binding/unbinding 编码自然语言符号结构；Localized Visual Commonsense 支持”指向图像局部区域”的推理） 推断与应用知识是人类认知的标志；保证响应与动作符合已知事实与逻辑原则，是医疗诊断/法律分析等关键应用建立信任的机制
5.6 LLM & VLM Agent — 用 LLM 做 task-planning（借助互联网级领域知识 + 零样本规划），把 NL 指令分解为子任务（自然语言或 Python 代码）交由低层控制器执行，并结合环境反馈改进；通用视觉对齐大模型可作为具身多模态 agent 的基础

五、一页速记（框架骨架）

                        ┌──────────────────────────────┐
                        │        Agent AI 框架          │
                        └──────────────────────────────┘
  输入：视觉 token + 语言 token + 【Agent token】   ← 统一接口
                        │
   ┌────────────────────┼─────────────────────┐
   │  ①环境与感知(任务规划+技能观察)              │
   │  ②Agent 学习(RL/IL/RGB/ICL/自监督)        │
   │  ③记忆(编码↔检索)                          │
   │  ④Agent 动作(具身/工具/API)                │
   │  ⑤认知(知识·推理·常识·情感)                 │
   └────────────────────┴─────────────────────┘
                        │
     训练：定义域内目标(分配 agent token) → 持续改进(反馈微调+偏见检查)
                        │
     目标：bootstrap 复用预训练 → 长程规划 → 记忆 → 环境反馈驱动
                        │
     主张：接地(grounded) 缓解幻觉 · 通向 AGI 的 agent 路线

三条最关键的记忆点

  1. 模块观：5 大模块（环境感知/学习/记忆/动作/认知），记忆是独立一等公民。
  2. 接口观：在视觉、语言之外引入 Agent Token，是”统一 agent transformer”与”拼接式 LLM+VLM”的核心分野。
  3. 训练观：定义域内目标 → 自动判成功 → 持续改进；学习机制以 RL/IL 为骨、以 LLM/VLM 补其短板（奖励设计、长程规划 TAMP）。