Blog

什么是Skill蒸馏：从头搭建AI Agent的技巧

2026年5月26日 ai-agent 6 Views

什么是Skill蒸馏：从头搭建AI Agent的技巧

Skill蒸馏是让小模型学习大模型输出结果的技术，广泛用于Agent能力迁移。

为什么需要Skill蒸馏

**降低成本**：大模型推理贵，小模型便宜
**提升速度**：小模型响应更快
**特定场景优化**：蒸馏后的小模型更擅长特定任务

—

蒸馏方法一：Output Distillation（输出蒸馏）

原理： 用大模型生成训练数据，训练小模型

# 1. 大模型生成问答对
large_model = load("gpt-4")
questions = ["如何做周报？", "如何处理客服工单？"]
training_data = []

for q in questions:
    answer = large_model.chat(q)  # 大模型生成答案
    training_data.append({"q": q, "a": answer})

# 2. 用生成的问答对微调小模型
small_model = load("gpt-3.5-turbo")
train(small_model, training_data)

—

蒸馏方法二：Chain-of-Thought Distillation（思维链蒸馏）

原理： 保留大模型的推理过程，让小模型学习思考方式

# 大模型输出包含推理步骤
large_output = large_model.chat(
    "用户说退货应该怎么处理？",
    reasoning=True  # 保留推理过程
)

# 小模型学习的不只是答案，而是推理逻辑
train(small_model, large_output['reasoning'])

—

蒸馏方法三：Tool Use Distillation（工具调用蒸馏）

原理： 学习什么场景用什么工具

# 收集大模型的工具调用轨迹
trajectories = []
for task in customer_service_tasks:
    result = large_agent.run(task)  # 大模型执行任务
    trajectories.append(result.tool_calls)  # 记录工具调用序列

# 训练小模型模仿工具选择
train(small_agent, trajectories)

—

实践建议

| 场景 | 推荐方法 |

|——|———-|

| 简单问答 | Output Distillation |

| 复杂推理 | CoT Distillation |

| Agent工作流 | Tool Use Distillation |

| 多工具协同 | 组合以上方法 |

关键点：

数据质量比数量重要
蒸馏后需人工评估
持续迭代优化

—

Skill蒸馏是让AI能力落地的关键技术，尤其适合企业特定场景的模型优化。