从 0 开始学 AI：第 7 课，RAG、向量数据库、工具调用和 Agent

从 0 开始学 AI第 7 课RAG、向量数据库、工具调用和 Agent1. 四个概念分别解决什么问题2. 什么是 RAG3. 什么是向量数据库4. 为什么不把所有资料都给模型5. 什么是工具调用6. RAG 和工具调用有什么区别7. 什么是 Agent8. 工具调用和 Agent 的区别9. 四者如何配合10. 常见误区RAG 会让模型永久学会新资料有了 RAG模型就一定不会答错工具调用只能由 Agent 使用Agent 的核心只是访问外部知识向量数据库可以代替所有数据库11. 本课核心总结12. 本课自测问题1. 四个概念分别解决什么问题大语言模型本身擅长理解和生成语言但也存在一些限制不一定知道企业或个人的私有资料训练知识可能已经过时不能凭空查询实时数据不能直接操作外部业务系统单次问答不适合完成复杂的多步骤任务RAG、向量数据库、工具调用和 Agent分别用来补足这些能力。RAG让模型先查资料再回答 向量数据库帮助系统按语义寻找资料 工具调用让模型访问外部系统或执行动作 Agent围绕目标安排并执行多个步骤2. 什么是 RAGRAG 全称是 Retrieval-Augmented Generation中文通常叫“检索增强生成”。它的基本思路是用户提出问题 ↓ 从外部知识库检索相关资料 ↓ 把资料和问题一起放入 Prompt ↓ 大模型基于资料生成答案RAG 不是把资料永久训练进模型而是在每次回答时把相关资料临时加入上下文。它适合以下场景企业规章制度问答产品说明书问答个人笔记知识库客服知识库课程资料问答技术文档助手RAG 主要解决模型不知道私有资料 模型知识可能过时 资料太多不能全部放入上下文3. 什么是向量数据库Embedding 可以把文本转换成表示语义的数字向量。向量数据库则用来存储和检索这些向量。通常会保存文档片段的 Embedding原始文档片段文件名、页码等来源信息其他元数据RAG 建立知识库时通常会读取文档 ↓ 把文档切成较小片段 ↓ 为每个片段生成 Embedding ↓ 存入向量数据库用户提问时问题生成 Embedding ↓ 与数据库中的文档向量比较 ↓ 找到语义最接近的片段 ↓ 把片段交给大模型回答向量数据库擅长的是“意思是否接近”不只是“是否包含相同关键词”。4. 为什么不把所有资料都给模型直接把所有资料放入 Prompt可能产生几个问题超过上下文窗口消耗大量 Token增加响应时间和费用大量无关信息干扰模型模型更容易忽略真正重要的内容RAG 的思路不是把全部资料交给模型而是先找出最相关的一小部分再让模型基于这些内容回答。5. 什么是工具调用工具调用是让大模型调用外部函数、API 或业务系统。大模型负责理解用户意图判断是否需要使用工具组织工具所需参数理解工具返回结果生成最终回答外部工具负责真正执行任务例如查询天气查询订单访问数据库运行代码发送邮件创建日程修改业务数据一个天气查询流程可能是用户询问天气 ↓ 模型判断需要天气工具 ↓ 调用天气 API ↓ 获得实时数据 ↓ 模型整理成自然语言回答工具调用让大模型从“只会说”扩展到“能够获取数据或执行动作”。6. RAG 和工具调用有什么区别对比项RAG工具调用主要作用检索相关知识获取数据或执行动作常见对象文档、知识片段API、函数、数据库、业务系统典型问题公司的年假制度是什么我今年还剩多少天年假结果找资料后生成回答获取实时结果或完成操作RAG 也可以被封装成一个检索工具由大模型或 Agent 调用。7. 什么是 AgentAgent 通常翻译为“智能体”。可以简单理解为Agent 是一个能围绕目标进行多步骤规划、工具调用、状态记录和结果检查的 AI 系统。普通大模型问答通常是用户提出问题 ↓ 模型生成回答Agent 的过程更像接收目标 ↓ 分析并拆解任务 ↓ 选择工具 ↓ 执行一个步骤 ↓ 检查执行结果 ↓ 决定下一步 ↓ 直到完成任务Agent 通常包含大语言模型任务目标可使用的工具当前状态或记忆执行循环结果检查机制可以简化成Agent 大模型 目标 工具 状态 执行循环8. 工具调用和 Agent 的区别工具调用是一种能力Agent 是一种多步骤任务执行方式。例如查询一次天气工具调用 查询天气、酒店和路线后完成旅行规划Agent运行一次计算工具调用 读取销售数据、分析原因、生成图表和报告Agent工具调用不一定需要 Agent。普通大模型应用也可以只调用一次工具。Agent 的特点是根据目标和中间结果持续决定下一步行动。9. 四者如何配合以公司内部 AI 助手为例用户提问我下周想请 3 天年假公司制度允许吗我还剩多少天年假系统可以这样工作Agent 理解任务并安排步骤 ↓ RAG 检索公司的年假制度 ↓ 工具调用查询员工考勤数据库 ↓ 大模型结合制度和个人数据生成回答四者的分工是能力负责内容RAG查找规章制度、产品手册等知识资料向量数据库根据语义找到相关文档片段工具调用查询实时数据或执行业务动作Agent规划步骤、选择能力、推进任务大语言模型理解需求、分析信息、组织回答10. 常见误区RAG 会让模型永久学会新资料不会。RAG 通常只是把检索到的资料加入当前上下文不会直接修改模型参数。有了 RAG模型就一定不会答错不一定。资料本身错误、文档切分不合理、检索结果不相关都可能导致错误回答。工具调用只能由 Agent 使用不是。普通大模型应用也可以进行单次工具调用。Agent 更强调多步骤规划和持续执行。Agent 的核心只是访问外部知识不是。Agent 的核心是围绕目标进行规划、执行、检查和调整。访问外部知识只是它可能使用的一种能力。向量数据库可以代替所有数据库不能。向量数据库擅长语义相似检索普通关系型数据库更适合订单、用户、余额等精确结构化查询。实际系统经常同时使用两者。11. 本课核心总结RAG先检索资料再让模型基于资料回答。 向量数据库存储 Embedding并按语义相似度寻找相关片段。 工具调用让模型访问函数、API、数据库或业务系统以获取数据或执行动作。 Agent围绕目标进行多步骤规划、调用工具、记录状态并检查结果。一句话串起来RAG 为模型补充相关知识工具调用为模型提供外部能力Agent 负责组织这些能力完成复杂任务。12. 本课自测问题RAG 为什么不会直接改变模型参数向量数据库在 RAG 中负责什么为什么不应该每次把所有文档都放入 PromptRAG 和工具调用的主要区别是什么工具调用是否一定需要 AgentAgent 和普通大模型问答的核心区别是什么在公司内部 AI 助手中RAG、工具调用和 Agent 可以如何分工