一文讲清RAG的工作流程，AI大模型入门教程，零基础小白建议收藏！！

前言RAG 是 “Retrieval-Augmented Generation” 的缩写中文可以翻译为“检索增强生成”。它是一种结合了信息检索和自然语言生成的技术框架名称的含义为检索从知识库数据库或内存访问和检索信息。增强通过附加信息或上下文来增强或丰富文本生成过程。生成创造或生成文本的过程。RAG可以使用从矢量数据库中检索到的信息来确保响应是基于现实世界的知识和背景从而降低出现幻觉的可能性。还可以提升生成内容的可追溯性使得模型的响应更加准确、可靠且与上下文有关。同时确保无需重复训练LLM使得模型的响应更加实时。RAG的工作流程1.文本分块将外部文档拆分成文本块然后将文本块嵌入并存储在矢量数据库中。文本分块的作用是避免检索效率下降、语义理解受限、计算资源浪费、生成质量下降、加剧语义歧义等否则对于检索相关上下文没有任何实际作用。2.生成嵌入分块之后使用嵌入模型来嵌入块即计算向量的过程。Transformer之前使用的是词嵌入模型计算效率高但语义理解能力有限Transformer之后使用的是上下文嵌入模型语义理解能力强但计算成本较高。3.将嵌入存储到向量数据库中将这些嵌入向量存储到向量数据库中矢量数据库将原始内容与嵌入向量一起存储。这样矢量数据库充当了RAG应用程序的内存将所有附加的知识存储到矢量数据库中通过这些知识可以回答用户的问题。4.用户输入查询用户输入一个查询即一个代表正在寻找的目标信息的字符串。5.嵌入查询使用外部知识构建文本块时使用的相同嵌入模型将此查询转换为向量。6.检索相似块将向量化的查询与矢量数据库中现有的矢量进行比较以找到最相似的信息。矢量数据库使用近似最近邻搜索返回前k个最相似的文本块这个就是RAG中经常会用的top_k参数。预计这些检索到的文档包含与查询相关的信息为最终的响应生成提供基础。7.文本块重排序检索后选中的文本块需要进一步细化确保优先展示相关性最高的文本这个过程叫重排序。这个步骤中通常会用到Reranker模型通常是交叉编码器评估查询检索到的文本块的初始列表计算每个文本块的相关性得分。此过程重新排列文本块以便优先使用相关性最高的块以进行响应。并非每个 RAG 应用程序都实现这一步骤只是依赖于在步骤 6 中获得矢量数据库中检索相关上下文相似度分数。8.生成最终响应将用户的原始查询与提示模板中检索到的块相结合以生成综合所选文档信息的响应。LLM 利用块提供的上下文来生成连贯且上下文相关的答案直接解决用户的查询。RAG的局限性1.问题在语义上与答案并不相似。即检索到的文档可能与问题并不相关可能不相关的文档会比包含答案的文档得到更高的余弦相似度。一种解决方案是基于LLM生成一个假设答案然后使用问题和假设答案的嵌入向量来查询矢量数据库。\2. 语义相似性可能会被淡化简单说包含重要信息的长文本会比包含不重要信息的的短文本的相似性更低导致搜索会返回不相关的文档。解决方案对文本进行分块。文本分块很重要尽量使每个文本块只包含几个段落信息确保每个文本的特征都能更加独特。3.不能问需要汇总的问题提出需要在整个数据库中聚合数据的问题答案很可能是错误的。如果正确的信息只存在于一个或几个文档中相似性搜索可能会找到它。但是如果需要扫描所有文档才能找到答案相似性搜索就无法找到答案。\4. 重排序时文本块的顺序基于相似性搜索从数据库中检索文档时可能倾向于使用相似性度量对文档进行排序然而LLM 并不像我们一样感知顺序。我们可能会更多地考虑列表中的前几个文档但它们往往会忽略中间的文档。解决方案只需要重新排序文档将最相关的文档交替放在列表的顶部和底部以确保最不相关的文档位于中间最后为什么要学AI大模型当下⼈⼯智能市场迎来了爆发期并逐渐进⼊以⼈⼯通⽤智能AGI为主导的新时代。企业纷纷官宣“ AI ”战略为新兴技术⼈才创造丰富的就业机会⼈才缺⼝将达 400 万DeepSeek问世以来生成式AI和大模型技术爆发式增长让很多岗位重新成了炙手可热的新星岗位薪资远超很多后端岗位在程序员中稳居前列。与此同时AI与各行各业深度融合飞速发展成为炙手可热的新风口企业非常需要了解AI、懂AI、会用AI的员工纷纷开出高薪招聘AI大模型相关岗位。最近很多程序员朋友都已经学习或者准备学习 AI 大模型后台也经常会有小伙伴咨询学习路线和学习资料我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频全系列的学习资料这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】AI大模型系统学习路线在面对AI大模型开发领域的复杂与深入精准学习显得尤为重要。一份系统的技术路线图不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点还能提供一条高效、有序的学习路径。但知道是一回事做又是另一回事初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性在这基础上找到高质量的学习资源不浪费时间、不走弯路又是重中之重。AI大模型入门到实战的视频教程项目包看视频学习是一种高效、直观、灵活且富有吸引力的学习方式可以更直观地展示过程能有效提升学习兴趣和理解力是现在获取知识的重要途径光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。海量AI大模型必读的经典书籍PDF阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。600AI大模型报告实时更新这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。AI大模型面试真题答案解析我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】