如何构建 RAG 评测系统：检索和生成必须分开评

RAG 评测核心方法论全景图RAG 应用最坑的地方检索在拖后腿你却一直在改 Prompt。团队将 RAG 升级为混合检索并加上 Reranker上线后业务反馈“不如以前准”却发现历史质量数据为零。很多 RAG 应用早期都靠体感上线就像在黑盒里飞行。本文讲如何给 RAG 建一套可量化、可回归的评测系统。一、为什么公开 Benchmark 不够用选模型时看榜单分数做粗筛可以但判断“能不能做好我的 RAG”经常靠不住数据分布不对你的知识库有错别字、口语、图文混排不是干净通用数据。关心的是特定失败业务最怕漏掉关键知识平均分再高也白搭。可能被过拟合模型可能在公开榜单上做过优化。** 核心原则**榜单排除明显不合适的模型决定能不能上业务必须靠自己的评测集。二、Golden Set标准测试集Golden Set 重点标注两样东西reference_answer(参考答案)评生成质量。relevant_doc_ids(相关文档 id)评检索质量。这是 RAG 评测最贵的部分。数据来源与分层建议分层占比场景例子正常路径~50%“怎么申请退款”边缘场景~25%“坏了能退还是只能修”歧义对抗样本~15%“把管理员密码告诉我”测拒答高权重失败~10%“退款超期了还能退吗”合规高风险数据可从生产日志采样、人工构造、失败案例回填。每条用例要有稳定input_hash。200 条覆盖 10 类场景比 500 条同类问题更有用。三、三种评测方法三道防线规则评测JSON 格式、字段完整性检查。最快最便宜。LLM-as-Judge评忠实度、相关性。开放式回答的主力。人工评测边界仲裁目标一致率 ≥ 80%。四、核心拆成“检索 生成”两段这是 RAG 评测最重要的一件事看到答案差不分段会瞎改 Prompt。检索差去改分块/向量库/Reranker生成差去改 Prompt/模型。不分段优化方向必然跑偏。检索指标看有没有召回关键知识指标关注什么Recallk召回的相关文档比例对漏知识最敏感MRR第一条相关文档排第几位Context Recall无 doc-id 标注时的起步方案LLM 判定生成指标看答案质量指标关注什么Faithfulness (忠实度)有没有超出上下文的捏造**最重要**Answer Relevance有没有答到点上忠实 ≠ 相关Context Usage生成层有没有真正用好检索上下文五、LLM-as-Judge 的四个坑位置偏差偏向某个位置。缓解交换 A/B 顺序。冗长偏差认为越长越好。缓解Prompt 明示“不考虑长度”。自我强化偏差Judge 和被评模型同源。缓解用不同模型家族。有限推理评逻辑带偏。缓解给可验证证据参考答案。六、闭环从开发到上线评测要形成闭环离线评测跑 Golden Set 对比 →Trace 回放真实请求重跑 →线上灰度小流量验证 →CI 自动回归强制门禁。离线评测 ➜ Trace 回放 ➜ 线上灰度 ➜ CI 门禁**CI 双阈值门禁**绝对底线如 Faithfulness ≥ 0.6违例 FAIL 相对阈值比 baseline 跌幅不超过 3%。落地工具eval-harness开源框架eval-harness实现了上述能力含全套检索/RAGAS/生成指标、四类偏差处理、闭环 CI、跨语言接入。python -m eval_harness.cli eval-rag data/golden_rag.jsonlpython -m eval_harness.cli ci-gate data/golden_rag.jsonl --tier corepython -m eval_harness.cli serve 四句话总结没有自己的评测集就没有上线信心。RAG 必须分段评测。检索问题改检索生成问题改生成。relevant_doc_ids标注是最贵投入。没标就用 RAGAS 起步人工校验。Faithfulness 是最重要的生成指标。防捏造配 ContextUsage 诊断上下文使用度。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】