SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks——跨多样任务评估智能体技能效能的基准测试

1. 研究背景与问题背景大语言模型LLM智能体在处理复杂任务时常缺乏特定领域的“程序性知识”即“怎么做”的流程、规范。新兴方案“智能体技能”Agent Skills——一种结构化的知识包含指令、代码、示例等可在不重新训练模型的情况下增强智能体的能力。核心问题尽管技能生态发展迅速但没有标准方法衡量其真实效果——什么情况下有用、什么内容最有效、为何有时反而有害现有基准的不足现有基准只测“模型本身强不强”不测“技能帮了多少”。2. 研究目标与贡献作者提出SKILLS BENCH首个以技能为核心评估对象的基准测试主要贡献构建了专门的评估框架包含84 个任务覆盖11 个领域医疗、金融、软件工程、制造等。每个任务都有确定性验证器可自动判断对错避免人工评估的主观性。任务经过严格质量过滤人工编写指令、防泄漏、防作弊等。开展了大规模实证实验7 种模型-智能体框架组合Claude Code、Gemini CLI、Codex CLI。每种配置在3 种技能条件下测试无技能、有策划技能、自主生成技能。总计7,308 条执行轨迹数据量充分。3. 核心实验设计条件说明无技能基线智能体只凭自身能力解决问题有策划技能提供人类精心编写的专业程序性指导自主生成技能不给技能但提示智能体先自己写技能再解题检验模型是否具备生成有效技能的能力评估指标通过率Pass Rate和标准化增益Normalized Gain衡量相对提升比例。4. 主要发现四个关键结论策划技能有效但效果差异巨大平均通过率提升16.2 个百分点。但领域差异明显医疗保健 51.9 pp软件工程仅 4.5 pp。甚至16/84 个任务出现负面效果技能反而拖累性能。自主生成技能基本无效平均反而下降-1.3 个百分点。说明模型无法可靠地自行编写出对自己有用的程序性知识——优质技能依赖人类专家编写。“少即是多”技能数量和复杂度要适中2-3 个技能效果最好18.6 pp。超过 4 个技能收益骤降5.9 pp因为信息过载、冲突指导。中等长度、聚焦的技能优于“百科全书式”的全面文档。技能可以弥补模型规模不足例如小模型 Claude Haiku 4.5 技能27.7%超过了大模型 Opus 4.5 无技能22.0%。这对资源有限场景很有意义。5. 其他重要分析框架差异不同智能体框架Claude Code vs. Gemini CLI vs. Codex CLI对技能的利用效率不同部分框架“看了技能但不用”。失败模式最主要的失败是“输出质量不达标”占近 50%而非完全做不出——说明模型理解任务但精度不够。成本-性能权衡技能带来性能提升但 token 消耗增加约 6-13%不过 Gemini 3 Flash 凭借更低定价仍具成本优势。6. 局限性与未来方向当前仅覆盖终端/容器化任务不适用于 GUI 或多智能体场景。技能带来的提升可能部分来自“更多上下文”未来需更严格的长度匹配对照实验。难以完全杜绝训练数据污染和随机性影响。未来可研究自动技能合成、多技能组合互动、以及更低质量技能的现实表现。技能确实能提升智能体表现但效果高度依赖任务领域、技能设计和智能体框架人类精心编写的“小而精”技能最有效且能让小模型“以小博大”。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示摘要智能体技能Agent Skills是结构化的程序性知识包可在推理时增强大语言模型LLM智能体。尽管其应用迅速普及但目前尚无标准方法来衡量它们是否真正有效。我们提出了 SKILLS BENCH一个包含 86 个任务、横跨 11 个领域的基准测试并配以精心策划的技能和确定性验证器。每个任务在三种条件下进行评估无技能、有策划技能和自主生成技能。我们在 7,308 条执行轨迹上测试了 7 种智能体-模型配置。策划技能使平均通过率提高了 16.2 个百分点但效果因领域而异软件工程4.5 个百分点至医疗保健51.9 个百分点且 84 个任务中有 16 个出现负面效果。自主生成技能平均无益这表明模型无法可靠地编写出它们能从使用中获益的程序性知识。包含 2-3 个模块的重点技能优于全面的文档且配备技能的小型模型可以媲美不使用技能的更大模型。图 1. 智能体架构堆栈及 7 种智能体-模型配置在 84 个任务上的解决率。策划技能米色平均提升 16.2 个百分点的性能自主生成技能琥珀色提供可忽略或负面的益处。1. 引言大型语言模型LLMs已从文本生成器演变为能够在现实世界环境中执行复杂、多步骤任务的自主智能体Brown 等人2020Chowdhery 等人2023Touvron 等人2023Ouyang 等人2022Yao 等人2022。这种演变在面向智能体的 CLI 工具中得到了体现Anthropic 的 Claude Code (Anthropic, 2025b)、Google 的 Gemini CLI (Google, 2025) 和 OpenAI 的 Codex CLI (OpenAI, 2025) 使开发者能够在终端环境中将前沿模型用作智能体助手。然而存在一个基本矛盾基础模型提供了广泛的能力但缺乏领域特定工作流所需的程序性知识而微调成本高昂且会牺牲通用性。智能体技能提供了一种新兴的解决方案。技能是一种结构化包包含指令、代码模板、资源和验证逻辑可在不修改模型的情况下在推理时增强智能体行为 (Anthropic, 2025a)。技能编码了程序性知识标准操作流程、领域约定和指导智能体行为的任务特定启发式方法。这种模块化方法建立在用于时间抽象的选择框架 (Sutton 等人1999) 和语言智能体的认知架构 (Sumers 等人2023) 之上镜像了成功的计算范式基础模型提供基础能力类似于 CPU智能体框架Agent Harnesses编排上下文和工具操作系统技能将能力扩展到专业领域应用程序。技能生态系统发展迅速社区仓库现已托管数千个用户贡献的技能涵盖软件工程、数据分析和企业工作流。然而尽管技能数量激增但尚无基准测试系统地评估技能如何以及何时提升智能体性能哪些内容推动了性能提升或哪些设计原则区分了有效和无效的技能。图 1 展示了这种分层架构并预告了我们的主要结果策划技能在所有 7 种模型-框架配置中一致地提高了解决率而自主生成的技能提供的益处微乎其微。问题不在于添加任务相关上下文是否有帮助而在于与基线增强相比技能有多大帮助哪些技能组件指令 vs. 代码 vs. 示例贡献最大技能在何种情况下会失效现有的智能体基准测试Liu 等人2023Merrill 等人2026Jimenez 等人2024Zhou 等人2024bXie 等人2024Koh 等人2024Trivedi 等人2024Yang 等人2023Chan 等人2025Zhuo 等人2025评估的是孤立环境下的原始模型能力回答的是“该模型在任务 X 上表现如何”而非“技能 Y 在任务 X 上能提升多少性能”这一差距具有实际后果实践者无法就技能采纳做出明智决策研究人员也缺乏技能设计原则的经验基础。为解决此问题我们引入了 SKILLS BENCH这是首个将技能视为一等评估工件的基准测试具有两项核心贡献以技能为中心的评估框架。我们策划了横跨 11 个领域的 84 个任务每个任务在三种条件下执行——无技能、有策划技能和自主生成技能——配备确定性验证器和完整的轨迹日志。我们按难度对任务进行分层并进行泄漏审计以确保技能提供指导而非解决方案。大规模实证评估。我们在 7,308 条执行轨迹上评估了 7 种智能体-模型配置首次提供了关于技能有效性、变异性和失败模式的系统性证据。2. SKILLS BENCH我们提出了 SKILLS BENCH一个用于评估基于 LLM 的智能体中技能增强效果的基准测试。基于 Harbor 框架 (Merrill 等人2026Harbor Framework Team2026) 构建每个任务采用容器化结构其环境包含智能体技能和相关数据、一个确定性验证测试以及一个标准解决方案。遵循智能体基准测试的最佳实践 (Zhu 等人2025Anthropic2026)我们确保严格的隔离和确定性验证。与评估原始模型和智能体框架能力的 Terminal-Bench 不同SKILLS BENCH 引入了一个关键的方法论差异我们在原始无技能和技能增强条件下评估每个任务从而能够直接衡量技能的有效性。2.1. 技能规范一个技能Skill是满足以下四个条件的工件程序性内容包含“如何做”的指导流程、工作流、SOP而非事实检索。任务类适用性适用于一类问题而非单个实例。结构化组件包含一个 SKILL.md 文件以及可选资源脚本、模板、示例。可移植性技能完全基于文件系统因此易于编辑、版本控制、共享并可在不同兼容技能的智能体框架中使用。此定义明确排除系统提示缺乏结构和资源、少样本示例 (Brown 等人2020)声明式非程序性、RAG 检索 (Lewis 等人2020)事实性非程序性和工具文档 (Schick 等人2023Qin 等人2024)描述能力非程序性。我们承认这个边界并非绝对例如StackOverflow 的答案可能混合了事实和程序性内容但我们的标准为基准测试的构建提供了操作上的清晰性。我们在表 1 中强调了技能与其他增强范式的区别特征。在 SKILLS BENCH 中每个技能都是一个位于environment/skills/中的模块化包包含SKILL.md自然语言指令指定如何处理一类任务即工作流、标准操作流程或领域约定。资源智能体可以调用或查阅的可执行脚本、代码模板、参考文档或工作示例。2.2. 任务规范SKILLS BENCH 中的每个任务都是一个自包含模块包含四个组件指令。一个人类可读的任务描述指定目标、输入格式和预期输出。我们编写的指令使得即使没有配套技能知识渊博的人类也能解决尽管技能可能会大幅减少解决时间。环境。一个 Docker 容器包含任务特定的数据文件和一个包含模块化技能包的skills/子目录。该容器通过隔离的依赖关系和干净的文件系统状态确保可重复性。解决方案。一个参考实现证明任务的可解性。该标准解决方案验证每个任务至少有一条正确的解决路径。验证器。带有程序化断言的确定性测试脚本在适当情况下包含数值容差。这确保了无需依赖“LLM 作为评判者”的可重复通过/失败判定遵循基于执行的评估最佳实践 (Wang 等人2023bBrown2025)。表 1. 运行时增强范式对比。技能独特地结合了模块化打包、程序性指导和可选的可执行资源同时保持跨模型和框架的可移植性。2.2. 任务规范SKILLS BENCH 中的每个任务都是一个自包含模块包含四个组件指令。一个人类可读的任务描述指定目标、输入格式和预期输出。我们编写的指令使得即使没有配套技能知识渊博的人类也能解决尽管技能可能会大幅减少解决时间。环境。一个 Docker 容器包含任务特定的数据文件和一个包含模块化技能包的skills/子目录。该容器通过隔离的依赖关系和干净的文件系统状态确保可重复性。解决方案。一个参考实现证明任务的可解性。该标准解决方案验证每个任务至少有一条正确的解决路径。验证器。带有程序化断言的确定性测试脚本在适当情况下包含数值容差。这确保了无需依赖“LLM 作为评判者”的可重复通过/失败判定遵循基于执行的评估最佳实践 (Wang 等人2023bBrown2025)。2.3. 数据集构建技能和我们任务规范的表达性和灵活性使得能够广泛覆盖不同领域和问题类型。为了最大化这种多样性我们采用了社区驱动的开源贡献模式来自学术界和工业界的 105 位贡献者提交了 322 个候选任务。我们统计了包含完整任务规范指令、环境、解决方案和验证器以及作者评估的难度等级的提交。从这个池子中我们策划了最终的 SKILLS BENCH 数据集。2.4. 贡献原则贡献者必须满足明确的要求以确保任务质量并防止走捷径人类撰写的指令。任务指令必须由人类编写而非语言模型生成。我们强制执行此规定因为 LLM 生成的查询将受限于 LLM 的分布而这正是我们评估的对象且 LLM 生成的查询大多数时候质量较低。技能通用性。技能必须为一类任务提供程序性指导而非针对特定实例的解决方案。指令不得提及应使用哪些技能这意味着智能体必须自主发现并应用技能。这确保我们衡量的是真正的技能利用而非指令遵循。确定性验证。所有成功标准必须可通过程序化断言进行测试。我们目标是为验证所需的最少测试数量既避免覆盖不足也避免导致人为低通过率的冗余测试膨胀。测试必须包含信息丰富的错误消息并使用参数化而非重复。自动化验证。每份提交在人工审查前都经过自动化验证结构验证所需文件存在instruction.md, task.toml, solve.sh, test_outputs.py目录布局正确TOML/YAML 语法有效。标准解决方案执行参考解决方案必须达到 100% 的测试通过率。标准解决方案失败的任务将被拒绝。指令质量指令必须由人类编写我们同时应用人工审查和 GPTZero 审查并确保我们所有任务都具有人工标签。我们还根据六个标准明确的输出路径、结构化需求、成功标准、列出约束、上下文优先排序评估指令。人工审查。在自动化检查通过后维护人员进行手动评审评估五个标准(1) 数据有效性输入数据必须反映现实世界的复杂性除非有正当理由否则拒绝合成或玩具数据(2) 任务真实性场景必须反映真实的专业工作流程不存在人为制造的困难(3) 标准解决方案质量参考解决方案应与领域专家解决问题的方式相匹配(4) 技能质量技能必须无错误、内部一致并且对此基准测试之外的类似任务真正有用(5) 防作弊任务必须防止捷径解决方案编辑输入数据、从测试文件中提取答案、利用验证器实现。评审员会在多个智能体上运行有无技能的基准实验以确认每个任务都能提供关于技能有效性的有意义的信号。图 2 提供了三阶段流程的端到端概述基准构建、质量过滤和评估。泄漏预防。为防止技能编码特定于任务的解决方案我们强制执行明确的编写指南并进行泄漏审计。一个基于 Claude Code Agent SDK 的验证代理在 CI 中运行以检测潜在技能-解决方案泄漏失败的任务将被拒绝。技能不得包含特定任务的文件名、路径或标识符解决基准测试任务的确切命令序列来自任务规范的常量、魔术数字或值对特定测试用例或预期输出的引用。技能必须应用于一类任务而非单个实例提供程序性指导如何处理而非声明性答案输出什么且必须独立于基准规范编写。图 2. SKILLS BENCH 流程概览。阶段 1基准构建我们从三个来源汇总技能——开源仓库12,847、Claude Code 生态系统28,412和企业合作伙伴5,891——去重后得到 47,150 个独特技能。与此同时322 位贡献者提交了 105 个候选任务。阶段 2质量过滤每个任务都经过自动化检查结构有效性、AI 检测、泄漏审计和人工审查数据有效性、任务真实性、标准解决方案质量、技能质量、防作弊最终产出横跨 11 个领域的 84 个任务。阶段 3评估任务在三种条件下无技能、有策划技能、自主生成技能跨三个商业智能体框架Claude Code, Gemini CLI, Codex CLI执行。确定性 pytest 验证器产生通过/失败结果7 种智能体-模型配置产生 7,308 条轨迹策划技能平均提升 12.66 个百分点。表 2. 基于人类完成时间的任务难度分层。2.5. 基准构成SKILLS BENCH 包含横跨 11 个领域的 84 个任务类别分布如图 3 所示。我们根据难度对任务进行分层图 3. SKILLS BENCH 包含横跨 11 个领域的任务。难度通过我们视为任务领域中等水平专家的个人在无 AI 工具辅助下的预估完成时间来衡量。原始任务贡献者提供了人工时间估计并由维护团队中同一领域的其他专家评审员进行复核。3. 实验设置我们在 SKILLS BENCH 上评估了三个商业智能体框架涵盖七个前沿模型在三种技能条件下产生了 7,308 条有效轨迹。当智能体在无基础设施和运行时错误的情况下在任务上通过、失败或超时时该轨迹被视为有效。每条轨迹代表一个智能体在特定技能条件下尝试解决单个任务的一次尝试。3.1. 智能体框架我们评估了三个商业命令行智能体Claude Code (Anthropic, 2025b)、Codex CLI (OpenAI, 2025) 和 Gemini CLI (Google, 2025)。3.2. 模型我们选择了七个前沿模型GPT-5.2 (OpenAI)、Claude Opus 4.5、Claude Opus 4.6、Claude Sonnet 4.5、Claude Haiku 4.5 (Anthropic)、Gemini 3 Pro 和 Gemini 3 Flash (Google)。所有模型均使用温度 0 进行确定性采样。我们使用每个模型兼容的智能体框架进行评估。Claude Code 运行所有四个 Claude 模型Gemini CLI 运行 Gemini 模型Codex CLI 运行 GPT-5.2。这产生了 7 种模型-框架配置。完整配置矩阵见表 7。3.3. 技能条件我们在三种条件下评估每个任务无技能智能体仅接收 instruction.md环境中不存在技能。有技能完整的environment/skills/目录包含所有示例、代码片段和资源。自主生成技能不提供技能但提示智能体在解决问题前生成相关的程序性知识。这隔离了 LLM 潜在领域知识的影响。自主生成条件在 7 种配置中的 5 种上进行了评估所有 Claude Code 模型和 CodexGemini CLI 不支持此条件。3.4. 评估协议在 SKILLS BENCH 中我们在任务指令之前将技能作为系统级上下文提供。我们在附录 E 中列出了注入格式和上下文管理细节。对于每种条件智能体与容器化环境交互直至任务完成、超时或达到轮次限制。然后验证器执行确定性断言以产生二进制通过/失败结果。3.5. 评估指标文本[[87, 866, 472, 896], [498, 84, 884, 172]]通过率。主要指标是通过率遵循 Terminal-Bench (Merrill 等人2026) 的评分方法对于每个任务我们对 5 次试验的二元奖励进行平均然后使用固定分母 84评估的任务数对这些任务级别的分数进行平均。标准化增益。遵循 Hake 在物理教育研究中的公式 (Hake, 1998)我们将标准化增益定义为4. 结果我们的结果分为两部分1. 在 84 个任务上对 7 种 LLM-智能体组合在三种技能条件下的主要评估以及 2. 对技能设计因素的详细分析包括数量、复杂性和领域效应。4.1. 实验 1跨 LLM-智能体组合的技能有效性我们评估了策划技能和自主生成技能如何影响跨商业模型-框架配置的智能体性能。我们在所有 84 个任务上在三种条件下测试了每种配置无技能、有策划技能和有自主生成技能在支持的配置上。4.1.1. 主要结果表 3 展示了每种模型-框架组合在三种条件下的通过率按有技能时的性能排序。发现 1技能提供实质性但可变的效益。在 7 种模型-框架配置上技能平均提升了 16.2 个百分点的性能但不同配置间方差较大范围13.6 个百分点至 23.3 个百分点。这种变异性表明技能的有效性在很大程度上取决于具体的智能体-模型组合这与技能效益均匀的假设相矛盾。发现 2Gemini CLI Gemini 3 Flash 达到最高性能。表现最佳的配置是 Gemini CLI 与 Gemini 3 Flash有技能时达到 48.7% 的通过率。值得注意的是Claude Code 与 Opus 4.5 实现了最大的提升23.3 个百分点这反映了 Claude Code (Anthropic, 2025b) 原生集成了针对智能体技能规范 (Anthropic, 2025a) 优化的技能。发现 3自主生成技能提供可忽略或负面的效益。当被提示在解决任务前自行生成程序性知识时模型与无技能基线相比平均下降了 -1.3 个百分点。只有 Opus 4.6 显示出微弱的提升1.4 个百分点Codex GPT-5.2 显著下降-5.6 个百分点其余模型持平或下降。这与策划技能16.2 个百分点形成鲜明对比表明有效的技能需要人类策划的领域专业知识而模型无法可靠地自行生成。轨迹分析揭示了两种失败模式1模型识别出需要领域特定知识但生成了不精确或不完整的过程例如列出“使用 pandas 处理数据”而不提供具体的 API 模式以及2对于高领域知识要求的任务制造业、金融模型通常未能认识到需要专门技能而尝试使用通用方法解决。4.1.2. 框架特定可靠性除技能有效性外我们还观察到商业框架在可靠性上的差异Claude Code技能利用率最高提升范围从 Opus 4.6 的 13.9 个百分点到 Opus 4.5 的 23.3 个百分点所有 Claude 模型均持续受益。Gemini CLI原始性能最高Gemini 3 Flash 有技能时达到 48.7%提升范围从 13.6 到 17.4 个百分点。Codex CLI有技能时原始性能具竞争力44.7%但经常忽略提供的技能——智能体承认技能内容但通常独立实现解决方案。4.1.3. 领域级分析发现 4技能效益因领域而异。表 4 展示了按领域的技能有效性揭示了显著的异质性。医疗保健51.9 个百分点和制造业41.9 个百分点受益最大而数学6.0 个百分点和软件工程4.5 个百分点的提升较小。需要模型预训练中代表性不足的专业程序性知识的领域如临床数据协调、制造工作流显示出最大的改进而预训练覆盖良好的领域则从外部程序性指导中获益较少。图 4. 通过率与成本之间的帕累托前沿。填充标记表示有技能条件空心标记表示无技能条件。技能将帕累托前沿向上移动Gemini 3 Flash 和 Claude Opus 主导了有技能的前沿。此图中的成本位置反映了评估基础设施的定价模型。轨迹分析显示Flash 每任务消耗的输入 token 是 Pro 的 2.3 倍1.08M 对比 0.47M这是一种补偿策略即较小的模型用迭代探索代替推理深度。按官方 API 定价输入 token 每百万 $0.50 对比 $2.00Flash 每 token 成本低 4 倍足以抵消更高的 token 量使得 Flash 每任务成本低 44%$0.55 对比 $0.98。表 4. 按领域划分的技能有效性84 个评估任务11 个领域。所有领域均显示正向的总增量但每个领域内的个别任务可能显示负面效果。4.1.4. 任务级分析对 84 个独立任务的分析揭示了技能有效性的高方差技能受益最大的任务。显示出最大改进的任务mario-coin-counting从 2.9% 提升至88.6%、sales-pivot-analysis85.7 个百分点、flood-risk-analysis77.1 个百分点、sec-financial-report74.3 个百分点。这些任务涉及预训练中很少涵盖的专业程序性知识。技能在某些任务上损害性能。尽管领域汇总为正但 84 个任务中有 16 个显示出负的技能增量taxonomy-tree-merge-39.3 个百分点、energy-ac-optimal-power-flow-14.3 个百分点、trend-anomaly-causal-inference-12.9 个百分点、exoplanet-detection-period-11.4 个百分点。这些失败表明对于模型已经处理得很好的任务技能可能会引入冲突的指导或不必要的复杂性。4.2. 实验 2技能设计因素为了理解技能设计如何影响有效性我们分析了技能数量、复杂性与性能之间的关系。4.2.1. 技能数量分析表 5. 按提供的技能数量划分的通过率。2-3 个技能显示出最优效益。发现 52-3 个技能是最优的更多技能会带来递减收益。表 5 展示了按每任务提供的技能数量分层的性能。具有 2-3 个技能的任务显示出最大的改进18.6 个百分点而 4 个以上技能仅提供 5.9 个百分点的效益。这种非单调关系表明过多的技能内容会造成认知开销或冲突指导。4.2.2. 技能复杂性分析表 6. 按技能复杂性级别划分的通过率。详细和紧凑的技能优于全面的技能。发现 6中等长度的技能优于全面的技能。我们在表 6 中展示了技能文档复杂性对性能的影响。详细18.8 个百分点和紧凑17.1 个百分点的技能提供了最大的益处而全面的技能实际上损害了性能-2.9 个百分点。这表明重点突出的程序性指导比详尽的文档更有效——智能体可能难以从冗长的技能内容中提取相关信息而且过于详细的技能会消耗上下文预算却不提供可操作的指导。4.2.3. 模型规模效应我们研究了基础模型规模在 Claude 模型家族Opus, Sonnet, Haiku 4.5中的影响。发现 7较小的模型 技能可以超过没有技能的大型模型。Claude Haiku 4.5 搭配技能27.7%比没有技能的 Haiku11.0%高出 16.7 个百分点。同时没有技能的 Claude Opus 4.5 达到 22.0%。这表明技能可以在程序性任务上部分补偿模型能力的限制。5. 讨论技能弥合程序性差距。当成功取决于具体过程和面向验证器的细节步骤、约束、合理性检查而非广泛的概念知识时技能最有帮助。我们在具有专业工作流或严格格式的领域观察到较大收益而在模型已有强先验且技能增加开销或冲突时收益较小甚至为负。框架调节技能的使用。技能的有效性不仅取决于技能质量还取决于框架如何实现技能。一些框架可靠地检索并使用技能而另一些则经常承认技能内容但不调用它们。结构化接口也可能引入长轨迹失败模式例如格式漂移降低早期注入技能的影响。这促使我们在多个框架下评估技能而不是将“有技能”视为单一条件。对技能编写的启示。我们的分析表明简洁、逐步的指导加上至少一个工作示例通常比详尽的文档更有效过长的技能定义会增加上下文负担而不改善决策。模块化技能似乎在多部分任务上组合得更好并且技能应明确匹配框架的约束例如对于仅 JSON 协议重复格式提醒。5.1. 局限性与未来工作覆盖范围与泛化性。SKILLS BENCH 侧重于基于终端、容器化的任务以实现可重复评估因此结果可能不会直接转移到 GUI 智能体、多智能体协调或超长周期工作流。我们还评估了一组有限的模型和框架商业框架的行为和技能集成可能随时间变化。一个自然的扩展是为在 GUI 环境中运行的视觉-语言智能体开发多模态技能和协议。因果归因与控制。技能注入增加了上下文长度因此观察到的收益可能部分反映了“更多上下文”而非程序性结构。我们的自主生成技能条件表明结构很重要——模型无法在拥有相同上下文预算的情况下可靠地生成有效的程序性指导——但未来的工作需要更强的长度匹配基线例如随机/无关文本和仅检索文档控制。这些基线也使得研究从演示或文档中自动合成技能以及隔离哪些技能组件步骤、示例、代码资源推动了改进成为可能。确定性、污染和生态效度。容器化提供了状态隔离但并非完美的确定性或对训练集泄漏的免疫力。我们通过多次运行、泄漏审计§2.4和配对有技能 vs. 无技能比较来缓解但无法消除所有非确定性或记忆效应。未来工作应评估生态系统代表性的设置包括低质量和自动选择的技能并研究技能组合——何时多个技能有帮助或干扰以及组合性能是否可以从原子技能效应预测。6. 相关工作SKILLS BENCH 与先前关于以下方面的工作相关联1基准测试 LLM 智能体2用程序性知识和工具增强智能体以及3评估异构系统中的改进。智能体基准测试。最近的评估在现实环境中对端到端智能体能力进行评估包括 Terminal-Bench (Merrill 等人2026)、SWE-bench 及其后续工作 (Jimenez 等人2024Yang 等人20242025)。更广泛的环境覆盖出现在 AgentBench 和交互式/网络/GUI 环境中 (Liu 等人2023Zhou 等人2024bKoh 等人2024Xie 等人2024)。其他套件强调工具中介工作流、交互式执行反馈或领域专业化 (Yao 等人2025Trivedi 等人2024Yang 等人2023Chan 等人2025Zhang 等人2024Zhuo 等人2025Austin 等人2021Ye 等人2025)。这些基准测试衡量固定智能体完成任务的能力。SKILLS BENCH 则通过配对评估来衡量增强效果。程序性增强与工具使用。先前的工作通过结构化推理或外部知识增强智能体例如 CoALA 和 Voyager (Sumers 等人2023Wang 等人2023a)用于多步骤问题解决的思维链和 ReAct (Wei 等人2022Yao 等人20232022Shinn 等人2023Madaan 等人2023Zhou 等人20232024a)以及检索/工具使用 (Lewis 等人2020Zhou 等人2022Schick 等人2023Qin 等人2024) 和声明式优化框架 (Khattab 等人2023)。技能结合了程序性指导和可执行资源§2.1。尽管有许多增强方法基准测试很少量化它们的实际影响。技能生态系统与评估方法论。Anthropic 的 Agent Skills 和 MCP 规范 (Anthropic, 2025a2024) 形式化了技能包和工具连接性而智能体 CLIClaude Code, Gemini CLI, 和 Codex提供了现实世界的框架 (Anthropic, 2025bGoogle, 2025OpenAI, 2025)。SKILLS BENCH 同时评估了商业框架和基于 Terminal-Bench (Merrill 等人2026) 的模型无关框架以分离模型和框架效应。最后更广泛的基准测试推动了仔细的报告和可比性 (Mattson 等人2020Chiang 等人2024Srivastava 等人2023)我们报告了绝对增益和标准化增益 (Hake, 1998) 以比较不同基线的改进§3.5。7. 结论我们介绍了 SKILLS BENCH这是首个将智能体技能作为一等工件进行系统评估的基准测试。通过在 84 个任务、7 种智能体-模型配置以及三种条件下无技能、策划技能、自主生成技能的 7,308 条轨迹我们的评估得出了四个主要发现1策划技能提供了实质性但可变的效益平均提升 16.2 个百分点跨领域和配置方差大2自主生成技能提供可忽略或负面的效益平均 -1.3 个百分点表明有效技能需要人类策划的领域专业知识3少即是多——包含 2-3 个模块的重点技能优于全面的文档以及4技能可以部分替代模型规模使较小的模型在程序性任务上能够媲美较大的模型。这些结果确立了技能有效性并非普适而是依赖上下文的这促使配对评估成为智能体增强研究的标准实践。SKILLS BENCH 为原则性的技能设计、选择和部署提供了实证基础和开放基础设施。