评测追问四件事：完成了、稳健吗、靠什么、花多少¶
Agent · 更新 2026-11-04 · 44 篇主题资料 / 7 篇重点对照
GAIA测最终任务回答，AgentPerturb检查单目标输入扰动，User Proxy Bench检查用户模拟是否偷省信息获取；AlphaDiana完整记录失败与重试，HDA拆解harness涨分来源，选择性评测则约束自动裁判的错误区域。高分只有在这些协议讲清后才有可解释性。
机制对照 · 取舍分析 · 跨论文问答 · 更新记录 · 本主题逐篇问答
怎么读这张卡片
重点比较下表代表论文；完整主题目录保留在文末。机制与假设的对照不等于统一 benchmark 的性能排名；教学例子不是论文实测。
机制对照¶
比较维度：测最终产物、输入稳健性、用户合同还是自动裁判风险 · 配对干预改变输入、算力或已检测捷径中的哪一项 · 缺失评分、重试和共享记忆是否留在分母与成本里 · 置信区间和证书以独立任务还是相关轨迹为单位
| 论文与来源 | 机制定位 | 得到了什么，付出什么 |
|---|---|---|
| GAIA · 原始来源 章节：背景与主要改动、核心公式、复现边界 |
真实工具与多模态问题以规范化短答案精确匹配、三级难度组织最终得分。 | 最终正确不解释过程或依赖何种帮助；本地gaia-mini仅验证协议，不代表原466问题能力。 |
| AgentPerturb: Evaluating LLM Agent Robustness under Controlled Interaction Perturbations · 原始来源 章节：背景与主要改动、核心公式、真实性、gold 隔离与成本 |
四类输入面交叉三类扰动，只改一个目标并独立验证仍可解，再做双侧任务配对。 | 语法有效不等于语义保真，未评分任务必须保留覆盖率和未知区间；本地算术fixture不是官方真实环境矩阵。 |
| UserProxyBench: Evaluating LLM User Simulators for Agent Benchmarks and Training · 原始来源 章节：背景与主要改动、本地复现 |
把用户合同所有适用项的乘积作为UFS，单独审计用户是否在被问前泄露私有字段。 | 任务reward不替代proxy保真，提前泄露可让任务成功但测不到主动询问；本地只验rubric与事件时序。 |
| AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks · 原始来源 章节：背景与主要改动、核心公式、无 gold 边界与限制 |
以稳定逻辑样本区分attempt，保留未评分状态并累计所有重试成本，在统一政策下比较模型—Harness系统。 | 已确认正确比例不是未知评分补齐后的真实成功率；缺成本时不报完整每成功token。本地只有合成会计协议。 |
| Harness-Delta Attribution: Dissecting Gains From Harness Evolution · 原始来源 章节：背景与主要改动、核心公式、本地复现与边界 |
先检验配对增益，再构造人审算力匹配与捷径中和四臂，分解额外算力、已检测捷径和剩余项。 | 中和只能覆盖已发现机制，剩余项仍可能含捷径，不能直接当迁移证据；本地只执行已测四臂统计。 |
| Certified Selective Automation of LLM Agent Evaluation · 原始来源 章节：背景与主要改动、复现边界 |
以任务簇bootstrap估计自动判断区域的错误率上界，证书低于预算才自动接管。 | 依赖校准任务簇与目标自动区域，不能把轨迹数当独立样本；本地mini证书不代表论文语料覆盖或通用裁判可靠。 |
| AgentHeal: Evaluating Goal-Preserving Resource Recovery of Web Agents under Access Barriers · 原始来源 章节：背景与主要改动、核心公式、数据协议与实现边界、本地结果与负控 |
显式构造无障碍、可恢复和不可恢复资源三联，按副本/版本关系、障碍诊断和访问政策联合评价目标保真。 | 不可恢复时正确行为是诚实弃答而非强行回答；需要独立来源与政策标注，本地真值表不具备浏览器或语义judge能力。 |
取舍分析¶
任务成功可以掩盖测量对象已经改变¶
GAIA式终局精确答案说明交付是否匹配参考，但若模拟用户提前透露本应由Agent询问的信息，任务仍成功却少测了信息获取。User Proxy Bench因此把UFS与任务reward分开。AgentPerturb从另一方向要求输入修改仍保持目标和可求解性：故意破坏到无解再责怪Agent，也没有测到原本想测的稳健性。好评测应控制任务与可见信息，而不只让分数发生变化。
对照来源：gaia · user-proxy-bench · agent-perturb
配对设计之后，还要保留失败和归因条件¶
AlphaDiana强调逻辑样本不随重试扩张，所有attempt成本都要累计，运行成功与已评分分开。HDA的四臂要求逐样本对齐、预算控制与人审中和，且先确认涨分再归因。选择性评测的簇级证书则处理另一种相关性：同任务多条轨迹不能伪装成许多独立校准样本。它们共同约束怎样解释数字，却没有把未知评分、未检测捷径或未覆盖任务自动变成已验证。
对照来源：alpha-diana · harness-decomposition · certified-selective-eval
无解任务何时是合理评测，而不是破坏后的假稳健性¶
AgentPerturb要求扰动后仍保留原目标与可解性，避免凭空制造失败。AgentHeal则把真正不可恢复作为明确标注的独立regime，评价诚实弃答、障碍诊断和合规，而不强求不存在的答案；可恢复时又要求优先精确副本或披露版本差异。GAIA式最终答案正确性不能替代这类来源与过程条件。只有明确每组期待行为并分组保留分母，回答率、恢复率和可靠性才不会混淆。
对照来源：agentheal · agent-perturb · gaia
跨论文问答¶
先想自己的答案，再展开；每个问题至少联系两篇论文。
一个工具任务最终答对，为什么 User Proxy Bench 仍可能判该评测不合格，AgentPerturb又要求扰动后仍可解？¶
展开答案与例子
答案： 前者检查用户模拟是否遵守信息披露合同：没被问就给私有字段，会让Agent绕过本应展示的澄清能力。后者检查被改输入仍对应相同目标且可执行可求解，避免把无解任务冒充稳健性下降。终局准确率只看交付，两种协议分别约束帮助是否过量与破坏是否过量。
教学例子： 教学例：订单号应先询问，模拟用户开场直接给出会偷省步骤；反过来删掉订单号却禁止澄清，也不能公平要求Agent完成。
对照来源：gaia · user-proxy-bench · agent-perturb
扰动侧grader失败、干净侧正确，还有两次重试时，AgentPerturb与AlphaDiana会怎样防止“越失败分越好看”？¶
展开答案与例子
答案： AgentPerturb只在双侧已评分的相同任务对计算配对差，同时保留全部请求的覆盖率和未知上下界，不静默删掉未测对。AlphaDiana让重试仍属同一逻辑样本，采用最新记录而非最好记录，所有已知attempt成本累计；评分或token缺失时不伪造完整成功成本。
教学例子： 教学例：三次尝试花了很多token，最终grader中断；不能只保留先前一次成功，也不能把中断样本从请求分母里删掉。
对照来源：agent-perturb · alpha-diana
HDA中和已检测捷径后仍涨分，与选择性评测的错误率证书通过，为什么是两种不同结论？¶
展开答案与例子
答案： HDA比较四臂结果，剩余项是扣除已检测捷径和算力解释后的部分，仍可能含未知捷径，不能直接证明迁移。选择性证书则在校准任务簇上约束某个自动判断区域的错误上界，不解释某个harness为什么涨分。前者是收益来源分析，后者是判断接管条件，都需保留任务范围和统计单位。
教学例子： 教学例：裁判在某区域的误判上界达标，不说明Agent提升来自推理；移除一种捷径后仍有效，也不保证裁判在新域同样可靠。
为什么AgentHeal可以奖励不可恢复任务中的弃答，而AgentPerturb却不能随意把任务扰坏到无解？¶
展开答案与例子
答案： 两者预先定义的目标不同：AgentPerturb测同目标配对稳健性，要求仍可解；AgentHeal测资源恢复，明确区分可恢复与不可恢复，后者要求准确诊断并诚实停止或请求用户协助。不能将该弃答算成终局答题准确率，也不能用总分掩盖不同regime的行为。
教学例子： 教学例：唯一文件消失且无合法备份时，说明障碍而不编造内容是可靠性成功；同一情况若作为仍应答出数值的扰动题，就是改坏了题。
对照来源：agentheal · agent-perturb · gaia
更新记录¶
新论文带来新路线、改变取舍，或补充现有路线时，都在这里说明。
2026-11-04 · 补AgentHeal，并对照AgentPerturb与GAIA解释不可恢复regime、目标版本、来源归因与政策乘积。区分精确副本的交集条件与其他版本的子集条件，独立gold标注仅给评价者；本地TS=0.5是四条合成真值表，不是Agent准确率。855任务×13模型完整矩阵高成本不复现、审查DONE。
涉及：agentheal · agent-perturb · gaia
2026-10-27 · 首版：比较终局能力、单目标扰动、用户合同、失败重试会计、四臂归因与簇级选择性证书。
覆盖 43 篇主题资料；目录见下。
本主题全部 44 篇资料
目录归类覆盖本主题全部资料；重点对照范围以上表为准。
- AgentHeal: Evaluating Goal-Preserving Resource Recovery of Web Agents under Access Barriers
- PLE: Physical-Engineering's Last Exam
- SCOPE: Selective Certification of Program Edits for Embodied Heuristic Learning
- ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets
- Shortcut Sensitivity in Agent-Safety Evaluations
- SciPIvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents
- PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents
- Librarian Agents: Training LLMs to Curate Long-Context Workspaces that Anticipate Future Queries
- Harness-Delta Attribution: Dissecting Gains From Harness Evolution
- GACC-Bench: Benchmarking Goal-Adaptive Context Compression Ability across Large Language Models
- Disagreement-Guided Weak-to-Strong Routing
- AgentPerturb: Evaluating LLM Agent Robustness under Controlled Interaction Perturbations
- What Coding Agents Leave Unsaid: Measuring Task-State Gaps Between Execution and Reports
- Evolving Together, Failing Apart: The Skill-Policy Co-evolution Trap in Self-Improving Agents
- AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks
- CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline
- One Word Opens the Gate: The Option-Channel Attack on Typed Decision Models as Agent Guardrails
- OnTrack: Real-Time Monitoring and Intervention in LLM Agent Trajectories via Streaming Structure-Aware Optimal Transport
- SpecGuard: Proving a Task Is Broken Before the Agent Cheats
- VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks
- Safety Must Survive Self-Improvement: Why Failures Persist and How Agents Recover
- PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents
- DeFA: Dependency-Guided Failure Attribution for LLM Agents
- UserProxyBench: Evaluating LLM User Simulators for Agent Benchmarks and Training
- Certified Selective Automation of LLM Agent Evaluation
- An Empirical Study of Harness Design for Coding Agents
- Verifiable Social Reasoning for LLM Assistants
- SiLR: Structure-Preserving Admission and Process Reward for LLM Tool Agents
- RedEvoAgent: Automatic Red-Teaming Agent with Experience-Driven Skill Evolution
- Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation
- HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
- OSReward / OS-Shepherd
- FinanceHarness: Autonomous Financial Deep Research Framework
- AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents
- LogAct: Enabling Agentic Reliability via Shared Logs
- TFRBench: A Reasoning Benchmark for Evaluating Forecasting Systems
- ConvApparel: A Benchmark Dataset and Validation Framework for User Simulators in Conversational Recommenders
- CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution
- AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents
- LifeAgentBench: Benchmarking LLMs for Long-Horizon, Cross-Dimensional Lifestyle Health Reasoning
- CoReflect: A Reflective Co-Evolution Framework for Improving Conversational Evaluation
- SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints
- GAIA
- AutoformBench: A Lean Formalization Benchmark for Advanced Mathematics