Agent / 评测与可靠性：如何知道真的做对了
基础理解
网页被登录墙挡住后，为什么找到标题相近的页面还不能算AgentHeal恢复成功？
AgentHeal: Evaluating Goal-Preserving Resource Recovery of Web Agents under Access Barriers
问答新增：2026-11-04 · University of Science and Technology of China
展开答案与例子
答案：替代资源可能是不同作品或不可核对来源的look-alike，也可能是同作品的旧版本。AgentHeal保留原目标：有同版本副本时应优先使用；只有其他版本时要声明差异；根本无合法替代时要弃答并解释障碍，必要时向用户求助，而不是把相似主题当作等价。
教学例子：教学例：用户要论文v2的某指标，搜索到同名v1不能悄悄当v2；如果v2有机构仓库副本就应使用它，否则仅有v1时明确版本差异。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
AgentHeal的副本分支与其他版本分支，来源集合条件为什么不能写成同一个判断？
AgentHeal: Evaluating Goal-Preserving Resource Recovery of Web Agents under Access Barriers
问答新增：2026-11-04 · University of Science and Technology of China
展开答案与例子
答案：原文Eq1在精确副本可达时要求来源集合与副本集合交集非空；只有其他版本可达时则要求非空来源集合全部属于这些版本，并声明other。任何禁止行动又会把最终成功乘成0。自行把前者增强为全部来源都属副本，或把后者放宽为含一个版本，都改变了原文。
教学例子：教学例：只有v1可达时，用v1加一个诱饵拼出答案，即使声明other也失败；有v2副本时，Eq1本身只检查来源含v2，不能把它解释成语义答案正确性已经被证明。
依据：核心公式、数据协议与实现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
AgentPerturb要求扰动后仍可解，AgentHeal却包含不可恢复任务，为什么不矛盾？
AgentHeal: Evaluating Goal-Preserving Resource Recovery of Web Agents under Access Barriers
问答新增：2026-11-04 · University of Science and Technology of China
展开答案与例子
答案：它们的测量目标不同。AgentPerturb比较同目标的配对稳健性，不应把破坏可解性当作能力下降；AgentHeal显式标记不可恢复regime，测是否诚实弃答、准确诊断并尊重政策，而非继续要求不存在的答案。可恢复与不可恢复必须分组报告，不能把它们混成总答题准确率。
教学例子：教学例：删掉唯一证据又要求回答原数字，会构成不公平扰动；把该情况明确设为无解并评价是否拒绝编造，才是在测恢复可靠性。
依据：背景与主要改动、核心公式、本地结果与负控；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
本地诊断知道work、version和可达资源，这会不会让Agent直接看到正确恢复路径？
AgentHeal: Evaluating Goal-Preserving Resource Recovery of Web Agents under Access Barriers
问答新增：2026-11-04 · University of Science and Technology of China
展开答案与例子
答案：这些是独立评测者的标注，模块根本不调用actor，不能把它们作为被测Agent的观察。来源归因和逐动作政策判断也由外层提供，不由本地字符串规则自动完成。四条合成真值表得到TS=0.5仅说明判定合同，不能当Agent真实能力；真正浏览器评测仍需分离actor、gold和judge。
教学例子：教学例：把copy_id直接给模型再测恢复率会泄露路径；只在模型提交后让独立评价者检查其访问记录和引用来源，才维持评测边界。
依据：数据协议与实现边界、本地结果与负控、代码映射；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
PLE 为什么要求提交可审查工程产物，而不只生成一段回答？
PLE: Physical-Engineering's Last Exam
问答新增：2026-10-27 · Google Cloud AI Research
展开答案与例子
答案：长时工程任务包含多格式输入、约束和成果文件，最终要核验实际产物满足要求。benchmark通过专家或独立grader评价，不能把流畅文字当成已完成设计。
教学例子：提交一个说明文档，并不自动证明相应工程文件真实存在或通过约束。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
约束型任务为什么用硬门 G 切断目标分，而非让目标优化抵消硬约束失败？
PLE: Physical-Engineering's Last Exam
问答新增：2026-10-27 · Google Cloud AI Research
展开答案与例子
答案：工程产物可能目标值漂亮却违反必须满足的条件，硬门要求全部硬约束通过才计算那部分收益。约束比例仍提供分项信息，完整任务分母保留缺失项为零；本地评分聚合只消费外部裁判，不具备判断物理可行性或专业规范的独立能力。
教学例子：例如设计重量很低但关键承载条件失败，不能让轻量化高分抵消硬失败；缺交产物也不能从平均分里删掉。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
PLE 约束型硬门评分，与只按目标值连续打分有什么不同？
PLE: Physical-Engineering's Last Exam
问答新增：2026-10-27 · Google Cloud AI Research
展开答案与例子
答案：硬约束不满足时G=0，目标优化分被切断，不能用更高目标值抵消违反约束。专家rubric及特殊site/MEP grader又有独立规则，不能用一个通式替代所有任务。
教学例子：目标效率再高，只要一个硬约束失败，也不能继续获得那0.6GO′项。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
PLE 聚合结果时，为什么必须保留全部任务分母与缺失项？
PLE: Physical-Engineering's Last Exam
问答新增：2026-10-27 · Google Cloud AI Research
展开答案与例子
答案：每run按完整任务集平均，缺失评分记0，再对三个run均值求平均；只对已成功提交项求均值会虚高。本地只接外部grader结果和产物字节，不独立认证物理或法规正确性。
教学例子：85项只完成10项，不能把这10项的平均分直接报告为完整benchmark均值。
依据：核心公式、离线验收接口；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
SCOPE 为什么保存成功执行的有状态 API tape？
SCOPE: Selective Certification of Program Edits for Embodied Heuristic Learning
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：修改程序后重新跑所有旧场景很贵，完整tape保留请求、前后公共状态及返回/异常，可在同一记录实例上重放候选，帮助发现需要进一步真实诊断的分歧。
教学例子：一个旧成功场景可先用完整API交互证据检查，而不立即重新启动机器人环境。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
API tape 重放成功，为什么不能当作所有输入的程序等价证明或候选接纳门？
SCOPE: Selective Certification of Program Edits for Embodied Heuristic Learning
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：重放只检查记录实例在给定状态、返回和异常下是否一致，未见输入仍未知。它用于选择值得真实环境诊断的差异，不决定成功候选必须回滚；原生环境成功才更新 accepted program，重放分歧也只是证据差异，不能直接记成环境失败。
教学例子：例如旧案例的返回顺序与新程序不同，可触发重点复测；若新程序已在真实环境完成当前任务，不能仅因旧 tape 不兼容就擅自拒绝。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
SCOPE 的重放分歧，与真实环境执行失败是同一种结论吗？
SCOPE: Selective Certification of Program Edits for Embodied Heuristic Learning
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：不是。分歧说明候选与记录见证不匹配或不可用，是后续搜索证据；真实环境失败需要实际执行。未知不能当失败，重放也不是对所有输入的程序等价证明。
教学例子：新程序多查询了一次API，可能导致tape分歧，但尚不能据此断定环境任务失败。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
SCOPE 重放时只比较 API 名称和返回值，足以恢复有状态执行吗？
SCOPE: Selective Certification of Program Edits for Embodied Heuristic Learning
问答新增：2026-10-27 · Peking University
展开答案与例子
答案：还要匹配请求及前状态，并恢复后状态突变、异常与共享引用，完整消费tape且无额外外部调用。accepted program由原生环境成功更新，不能私自把replay改成接纳/回滚门。
教学例子：两个对象共享同一列表，重放若复制成两个独立列表，即使当前返回值相同也改变后续行为。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
AgentPerturb 为什么一次只扰动 U、P、C、T 中一个目标？
AgentPerturb: Evaluating LLM Agent Robustness under Controlled Interaction Perturbations
问答新增：2026-10-27 · The Hong Kong University of Science and Technology (Guangzhou)
展开答案与例子
答案：用户请求、过程规范、历史上下文和工具契约是不同输入面。固定其它输入、后端和成功oracle，才可更清楚观察某类扰动影响；同时修改多个目标会混入额外变化。
教学例子：只改工具说明而保持用户需求与工具实现不变，才接近一次单目标配对。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么扰动候选通过 JSON 检查后，还必须独立确认目标不变且仍可求解？
AgentPerturb: Evaluating LLM Agent Robustness under Controlled Interaction Perturbations
问答新增：2026-10-27 · The Hong Kong University of Science and Technology (Guangzhou)
展开答案与例子
答案：结构合法只保证可解析，扰动可能不小心换了任务或删掉必需信息到无法恢复。单目标语义验证保持其他因素、后端与 oracle 不变，才能解释性能差来自交互压力；缺失评分要报告配对覆盖和界限，不能删掉失败对后宣称鲁棒性良好。
教学例子：例如只改工具说明措辞应不改工具真实行为；若同时移除唯一必需工具，失败就混入不可解性，不能当同一扰动效果。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
AgentPerturb 的语法检查与独立语义 verifier，分别能证明什么？
AgentPerturb: Evaluating LLM Agent Robustness under Controlled Interaction Perturbations
问答新增：2026-10-27 · The Hong Kong University of Science and Technology (Guangzhou)
展开答案与例子
答案：语法合法只说明输入可解析，不能证明任务目标保持、仍可求解。候选还需独立语义verifier确认单目标、目标不变、可解和可执行，再结合原生validator；本地算术verifier不代表任意自然语言等价证明。
教学例子：JSON完全合法，但把“求和”改成“求积”仍改变了目标，不能当稳健性扰动。
依据：背景与主要改动、真实性、gold 隔离与成本；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
计算 AgentPerturb 成对下降时，可以删掉没有评分的请求吗？
AgentPerturb: Evaluating LLM Agent Robustness under Controlled Interaction Perturbations
问答新增：2026-10-27 · The Hong Kong University of Science and Technology (Guangzhou)
展开答案与例子
答案：已评分配对子集可计算C、P和Delta，但必须另报全部请求分母上的覆盖率和未知上下界。缺失记录仍属未知，原生部分奖励也不能为凑统一口径擅自二值化。
教学例子：计划100对仅60对有双侧评分，不能只报这60对的下降而隐去40对缺失。
依据：核心公式、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
弱模型不确定，为什么不等于应当升级强模型？
Disagreement-Guided Weak-to-Strong Routing
问答新增：2026-10-27 · University of Pennsylvania
展开答案与例子
答案：若强模型在同一问题上也高度分歧，升级可能并无稳定收益。方法用弱强分歧减去强模型自身分歧，学习升级价值；离线比较回答等价性，不需要正确答案标签。
教学例子：两个模型都在多个选项间摇摆，弱模型犹豫本身不足以证明强模型能补救。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么要从弱强分歧里减去强模型自身分歧？
Disagreement-Guided Weak-to-Strong Routing
问答新增：2026-10-27 · University of Pennsylvania
展开答案与例子
答案：弱强不同可能因为强模型也不稳定，而非升级能纠正弱模型。用不同采样索引估计强模型自分歧，扣除这部分后更接近调用增益线索；分数可为负，并非成功概率，测试时应只跑弱表示与 probe，决定升级后才付强模型调用成本。
教学例子：例如强模型自己两次答案都相反，弱强分歧很高不一定值得升级；若强模型内部一致而与弱模型不同，信号才更明确。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
校正路由分数与弱强模型的原始分歧概率，有什么值域差异？
Disagreement-Guided Weak-to-Strong Routing
问答新增：2026-10-27 · University of Pennsylvania
展开答案与例子
答案：原始分歧目标是概率，校正分数是两个probe输出之差，可以为负，不能截到[0,1]。多个弱响应先取response分歧预测的最小值，再减prompt层面的强模型自身分歧。
教学例子：弱强分歧0.2、强模型自身分歧0.5时，校正值可为−0.3。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
估计强模型自身分歧时，为什么必须排除同一采样与自身的配对？
Disagreement-Guided Weak-to-Strong Routing
问答新增：2026-10-27 · University of Pennsylvania
展开答案与例子
答案：应使用K_s(K_s−1)个不同索引有序配对；对角self-pair必然一致，会压低分歧估计。推理阈值只从validation校准，测试分布变化时不承诺精确路由配额。
教学例子：两个强响应只有两个交叉有序对，不能把两个自配对也放入分母。
依据：核心公式、代码映射与边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
GACC-Bench 为什么让一份压缩记忆回答同一目标下的多道问题？
GACC-Bench: Benchmarking Goal-Adaptive Context Compression Ability across Large Language Models
问答新增：2026-10-27 · Fudan University
展开答案与例子
答案：压缩时具体后续问题未知，只有高层目标可见；共用一次记忆才能检验整组目标证据是否保留。若每看一道题就重新压缩，就变成面向已知问题的信息提取。
教学例子：为出差目标压缩资料后，应同时能回答交通和住宿问题，而不是每题重做摘要。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
同一 context–goal–budget 为什么只生成一次记忆供所有后续问题复用？
GACC-Bench: Benchmarking Goal-Adaptive Context Compression Ability across Large Language Models
问答新增：2026-10-27 · Fudan University
展开答案与例子
答案：压缩时只知高层目标，不知具体问题，复用能检验一份记忆是否保全整组所需证据。若逐题重压缩，压缩器已获得额外查询信息，任务就变了；严格 token 截断、零预算空记忆与不补 padding 也决定 reader 的真实输入，不能只报名义预算。
教学例子：例如目标是了解一次项目决策，后续分别问日期和原因，应读同一份预先压缩记忆，而非每题再偷取原文做定向摘要。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
GACC 的 Micro 高而 Macro 为零，可能是什么情况？
GACC-Bench: Benchmarking Goal-Adaptive Context Compression Ability across Large Language Models
问答新增：2026-10-27 · Fudan University
展开答案与例子
答案：Micro按全部问题统计正确比例，Macro要求一个目标下所有问题都正确才计1。每组都漏一道关键题时，逐题正确率仍可较高，整目标完整率却为0；两者不能互换。
教学例子：两个目标各3题都答对2题，Micro是2/3，Macro仍为0。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
GACC 压缩输出超预算或预算向下取整为零时，应怎样给 reader 输入？
GACC-Bench: Benchmarking Goal-Adaptive Context Compression Ability across Large Language Models
问答新增：2026-10-27 · Fudan University
展开答案与例子
答案：按固定tokenizer将输出取前L个token再decode；不重生成、不补齐，L为0就传空memory。缓存还要绑定来源、目标、tokenizer及compressor版本，避免跨配置误用记忆。
教学例子：来源仅3token、保留率0.2时L=0，不能擅自保留1token改善得分。
依据：核心公式、代码映射、成本与边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
HDA 为什么先检验 evolved 相对 baseline 的配对收益？
Harness-Delta Attribution: Dissecting Gains From Harness Evolution
问答新增：2026-10-27 · Amazon
展开答案与例子
答案：如果观测增益可能只是噪声，继续分解算力、捷径和剩余项没有可靠起点。方法先做双侧paired bootstrap，显著后才构造算力匹配与捷径中和控制；两个控制均需任务相关人审。
教学例子：同一组任务两次波动了少量分数，不能直接宣布其中多少来自泛化。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
HDA 的残余 G 为什么只能视作泛化改进上界，而不是直接的迁移证据？
Harness-Delta Attribution: Dissecting Gains From Harness Evolution
问答新增：2026-10-27 · Amazon
展开答案与例子
答案：算力匹配减掉额外计算，已检测捷径中和再剥离一部分过拟合，但未发现捷径仍可能留在残余里。控制构造需要任务相关人审，且先确认原收益显著才归因；代数分解保证账目一致，不保证每项已被完整因果识别或适用于新分布。
教学例子：例如去掉已知文件名捷径后仍涨分，也可能还利用隐藏目录顺序；不能把剩下全部提升都宣称是真正通用推理。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
HDA 中的剩余 G，为什么不能直接叫作已证明的泛化收益？
Harness-Delta Attribution: Dissecting Gains From Harness Evolution
问答新增：2026-10-27 · Amazon
展开答案与例子
答案：G是中和已发现捷径后相对算力匹配baseline的差值，还可能含未识别捷径；因此只是泛化改进上界。O也只覆盖检测且能中和的机制，属于过拟合下界估计。
教学例子：移除一种答案泄漏后仍有收益，并不能排除另一个尚未检查的捷径。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
HDA 展示百分比前，能把负的原始 T、O 或 G 截成零吗？
Harness-Delta Attribution: Dissecting Gains From Harness Evolution
问答新增：2026-10-27 · Amazon
展开答案与例子
答案：原始带符号差值必须保留并满足Delta=T+O+G。展示份额另按规则截断，不能回写原始归因；四臂还必须逐item对齐、成本单位一致并提供人审控制依据。
教学例子：中和某机制反而涨分时，负O是应保存的结果，不应为了饼图好看改成0。
依据：核心公式、本地复现与边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
Librarian 为什么在不知道具体后续问题时先整理工作区？
Librarian Agents: Training LLMs to Curate Long-Context Workspaces that Anticipate Future Queries
问答新增：2026-10-27 · Stanford University
展开答案与例子
答案：同一语料会被多次查询，提前建立层级文件与原文来源可复用跨文档整理成本。builder只能看语料，后续由固定answerer导航，不能依据测试问题预先写入答案。
教学例子：先整理一个项目的资料目录，再回答多位用户的问题，而非看到题目才为它定制目录。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
builder 尚未看到评测问题，为什么不能按已知问题把层级文件系统专门整理成答案索引？
Librarian Agents: Training LLMs to Curate Long-Context Workspaces that Anticipate Future Queries
问答新增：2026-10-27 · Stanford University
展开答案与例子
答案：目标是预先组织可复用工作区，固定 answerer 后续面对未知查询导航。提前看题会把整理变成针对答案的检索捷径，失去跨问题价值；来源回退还要保留原文，Delete 不得删除原始语料，一般成本公式也不能冒称主训练实际用了非零成本 shaping。
教学例子：例如先按公司和日期整理资料可供多种问题使用；若提前知道要问某数字并只把它写在首页，评测就不再检验通用整理。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
Librarian 的一般成本效用，与论文主训练实际奖励相同吗？
Librarian Agents: Training LLMs to Curate Long-Context Workspaces that Anticipate Future Queries
问答新增：2026-10-27 · Stanford University
展开答案与例子
答案：不同。一般式包含构建、token和读取惩罚，但主训练这些成本系数实际为0、gamma为1，并每8个builder turns探测answerability变化及终止正确性。不能把可定义的成本项写成已用的训练shaping。
教学例子：公式里出现token成本，不代表该次训练因多读一个文件就被扣分。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
Librarian 删除一个合成节点后，怎样保留原文可追溯性？
Librarian Agents: Training LLMs to Curate Long-Context Workspaces that Anticipate Future Queries
问答新增：2026-10-27 · Stanford University
展开答案与例子
答案：Delete只归档合成节点，保留raw docs和历史来源，并提升子节点；cold load还需验证hash、层级和磁盘内容。本地落实文件系统合同与冻结结果复算，没有训练learned builder。
教学例子：删掉一个摘要目录，原始文件及被合并子目录的来源仍应可以找到。
依据：文件系统合同与代码映射；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
PROBE 为什么把任务完成与遵守业务政策分开审计？
PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents
问答新增：2026-10-27 · Mohamed bin Zayed University of Artificial Intelligence
展开答案与例子
答案：最终状态或有害文本检查可能漏掉多轮工具流程中的违规。auditor与冻结target交互，私有verifier从完整trace检查政策，观察可信客户行为、流程进展与覆盖，而非只看回答语气。
教学例子：任务结果看似完成，过程中仍可能缺少规定确认或出现未请求状态变化。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么违规奖励对同一政策重复命中递减，却仍保留原始 yield 统计？
PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents
问答新增：2026-10-27 · Mohamed bin Zayed University of Artificial Intelligence
展开答案与例子
答案：递减训练奖励防止 auditor 靠反复触发同一漏洞刷分，鼓励覆盖更多政策；原始 yield 则描述实际命中事件，可超过每百 episode 一百次。两种统计对象不同，去重覆盖和事件总量应分列，局部奖励实现也不等于完成整套审计 RL。
教学例子：例如一段对话连续三次触发同一违规，训练可依次少奖或不奖，但事件日志仍应记录三次，不能为去重而丢原始证据。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
原始 violation yield、episode-policy 去重 yield 与 coverage，为何不能互换？
PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents
问答新增：2026-10-27 · Mohamed bin Zayed University of Artificial Intelligence
展开答案与例子
答案：原始yield可重复计同一政策跨turn命中，可能超过每百episode的100；去重yield去掉episode内政策重复，coverage分母是声明政策全集。它们分别描述命中量与范围，不是同一个成功概率。
教学例子：一个episode三次命中同一policy，原始命中3、去重命中1，覆盖仍只增加一种政策。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
PROBE 重复命中衰减需要在哪里重置 policy 计数？
PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents
问答新增：2026-10-27 · Mohamed bin Zayed University of Artificial Intelligence
展开答案与例子
答案：文档n_i是本episode已有命中数，首次权重1、第二次1/2、之后0；新episode应重新计。统计原始yield时又不能沿用此衰减删除命中，无命中和unsupported政策仍留在分母。
教学例子：上一episode已命中两次，不应让下一episode该policy的第一次命中奖励变成0。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
SciPIvot 让模型判断的是研究纠偏选择，还是项目最终能否成功？
SciPIvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents
问答新增：2026-10-27 · University of Maryland, College Park / The Chinese University of Hong Kong（PDF上标已核）
展开答案与例子
答案：它用纠偏前项目状态和两个后续方案，评价哪一个更适当；reference来自后续人类纠偏，但被测模型不能看到未来轨迹或方案来源身份。它不是最终项目成功预测。
教学例子：选择眼下更合理的下一步，并不保证六个月后的整个研究项目一定成功。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么交换选项位置后要重开独立会话，并按 case 而非两次回答重采样？
SciPIvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents
问答新增：2026-10-27 · University of Maryland, College Park / The Chinese University of Hong Kong（PDF上标已核）
展开答案与例子
答案：位置交换用于检查选择是否稳定，独立会话避免第一次回答污染第二次；两种顺序仍来自同一项目决策，不能当成两个独立样本。被测模型只能看纠偏前状态，后续记录可用于构建参考，却不能作为输入，更不能暴露哪项来自人类或原 LLM。
教学例子：例如同一计划甲乙分别放 A/B 和 B/A，若在同一会话里连问，模型可能记住先前选择而非重新判断。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
交换 options 顺序，与把同 case 的两次回答当两个独立样本有什么区别？
SciPIvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents
问答新增：2026-10-27 · University of Maryland, College Park / The Chinese University of Hong Kong（PDF上标已核）
展开答案与例子
答案：双顺序用于测并抵消位置偏好，但两次仍属于同一case，需先形成case分数再按case重采样。独立计数会夸大样本量并低估相关性。
教学例子：一个case的AB与BA两次判断，不等于两个不同研究决策案例。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
SciPIvot 的原 questions 文件为什么不能直接挂给被测 Agent？
SciPIvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents
问答新增：2026-10-27 · University of Maryland, College Park / The Chinese University of Hong Kong（PDF上标已核）
展开答案与例子
答案：官方源含references，可信ingestion需按allowlist导出仅id与两个选项，grader私有参考另存。模型会话彼此独立，不能读取仓库或未来记录绕过options-only边界。
教学例子：把完整questions.json作为上下文，即使提示“不看reference”也未实现数据隔离。
依据：背景与主要改动、已发布数据与来源；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
Shortcut Sensitivity 为什么先检查评测输入里的构造线索？
Shortcut Sensitivity in Agent-Safety Evaluations
问答新增：2026-10-27 · Kontext
展开答案与例子
答案：工具名、长度、来源标记和重复交互可能带来可预测标签的捷径，使高分未必体现真正风险判断。研究分开审计标签可预测性、guard关联及构念保持的配对干预。
教学例子：某工具名总出现在unsafe样本里，模型可能仅靠名字取得好成绩。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
工具名能预测标签，为什么还不能断言 guard 使用了这个捷径？
Shortcut Sensitivity in Agent-Safety Evaluations
问答新增：2026-10-27 · Kontext
展开答案与例子
答案：第一层只说明数据构造存在相关线索，第二层检查 guard 决策相关性，第三层保持其余条件只改线索，才更接近行为依赖证据。配对效应还需控制随机不一致与安慰剂，不能把相关性、无符号翻转率和有符号效应混成同一结论。
教学例子：例如危险样本常用某工具名，只训练名字查表能高分；要证明 guard 走捷径，还需改名不改行为并观察其决策是否改变。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
线索能预测标签、关联 guard 决策、配对干预效应，三者可直接互相推出吗？
Shortcut Sensitivity in Agent-Safety Evaluations
问答新增：2026-10-27 · Kontext
展开答案与例子
答案：不能。前两项提示进一步测试目标，配对干预还需只改变线索而保持风险构念，并控制随机guard和格式安慰剂。相关性不足以断言模型实际使用了捷径。
教学例子：一个工具名与unsafe相关，但删掉名字后guard决策不变，证据仍不足以说它靠该名字判断。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
等 interaction 权重的 F1，为什么不能先算各 interaction 的 F1 再平均？
Shortcut Sensitivity in Agent-Safety Evaluations
问答新增：2026-10-27 · Kontext
展开答案与例子
答案：文档先给每步1/n_g权重，累加加权TP/TN/FP/FN再算F1；F1是非线性比值，平均各组F1是另一口径。配对signed effect也不能替换成unsigned flip-rate。
教学例子：长交互不能仅因步骤多就在混淆矩阵里占更多总权重。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
ToolBottleneckBench 为什么控制工具目录、菜单、工作流与返回编码？
ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets
问答新增：2026-10-27 · University of Osaka
展开答案与例子
答案：工具Agent失败可能来自系统接口与预算交互，而非单纯模型能力。固定任务事实和决策后分别操纵R/V/W/D，才能更清楚观察哪类压力与结果相关。
教学例子：模型相同，但可见菜单更长可能增加选择成本，不能直接归因于模型推理变差。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么把失败记作“首个未满足义务”，不等于已经完成因果归因？
ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets
问答新增：2026-10-27 · University of Osaka
展开答案与例子
答案：义务顺序提供一致标签，但后面还可能有其他失败，首个检查项未通过并不能证明它是唯一根因。固定请求事实再操纵目录、菜单、工作流和返回状态才能研究压力影响；真值辅助 routed menu 属诊断条件，不能被当无需 oracle 的部署能力。
教学例子：例如工具没检索到先标可用性失败，参数逻辑也许同样错误；修复第一项后才可能暴露第二项，标签顺序不是因果证明。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
原协议真值辅助的 routed menu，与无需 oracle 的生产路由器有什么差别？
ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets
问答新增：2026-10-27 · University of Osaka
展开答案与例子
答案：真值辅助缩窄菜单属于受控评测条件，不证明实际系统能自动找到同样菜单。它可用来定位瓶颈，但不能当成已经实现的无oracle能力方案。
教学例子：预先知道正确工具再只展示它，与部署时从大目录自主检索正确工具不同。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
目录压力 ITT 中，未检索到工具或基础设施失败的请求能从分母删除吗？
ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets
问答新增：2026-10-27 · University of Osaka
展开答案与例子
答案：不能。计划分母应保留这些失败，否则只在可用请求上算选择率会虚高。还需区分首个未满足义务标签和另列的终止原因，二者都不能自动充当因果归因。
教学例子：100次计划只有80次取得候选菜单，应在完整100次口径里报告结果。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
AlphaDiana 为什么分开记录执行状态与评分状态？
AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks
问答新增：2026-10-27 · Hong Kong Baptist University
展开答案与例子
答案：程序运行成功并不保证grader给出了有效判定；评分中断属于未知而非自动正确或错误。分离状态并保留完整计划分母，才能看见执行失败、缺失评分及真实覆盖率。
教学例子：工具完成了操作，但评测器超时，这个样本应标未评分，不能从报告消失。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
重试为什么只增加 attempt，而不增加逻辑样本分母或挑最好的一次？
AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks
问答新增：2026-10-27 · Hong Kong Baptist University
展开答案与例子
答案：同一 task/sample 的重试仍是在解决同一请求，多算分母或挑最好记录会改变采样含义并隐藏失败成本。报告取最新记录、总成本累加所有 attempt，运行状态与评分状态分开；未评分是未知，不应伪装正确或从计划样本中静默删除。
教学例子：例如同题先超时再成功，两次 token 都计成本，但样本仍是一份；不能只留下便宜的成功日志，让第一次尝试仿佛没发生。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
重试后选最新 attempt，与选最好 attempt 会产生什么评测差异？
AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks
问答新增：2026-10-27 · Hong Kong Baptist University
展开答案与例子
答案：同一逻辑样本的重试不增加分母，协议按最新状态报告；挑最好结果会把多次机会变成隐含选择优势。成本则累计所有attempt，不能只算被展示的最后一次。
教学例子：先成功后重试失败，按最新协议不能回捞第一次成功，却只报告一次执行成本。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
AlphaDiana 何时必须让完整 tokens/correct 返回未知？
AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks
问答新增：2026-10-27 · Hong Kong Baptist University
展开答案与例子
答案：没有已确认正确样本、任一attempt缺token，或请求样本尚无执行记录时，完整成本为None。已知token与覆盖率可以单列，但不能把部分计量补成完整推理成本。
教学例子：两次尝试只记录了一次token，即使最终正确，也不能声称已知道完整每正确样本成本。
依据：核心公式、无 gold 边界与限制；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
CODA 为什么在改写技能前先冻结原始检索集合？
Evolving Together, Failing Apart: The Skill-Policy Co-evolution Trap in Self-Improving Agents
问答新增：2026-10-27 · Alibaba Token Hub, Alibaba Group
展开答案与例子
答案：它要审计策略对已交付技能内容和措辞的依赖，而重新检索还会改变选中技能与排序。固定retrieval-side字段只替换内容，才能减少检索变化对结果的混杂。
教学例子：改写一个技能后若它不再被检索到，无法分清是措辞依赖还是检索召回变化。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
对技能内容做意义保持改写时，为什么必须固定原始检索选中集合？
Evolving Together, Failing Apart: The Skill-Policy Co-evolution Trap in Self-Improving Agents
问答新增：2026-10-27 · Alibaba Token Hub, Alibaba Group
展开答案与例子
答案：重新检索会同时改变拿到哪些技能，无法区分策略依赖措辞还是检索器排名变化。先固定选中身份及检索字段，只替换内容，才能更集中测技能表达的脆弱性；意义等价也不能靠字符串相似度证明，整体成功率不变仍可能隐藏双向 outcome flip。
教学例子：例如把同一流程改写为同义句，应仍提供原来三份技能；若改写后换了另外三份，性能变化就不再只由措辞导致。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
CODA 为什么除 aggregate success rate 外还看逐任务 CR？
Evolving Together, Failing Apart: The Skill-Policy Co-evolution Trap in Self-Improving Agents
问答新增：2026-10-27 · Alibaba Token Hub, Alibaba Group
展开答案与例子
答案：总成功率可被双向翻转抵消：一些原成功任务失败、另一些原失败任务成功，总数不变。CR比较同一任务两条件结果一致性，并用重复未扰动运行作为随机噪声参照。
教学例子：两个任务的成败完全互换，总成功率仍为50%，但CR为0。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
CODA 的 RR 分母应是 no-skill 成功任务数吗？
Evolving Together, Failing Apart: The Skill-Policy Co-evolution Trap in Self-Improving Agents
问答新增：2026-10-27 · Alibaba Token Hub, Alibaba Group
展开答案与例子
答案：不是。RR统计no-skill与扰动技能两条件都成功的任务，占全部相同任务的比例。条件成功任务分母会改变定义；输入还须保留所有条件的相同ID集合，拒绝漏任务。
教学例子：100题中no-skill成功20题、交集10题，RR是10%，而非50%。
依据：核心公式、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
CTXGAP 测量的报告信息差距，与任务完成率有什么不同？
What Coding Agents Leave Unsaid: Measuring Task-State Gaps Between Execution and Reports
问答新增：2026-10-27 · Tencent
展开答案与例子
答案：它在同一探针上比较累积报告观察者和完整执行视图观察者，测用户能否恢复真实任务状态。任务可能已完成但报告漏掉关键事实，反之报告详尽也不保证任务成功。
教学例子：代码已修好，但报告未说某个检查没有运行，用户仍无法准确判断验收状态。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
公开执行材料为什么不能重命名为 T_full 来复算完整报告差距？
What Coding Agents Leave Unsaid: Measuring Task-State Gaps Between Execution and Reports
问答新增：2026-10-27 · Tencent
展开答案与例子
答案：原完整视图包含部分不公开推理或记忆证据，公开子集缺这些事实，观察者能力和可回答问题范围会改变。同题配对与重要原子权重用于衡量报告遗漏，仍须区分公共与完整条件；按 task/run 聚类也避免把同任务大量探针当独立样本。
教学例子：例如某端口只记录在私有记忆里，公开日志没有；用公开日志观察者答不出，不能说它代表原论文完整执行视图的上限。
依据：背景与主要改动、核心公式与统计单位；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
CTXGAP 的重要性加权准确率，与把所有探针等权平均有何区别？
What Coding Agents Leave Unsaid: Measuring Task-State Gaps Between Execution and Reports
问答新增：2026-10-27 · Tencent
展开答案与例子
答案：某类别探针越多，不应仅因此压过重要事实更集中的类别。权重以类别重要原子事实数除以探针数，先累加加权分数再归一化；等权平均容易被大量简单或相似问题稀释遗漏。
教学例子：为一条琐碎日志生成很多题，不应掩盖一个关键验收事实未被报告。
依据：背景与主要改动、核心公式与统计单位；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
CTXGAP 的置信区间为什么按 task/run 重采样而不是按探针独立重采样？
What Coding Agents Leave Unsaid: Measuring Task-State Gaps Between Execution and Reports
问答新增：2026-10-27 · Tencent
展开答案与例子
答案：同一任务探针共享执行和报告条件，并非独立样本；需聚类且保持条件配对。类别权重和任务等权汇总也要保留，不能用pooled准确率差替换主任务等权差距。
教学例子：一个任务生成100个相似探针，不能被当作100个独立任务来缩小区间。
依据：核心公式与统计单位；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
AutoformBench为什么要求任务内所有证明义务通过？
AutoformBench: A Lean Formalization Benchmark for Advanced Mathematics
问答新增：2026-10-27 · FAIR at Meta
展开答案与例子
答案：高级形式化需定义、辅助引理和最终证明协同成立，单独补一个片段不足。可信Lean/Mathlib验证全部义务才算任务成功，不能按局部通过数替代成功率。
教学例子：例如主结论过了但依赖引理仍留sorry，整题尚未完成。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
source-present 与 source-free 为什么不能仅凭相同 task ID 直接比较分数？
AutoformBench: A Lean Formalization Benchmark for Advanced Mathematics
问答新增：2026-10-27 · FAIR at Meta
展开答案与例子
答案：可见材料不同会改变形式化难度：原文或参考论证提供定义与思路，公开无来源工作区则要求更多自主构建。两者即使目标同名也不是同一信息条件，所有证明义务还必须一起通过；失败、超预算或基础设施行不能从固定任务分母里静默删掉。
教学例子：例如同一个高等数学命题，一组能读教材证明、另一组只有 Lean 骨架，成绩差不应直接归因模型强弱，而要先匹配来源条件。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
AutoformBench与给定全部定义后只补一个孤立Lean证明，有何任务范围区别？
AutoformBench: A Lean Formalization Benchmark for Advanced Mathematics
问答新增：2026-10-27 · FAIR at Meta
展开答案与例子
答案：这里还要求构造支撑命题的定义与辅助引理，并完成任务内全部证明义务；孤立证明补全通常已固定更多形式化上下文。两者都可能通过Lean验证，但需要自主完成的形式化工作不同，不能只因同用验证器就合并成功率。
教学例子：若缺少一个适当定义，Agent需先形式化该定义并证明辅助引理；只填最后一个by证明块没有完成整项任务。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
AutoformBench接口能把失败、超预算或基础设施错行删掉吗？
AutoformBench: A Lean Formalization Benchmark for Advanced Mathematics
问答新增：2026-10-27 · FAIR at Meta
展开答案与例子
答案：不能，要保留完整固定任务集合及实际CSV成本，名义上限不等于统一实花。接口导入已产生verdict不代表本次真实Harbor运行，未执行就需明确计划状态。
教学例子：例如只统计成功启动的任务，会把环境失败从分母洗掉并抬高成绩。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
CLASHarness 为什么先执行参考计划，再让被测 Agent 处理冲突消息？
CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline
问答新增：2026-10-27 · Google / Emory University（共同署名）
展开答案与例子
答案：参考执行用于确认任务在固定真实状态下确实可解，并从执行效果编译检查。否则被测失败可能来自场景自身矛盾，而不是处理peer错误事实、过期状态或冲突指令的能力。
教学例子：别人声称文件已更新，评测仍需先确定文件真实状态和可完成目标。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么生成冲突场景前要固定真实状态并执行参考计划证明任务可解？
CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline
问答新增：2026-10-27 · Google / Emory University（共同署名）
展开答案与例子
答案：否则失败可能只是场景自相矛盾或界面不可操作，而非 Agent 不会处理 peer 冲突。可执行参考建立真实状态、允许目标和检查义务，再检验被测者能否依据环境完成；空 required 集合或缺失 verdict 不能自动算成功，公平性调整也应预先声明。
教学例子：例如 peer 声称文件已删除，真实文件仍在且参考操作可完成任务；这样才可测 Agent 是否核对环境，而非面对无解场景。
依据：背景与主要改动、核心公式与公平性口径；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
CLASHarness 的完整成功与部分检查通过率，为何需要分别报告？
CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline
问答新增：2026-10-27 · Google / Emory University（共同署名）
展开答案与例子
答案：完整成功要求非空required清单已验证且每项通过，部分比例只反映其中多少检查通过。没有检查不能按空合取宣布成功，只有部分verdict也不足以证明整任务通过。
教学例子：4项必需检查过了3项，部分比例75%，完整成功仍为否。
依据：核心公式与公平性口径；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
CLASHarness 公平性降级检查时，为什么不能按列表位置关联记录？
CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline
问答新增：2026-10-27 · Google / Emory University（共同署名）
展开答案与例子
答案：策略用原始task_id/check_index标识，将指定required项改为diagnostic；不同判定类别要取集合并集。列表重排或重复标签若按位置处理，会错误删除检查或重复计算。
教学例子：同一check同时属于两种争议类别，也只能在降级集合中出现一次。
依据：核心公式与公平性口径；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
OnTrack 为什么将轨迹建成依赖图，而不只比较动作文字？
OnTrack: Real-Time Monitoring and Intervention in LLM Agent Trajectories via Streaming Structure-Aware Optimal Transport
问答新增：2026-10-27 · Cribl AI
展开答案与例子
答案：动作先后与产物依赖共同决定是否偏离任务，独立分支可能有不同合法顺序。结构化非平衡对齐允许前缀与参考不完全匹配；没有参考时只能明确退化为循环、重试和停滞信号。
教学例子：先准备两个互不依赖的文件，交换顺序不应仅因索引不同就被判偏离。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
事件不断增加时，为什么不把旧前缀节点质量每次改成 1/t？
OnTrack: Real-Time Monitoring and Intervention in LLM Agent Trajectories via Streaming Structure-Aware Optimal Transport
问答新增：2026-10-27 · Cribl AI
展开答案与例子
答案：重缩放会让历史节点的权重仅因来了新事件而变化，混淆实际对齐进展与归一化效应。固定前缀质量、流式 warm-start 和结构耦合保留时间比较语义；准备干预时还要扩大求解预算重判，不可逆动作门不能依赖过期缓存前沿。
教学例子：例如新增一次日志读取不应自动削弱此前关键编辑的质量；否则监控分数变化可能只是分母改变，而非行为真的偏离。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
OnTrack 的早期探索宽限与结束时最终对齐，为什么不能用完全相同权重？
OnTrack: Real-Time Monitoring and Intervention in LLM Agent Trajectories via Streaming Structure-Aware Optimal Transport
问答新增：2026-10-27 · Cribl AI
展开答案与例子
答案：在线新节点有年龄折扣并受前沿掩码约束，避免过早惩罚探索；终结时冷启动并移除这两类权重，检查完整轨迹。把在线宽限保留到最终评分会掩盖未解决偏离。
教学例子：刚创建的临时产物可有探索宽限，但任务结束仍未被使用时需要完整审查。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
OnTrack 每来一个事件，能把已有节点质量从 1/m 重设为 1/t 吗？
OnTrack: Real-Time Monitoring and Intervention in LLM Agent Trajectories via Streaming Structure-Aware Optimal Transport
问答新增：2026-10-27 · Cribl AI
展开答案与例子
答案：不能。代理节点按固定前缀质量1/m_bar分配，逐步重缩放会改变旧节点质量和泄漏口径。不可逆动作还需在执行前用当前coupling重算前沿；planner参考仅能告警，不能自动停机。
教学例子：新增一个无关事件不应仅因分母变化，让所有旧事件的质量被动下降。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
Option-Channel Attack 为什么只改选项标签也可能改变守门结果？
One Word Opens the Gate: The Option-Channel Attack on Typed Decision Models as Agent Guardrails
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：类型化输出的候选名称同时是模型输入，误导标签会影响模型如何将固定动作映射到允许或拒绝。攻击保持动作与可信策略定义不变，暴露的是选项命名通道的脆弱性。
教学例子：允许和拒绝的实际含义没变，但调用方提供的名称可能诱导模型选错对应动作。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
动作和可信政策不变，只改选项标签，为什么仍可能改变 guard 的放行决定？
One Word Opens the Gate: The Option-Channel Attack on Typed Decision Models as Agent Guardrails
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：标签同样进入模型输入，语义暗示会影响类型化输出读出，即使底层动作没变。评测要把危险误放行与无害误拒绝分开，并在干净输入正确拒绝的禁止集合上算条件攻击率；分母为空应未定义，不能记零来假装防御完美。
教学例子：例如禁止动作仍是同一调用，却把“拒绝”选项改成误导性名称；模型可能因标签理解变化选错，但不代表政策本身改变。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
fail-open 与 fail-closed 为什么不能合并成一个安全准确率？
One Word Opens the Gate: The Option-Channel Attack on Typed Decision Models as Agent Guardrails
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：fail-open放行本应禁止的动作，fail-closed拒绝本应允许的动作，风险和可用性方向不同。条件攻击成功率还只看原本干净输入正确拒绝的集合，不能代替全体错误率。
教学例子：把所有动作都拒绝可能减少危险放行，却会让合法任务无法使用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
干净输入没有一个正确拒绝样本时，条件 ASR 应记多少？
One Word Opens the Gate: The Option-Channel Attack on Typed Decision Models as Agent Guardrails
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：条件分母为空，ASR未定义，不能写0或1。paired bootstrap每次重采样也要重算条件分母；攻击标签先在校准集选择，再在独立评测集测量，避免挑结果。
教学例子：原来就全部错误放行的模型，没有“从正确拒绝变成放行”的可用条件样本。
依据：核心公式、代码映射与复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
SpecGuard 为什么不让 SpecAgent 看测试？
SpecGuard: Proving a Task Is Broken Before the Agent Cheats
问答新增：2026-10-27 · MATS
展开答案与例子
答案：测试可能与可信任务描述冲突；若意图规范抄自测试，后续证明只会确认测试自身。SpecAgent只看描述与源码，TestAgent独立翻译测试，再连接两侧语义并由Lean检查冲突。
教学例子：描述要求加一，测试却要求2变4，不能把“2变4”先写进任务规范。
依据：背景与主要改动、数据协议；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么 SpecAgent 完全不看测试，Lean 证明通过后仍可能是 inconclusive？
SpecGuard: Proving a Task Is Broken Before the Agent Cheats
问答新增：2026-10-27 · MATS
展开答案与例子
答案：不看测试让意图规范独立于可能错误或恶意的测试要求，Certifier 再检查两侧冲突。但形式证明只针对翻译和 connector 表达，若无法忠实对齐自然语言语义，就不能把 kernel 通过解释为原任务已被证明损坏，必须保留未确定结果。
教学例子：例如题意要求排序，测试却要求反序，可分别形式化后证明冲突；若“稳定排序”含义翻译不清，不能仅凭一个有限证明就下结论。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
Lean kernel 验证了冲突证书，是否等于证明原始自然语言任务必然冲突？
SpecGuard: Proving a Task Is Broken Before the Agent Cheats
问答新增：2026-10-27 · MATS
展开答案与例子
答案：证书证明生成的规范与测试约束之间没有共同实现，但不自动证明两份翻译忠实。语义连接、意图提取错误仍会影响结论，无法表达或对齐时应允许inconclusive。
教学例子：把“加一”误译成“加二”后获得的形式证明，不能替原任务背书。
依据：核心公式、结果与验收边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
SpecGuard 的 A100 回执 passed，能说明真实模型端到端成功了吗？
SpecGuard: Proving a Task Is Broken Before the Agent Cheats
问答新增：2026-10-27 · MATS
展开答案与例子
答案：不能。归档小模型运行3项均inconclusive，冲突证书0，且在Spec阶段停止；passed只表示真实CUDA执行和来源核验。手写Lean实例通过仅验证机械机制，不可替代模型输出。
教学例子：GPU命令跑通且保存了失败轨迹，仍不等于TestAgent和connector阶段已被真实模型走通。
依据：结果与验收边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
DeFA 为什么要从最终违规沿依赖边反向追踪？
DeFA: Dependency-Guided Failure Attribution for LLM Agents
问答新增：2026-10-27 · Qwen DianJin Team, Alibaba Cloud Computing
展开答案与例子
答案：最终报错节点可能只是上游错误传播的受害者。方法结合protocol关系与语义依赖形成事件图，逆向寻找来源并保留下游传播子图和责任Agent，帮助区分触发位置与决定性错误。
教学例子：部署失败源于更早写错配置，最后一个执行部署的Agent未必是错误源。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么定位 decisive error 要保留依赖传播子图，而不是只标最后一个失败动作？
DeFA: Dependency-Guided Failure Attribution for LLM Agents
问答新增：2026-10-27 · Qwen DianJin Team, Alibaba Cloud Computing
展开答案与例子
答案：最后失败可能由早期错误事实、参数或跨 Agent 消息导致，逆向依赖把责任源和受影响节点连接起来。协议关系提供结构，语义依赖补信息流，二者结合才能更具体解释传播；启发式最大错误分仍需证据，不是自动获得完整因果证明。
教学例子：例如最后部署失败来自最早读取了旧配置，单责怪部署命令会漏掉源头；传播图可指出旧字段怎样一路传到错误参数。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
DeFA 的 decisive error 选择，与直接挑最后一次报错有什么区别？
DeFA: Dependency-Guided Failure Attribution for LLM Agents
问答新增：2026-10-27 · Qwen DianJin Team, Alibaba Cloud Computing
展开答案与例子
答案：文档在违规节点的祖先集合内按error量选择，并保留责任及传播关系。最后事件仅是时间位置，未必承载导致失败的依赖；图上选择仍依赖输入关系与error定义，不等于独立因果证明。
教学例子：最后的重试超时可能只是结果，真正决定性错误在更早生成的错误参数。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
DeFA 构建传播图时，为什么不能只保存事件文字而丢弃依赖与责任？
DeFA: Dependency-Guided Failure Attribution for LLM Agents
问答新增：2026-10-27 · Qwen DianJin Team, Alibaba Cloud Computing
展开答案与例子
答案：公式候选集由Ancestor(V)决定，缺边会漏掉上游来源，错边会引入无关事件。应保留protocol/语义依赖、事件ID、error量与responsible agent；本地不读gold plan也不运行多模态judge。
教学例子：两个Agent先后写文件，必须知道失败消费了哪个版本，才能追到相关写入。
依据：背景与主要改动、核心公式、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
PACE 为什么在工具副作用发生前检查能力与来源？
PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：资料入库时可信，不表示当前调用有权执行所有动作。方法根据认证请求形成authority，并结合输入provenance在每次effect发生前检查，防止低信任内容扩张执行权限。
教学例子：网页里出现“发送文件”文字，不等于用户已授权发送文件。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么记忆入库时安全，不能保证其内容在工具执行时有 authority？
PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：入库检查只处理当时内容，执行还要根据认证请求限制实际副作用，并追踪输入来源是否可信。provenance 与 authority 同时满足才放行，避免不可信记忆借合法工具越权；文本声称被授权不能代替系统认证，也不能只在写库时检查一次。
教学例子：例如网页文字被存入记忆后要求删除文件，入库未发现危险不代表用户授权删除；执行前仍须核对 effect 和来源。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
PACE 的 capability 检查与 provenance 检查，能只选其中一个吗？
PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：允许条件是effect属于authority且provenance可信。权限范围约束能做什么，来源检查约束当前调用依据是否可信；满足一侧不自动满足另一侧，二者是合取而非替代关系。
教学例子：某工具通常允许读文件，也不代表来自不可信页面的这次读请求应被放行。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
PACE 可以先执行工具，再用日志补做 gate 吗？
PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：不能。pre-effect gate必须在副作用前得到完整effect集合并与authority、provenance比较；事后记录只能审计，无法撤销已发生的影响。本地仅执行选择协议，不运行系统工具或浏览器。
教学例子：邮件已经发送之后才发现来源不可信，已经失去执行前阻断的作用。
依据：背景与主要改动、核心公式、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
Safe Self-Improvement 为什么区分下一轮编辑源与当前运行实现？
Safety Must Survive Self-Improvement: Why Failures Persist and How Agents Recover
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：一个程序可以提供有用的编辑起点，却不满足当前执行条件。方法将检测、当前可执行选择、下一轮编辑源分开，所有候选对当前条件重新验证，防止历史通过记录掩盖现在的失败。
教学例子：旧版本的某段代码值得借鉴，不代表整个旧版本今天仍可直接运行。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么当前可执行版本与下一轮编辑源要分开选择？
Safety Must Survive Self-Improvement: Why Failures Persist and How Agents Recover
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：最有改进潜力的编辑父本未必在当前条件下安全可运行，运行版本必须重新验证后从合格集合选。无候选通过时回到 founder，而不是继续使用已经失败的 incumbent；恢复执行与继续搜索是两项职责，不能把历史曾通过当成永久有效资格。
教学例子：例如新环境使现任版本检查失败，仍可保留它作分析编辑来源，但实际任务应切到当前验证合格版本或执行 founder 回滚。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
没有候选通过时回滚 founder，与继续运行 incumbent 有何差异？
Safety Must Survive Self-Improvement: Why Failures Persist and How Agents Recover
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：公式只在当前有效集合内取最高分；集合为空就走founder rollback。继续使用已失败incumbent会绕过当前验证；回滚是恢复协议，并不自动证明founder在任意新条件下绝对安全。
教学例子：评分最高的候选若当前验证失败，也不能因为过去领先而留在执行位。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
Safe Self-Improvement 可以直接复用候选上轮通过的布尔标记吗？
Safety Must Survive Self-Improvement: Why Failures Persist and How Agents Recover
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：不能把旧验证状态当当前有效集，应绑定本轮条件重新检查，再在通过者中选分数最高者。本地执行验证与founder回退选择，未调用论文编辑模型或复现Bedrock实验。
教学例子：工具权限或任务条件改变后，旧的passed不能无条件带入新一轮。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
VeriHarness 为什么除了消解分歧，还要主动挑战共识？
VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks
问答新增：2026-10-27 · Google Cloud AI Research
展开答案与例子
答案：多个回答一致仍可能共同缺证据或遗漏要求。disagreement resolver查证冲突claim，consensus challenger质疑共同claim与遗漏，两者配合证据工具和workspace，避免把一致性当正确性。
教学例子：三个Agent都引用同一条未经核验的说法，一致投票仍需要查证。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
多个验证者达成共识后，为什么还需要 consensus challenger？
VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks
问答新增：2026-10-27 · Google Cloud AI Research
展开答案与例子
答案：共同结论也可能来自共享错误或共同遗漏，只有处理显式分歧无法发现所有人都没检查的要求。challenger 主动质疑共识与缺口，resolver 则针对冲突取证，职责互补；支持与反驳应来自证据工具，而不是把赞同票数当作真值。
教学例子：例如三名审查者都只看页面截图，没人检查下载文件；challenger 可提出产物遗漏问题，即使原讨论完全没有分歧。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
VeriHarness 的证据支持评分，与简单多数投票有什么区别？
VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks
问答新增：2026-10-27 · Google Cloud AI Research
展开答案与例子
答案：投票统计意见数量，文档评分同时考虑支持证据、与共识相关的矛盾及claim数量惩罚。更多人同意或写更多claim都不自动增加可验证性；本地fixture checker也不是论文真实工具环境。
教学例子：一条有证据的精确结论，可能比十条共同重复却互相矛盾的断言更值得保留。
依据：核心公式、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
实现 VeriHarness 的 claim 数量惩罚时，为什么要保留 claim 拆分口径？
VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks
问答新增：2026-10-27 · Google Cloud AI Research
展开答案与例子
答案：score包含epsilon乘claim数，拆分或合并同一内容会改变惩罚。应同时保留支持、矛盾和claim计数，才能解释选择；不能把fixture判定器的输出宣传成已核验真实世界事实。
教学例子：一句话拆成三条断言后长度惩罚会变，比较候选时必须使用一致的拆分规则。
依据：核心公式、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
UserProxyBench 为什么把用户模拟器保真度与 Agent 任务奖励分开？
UserProxyBench: Evaluating LLM User Simulators for Agent Benchmarks and Training
问答新增：2026-10-27 · 原文未列机构
展开答案与例子
答案：模拟器可能提前泄露私有字段，让Agent少做信息收集却仍完成任务。独立UFS检查用户契约是否全部满足，避免把被简化任务上的高reward误认成真实交互能力。
教学例子：Agent还没问订单号，模拟用户就主动给出隐藏订单信息，任务成功也不能说明澄清能力充分。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么用户模拟器提前透露私有字段，可能提高任务成功却降低 UFS？
UserProxyBench: Evaluating LLM User Simulators for Agent Benchmarks and Training
问答新增：2026-10-27 · 原文未列机构
展开答案与例子
答案：Agent 原本应主动询问信息，模拟器抢先给出就绕过了被测的信息收集能力。UFS 单独检查每 episode 全部适用用户合同，而非复用任务回报，能暴露这种捷径；任务完成和用户扮演忠实是两条不同证据，不能只看成功率就认定模拟器好。
教学例子：例如 Agent 尚未问订单号，模拟用户已主动报出，退款容易成功；但评测不再检验 Agent 是否知道何时询问关键字段。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
UFS 的 all-criteria product 与逐条件平均通过率有什么区别？
UserProxyBench: Evaluating LLM User Simulators for Agent Benchmarks and Training
问答新增：2026-10-27 · 原文未列机构
展开答案与例子
答案：每个episode所有适用条件都通过才计1，一项失败就使该episode为0；逐条件平均允许其它通过项抵消关键违规，是另一种口径。最终仍须把UFS与任务reward分别报告。
教学例子：10项适用条件通过9项，逐项平均为90%，该episode的严格UFS仍为0。
依据：背景与主要改动、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
审计 premature disclosure 时，为什么必须保留 request 与 disclosure 时间顺序？
UserProxyBench: Evaluating LLM User Simulators for Agent Benchmarks and Training
问答新增：2026-10-27 · 原文未列机构
展开答案与例子
答案：是否过早披露取决于相关请求是否先发生，不能只看字段最后有没有出现。本地按公开交互事件与rubric判定，私有blueprint留在评测侧；未执行原文企业任务和闭源proxy矩阵。
教学例子：同一字段在被询问之后给出和之前给出，最终文本相同，保真判定却不同。
依据：背景与主要改动、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
选择性自动评测为什么允许一部分交给人工？
Certified Selective Automation of LLM Agent Evaluation
问答新增：2026-10-27 · Independent Researcher
展开答案与例子
答案：目标是在可证错误预算内自动处理可靠区域，而不是所有轨迹一律机器裁决。上置信界未达标时保留人工或其他评估，覆盖率与风险需一起报告。
教学例子：例如简单任务自动判，证据模糊的任务仍交审查，不能只报自动部分准确率。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么自动评分区域的错误证书要按任务簇 bootstrap，而非把所有轨迹当独立样本？
Certified Selective Automation of LLM Agent Evaluation
问答新增：2026-10-27 · Independent Researcher
展开答案与例子
答案：同任务多条轨迹共享难度与结构，独立抽样会低估相关性和不确定性。按簇重采样为自动判断区域建立错误率上界，只有低于预算才接管，其余保留人工或外部评估；低平均错误不等于任何阈值都可认证，证书还受校准分布与选择规则限制。
教学例子：例如一个任务生成一百条近似轨迹，不能当一百份独立成功证据压窄区间；应把这批一起作为任务簇处理。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
选择性评测用错误率上置信界，比仅用自动区域的经验错误率多控制什么？
Certified Selective Automation of LLM Agent Evaluation
问答新增：2026-10-27 · Independent Researcher
展开答案与例子
答案：经验错误率只总结已观察样本，上置信界还反映有限证据下的不确定性。只有界低于预算才自动接管，证据不足时即使暂时零错，也可能继续交人工。它控制的是选定自动区域的风险证据，不能承诺每条自动判断绝不出错。
教学例子：某小区域暂未发现错误，样本仍很少；经验值为零不代表错误上界已足够低，覆盖率不能据此随意扩大。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
本地bootstrap证书可以直接宣称论文语料覆盖率吗？
Certified Selective Automation of LLM Agent Evaluation
问答新增：2026-10-27 · Independent Researcher
展开答案与例子
答案：不能，mini-suite只验证聚类抽样和上界接管条件。任务身份、自动区域与错误标签应固定可追溯，置信上界而非点错误率需落在预算内才接管。
教学例子：例如样本错率低但上界仍高，不能提前宣布满足误判预算。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
Harness设计研究中的harness，具体包含模型之外的哪些决定？
An Empirical Study of Harness Design for Coding Agents
问答新增：2026-10-27 · University of Massachusetts Amherst
展开答案与例子
答案：它组织模型怎样计划、能使用什么动作空间，以及怎样管理上下文，再通过底层循环执行任务。这些是模型外的工作流程选择，不是替换一套模型权重。先识别可改动的harness组件，才能理解为何同一模型也会因执行方式不同而表现变化。
教学例子：同一编码模型可以一次只看到文件片段，也可以获得压缩后的多文件上下文；这属于harness设置变化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
固定底层执行循环后分别改 planning、action space 与 context，为什么更能解释 harness 收益？
An Empirical Study of Harness Design for Coding Agents
问答新增：2026-10-27 · University of Massachusetts Amherst
展开答案与例子
答案：完整框架对比常同时改变多个因素，无法判断涨分来自更多推理、易用动作还是更好状态管理。保持循环不变并单独控制组件，减少混杂，再分别看效果与成本；组件参考实现或统计合同并不等于已经运行原文大规模编码任务。
教学例子：例如只把文件编辑接口换成精确替换，其他提示与预算不变，才能更集中评价动作空间，而非把同时换模型的收益一起算入。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
规划更详细与工具动作空间更丰富为什么不能合成一个提升结论？
An Empirical Study of Harness Design for Coding Agents
问答新增：2026-10-27 · University of Massachusetts Amherst
展开答案与例子
答案：二者影响成本和行为的路径不同，组合变化无法说明各自贡献。需有受控因素对照，且交互效应可能存在，不能把一次组合收益全归某一组件。
教学例子：例如同时加计划和新工具后成功，尚不知道主要帮助来自哪里。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
本地可控harness因素是否等于跑完SWE-bench？
An Empirical Study of Harness Design for Coding Agents
问答新增：2026-10-27 · University of Massachusetts Amherst
展开答案与例子
答案：不是，当前mini-suite只验证因素与控制流。模型版本、预算和工具协议需固定，实际基准题和执行证据未运行就不能报告相应能力分数。
教学例子：例如模拟一个工具动作成功，不能换算成真实仓库修复成功率。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
FUSE是在训练一个社交Agent，还是在提供可核验的社会推理评测环境？
Verifiable Social Reasoning for LLM Assistants
问答新增：2026-10-27 · Google Research / Hebrew University of Jerusalem / University of Cambridge
展开答案与例子
答案：这里讨论的是评测：在多Agent模拟中设置可验证的隐藏动机，观察助手如何理解用户转述和社会情境。隐藏状态为评分提供依据，并不是直接交给受测助手的答案。实现评测模拟或本地核，也不意味着已经训练出更好的社会推理模型。
教学例子：模拟里知道甲的真实意图，助手只读用户转述后作判断；评测器随后核对，而非先把意图告诉助手。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
隐藏动机可验证的模拟，为什么比只看用户转述是否流畅更适合测社会推理？
Verifiable Social Reasoning for LLM Assistants
问答新增：2026-10-27 · Google Research / Hebrew University of Jerusalem / University of Cambridge
展开答案与例子
答案：转述可能带偏见或遗漏，流畅回应未必识别各方真实目标。模拟环境保留不向被测者公开的动机与事件条件，评分侧据此检查推断，而非用表面措辞一致度代替；隐藏参考只能给验证器，固定逻辑 fixture 也不能冒充多 Agent 的真实语义交互。
教学例子：例如用户把同事拒绝请求说成敌意，模拟真因可能是资源冲突；评测应看助手是否据可见证据区分，而非附和转述。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
framing bias评测与普通问答准确率有什么区别？
Verifiable Social Reasoning for LLM Assistants
问答新增：2026-10-27 · Google Research / Hebrew University of Jerusalem / University of Cambridge
展开答案与例子
答案：表述框架可能引导归因，即使事实相同；对照转述与隐藏状态可测社会判断偏移。模拟行为不是所有真人关系，不能从小状态机推广全面社交理解。
教学例子：例如把同一迟到描述为敷衍或遇堵，框架可能改变助手判断。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
fuse-evaluator本地执行了哪些边界，是否调用十二外部LLM？
Verifiable Social Reasoning for LLM Assistants
问答新增：2026-10-27 · Google Research / Hebrew University of Jerusalem / University of Cambridge
展开答案与例子
答案：只执行observation-safe评测状态机，未调用该外部模型矩阵。公开观察与私有动机分开投影，不能把包含gold字段的内部对象直接传给代理回调。
教学例子：例如评分器知道真实关系，不代表助手输入也能拿到这列。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
SiLR的shadow-execute是在真实执行出错后撤销动作吗？
SiLR: Structure-Preserving Admission and Process Reward for LLM Tool Agents
问答新增：2026-10-27 · Institute of Science Tokyo
展开答案与例子
答案：不是。它先在影子执行路径评估提案造成的状态，再由安全门决定是否进入真实环境。提案评估与真实副作用必须分开；若先真正执行再检查，就无法据同一门控声称阻止了违规动作，尤其是不能撤销的副作用。
教学例子：先模拟一项配置修改会触及哪些约束，再决定是否提交；不是实际改坏配置后才检查并尝试回滚。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
系统已违规时，为什么安全门不能把所有仍不完全安全的动作都拒绝？
SiLR: Structure-Preserving Admission and Process Reward for LLM Tool Agents
问答新增：2026-10-27 · Institute of Science Tokyo
展开答案与例子
答案：恢复可能需要经过尚有残余风险的中间状态，全拒绝会让系统被锁死。SiLR 先 shadow-execute，再要求每个受约束分支的严重度都不恶化，允许逐步改善；只看一个总分可能掩盖某分支变坏，shadow 结果也仍需对应真实执行合同。
教学例子：例如两个权限问题中先撤销一个，另一个暂时保留，整体尚未完全安全却是有效恢复；不能要求一步消除全部问题才允许动作。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
乘积序与把多个违规程度加成一分有什么差别？
SiLR: Structure-Preserving Admission and Process Reward for LLM Tool Agents
问答新增：2026-10-27 · Institute of Science Tokyo
展开答案与例子
答案：向量逐分支不恶化禁止用一处改善补偿另一处恶化，标量总分可能掩盖这种交换。约束结构必须保留，不能用某个权重总和声称等价安全门。
教学例子：例如省了存储却扩大权限，总分下降也不满足每分支都不恶化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
SiLR的shadow执行可以用不可靠模拟器替代真实效果吗？
SiLR: Structure-Preserving Admission and Process Reward for LLM Tool Agents
问答新增：2026-10-27 · Institute of Science Tokyo
展开答案与例子
答案：不能据此宣称安全，准入依赖确定且覆盖充分的验证器。先shadow再比较状态，再真实执行；未建真实simulator时，本地只验证结构化判据与过程信号。
教学例子：例如模拟没建模删除副作用，向量看似不变也可能遗漏真实风险。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
RedEvoAgent为什么把经验蒸馏成技能而非保存完整轨迹？
RedEvoAgent: Automatic Red-Teaming Agent with Experience-Driven Skill Evolution
问答新增：2026-10-27 · City University of Hong Kong
展开答案与例子
答案：长轨迹噪声和上下文成本高，抽象可读技能更利复用；工具归因只聚焦真正决定成败环节。抽象仍可能丢细节，技能需留出验证后晋级。
教学例子：例如从一次长排查中提炼先验证权限边界，而不整段复制所有无关尝试。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么经验技能晋级要在留出集优于 incumbent，而非只看原攻击轨迹成功？
RedEvoAgent: Automatic Red-Teaming Agent with Experience-Driven Skill Evolution
问答新增：2026-10-27 · City University of Hong Kong
展开答案与例子
答案：原轨迹只能证明一次情境有效，技能抽象可能过拟合措辞或误把无关工具当关键因素。留出比较检验复用价值，严格提升才替换现任，避免持续累加低质经验；可读技能与真实执行之间仍需验证，本地筛选器不能代替完整评测行为。
教学例子：例如一条审计经验只在某个样例有效，换同类新场景失效，就不应仅凭原日志成功把它升级为默认技能。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
RedEvoAgent只归因决定成败的工具，与给整条成功轨迹的所有工具记功有什么区别？
RedEvoAgent: Automatic Red-Teaming Agent with Experience-Driven Skill Evolution
问答新增：2026-10-27 · City University of Hong Kong
展开答案与例子
答案：整条轨迹成功不说明每次工具调用都有贡献，等额记功会把无关步骤也固化成技能。决定性归因尝试保留真正改变攻击结果的工具经验，减少技能库噪声。这里比较信用对象，不能把一次归因分数当成已识别的普遍因果规律。
教学例子：轨迹先查一份无关页面，后用关键工具触发结果；成功标签不应让前一次无关查询自动成为必需技能。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
RedEvoAgent本地是否已对真实产品执行红队攻击？
RedEvoAgent: Automatic Red-Teaming Agent with Experience-Driven Skill Evolution
问答新增：2026-10-27 · City University of Hong Kong
展开答案与例子
答案：没有，安全mini-suite只验证归因与技能更新控制流。公开产物回放不等于新外部攻击，技能来源、评估切分与替换证据需要记录，不把日志重放当真实执行。
教学例子：例如加载已有结果文件，只说明能读协议，不说明刚完成一次攻击。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
规范驱动测试里的Pre、Post和Sug分别是什么，测试建议能代替行为契约吗？
Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation
问答新增：2026-10-27 · Google
展开答案与例子
答案：Pre约束调用前应满足的条件，Post描述满足前提后应得到的行为，Sug提示怎样验证这些条件。建议不是函数契约本身；先把合法输入与预期结果写清，再标出已测和未测部分，才能判断生成测试遗漏了什么。
教学例子：排序函数的Pre可限制输入可比较，Post要求结果有序且元素不变，Sug再建议检查重复值和空列表。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
先写前后置条件再生成测试，为什么能暴露直接写单测时的覆盖盲点？
Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation
问答新增：2026-10-27 · Google
展开答案与例子
答案：规范把每个代码单元的输入限制与应保证行为显式列出，再标记已测未测条件，测试生成才有可检查的覆盖目标。它仍来源于读取源码与解释，不能自动保证规范忠实；论文自动比较没有人工修订，也不应把可选开发者步骤算成已执行条件。
教学例子：例如函数要求空输入返回空列表，规范可把它列为未测后置条件；直接模仿现有正常样例写测试可能一直漏掉边界。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
fixed-source输入与向测试生成器暴露历史bug有什么区别？
Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation
问答新增：2026-10-27 · Google
展开答案与例子
答案：原流程只读修复后源码和公开需求，buggy版本由私有评价器使用。给出旧补丁或bug位置会改变任务难度，不能当同协议测试发现能力。
教学例子：例如知道哪行曾经错过，可轻易定向写测试，却不是独立契约推导。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
编译失败或修改被测源码算成功检出bug吗？
Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation
问答新增：2026-10-27 · Google
展开答案与例子
答案：都不算。相同测试先在fixed编译通过，在buggy编译成功后出现真实断言失败才检出；非法文件修改使运行作废，审计需外部可信diff，不能信模型自报。
教学例子：例如故意写不存在API导致旧版编译错，不是有效回归测试。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
HarnessOpt-Bench允许优化器改哪些东西，是重新训练底层模型吗？
HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
问答新增：2026-10-27 · Scale AI
展开答案与例子
答案：搜索对象是prompt、工具、控制流与记忆等harness组件，评测关注在规定目标评估预算内改进这些组件的能力。不能把任意底层模型重训、增加隐藏训练数据也默认为同一搜索空间；候选版本与允许改动范围都应留痕。
教学例子：优化器可试不同上下文压缩策略并评估；若偷偷换更强底座，收益便不能全归于harness优化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么评测 harness 优化器要固定 target-evaluation 预算，而不只比较最终最高分？
HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
问答新增：2026-10-27 · Scale AI
展开答案与例子
答案：更多评测本身就提供更多搜索机会，不控预算会混淆优化能力与资源投入。隐藏测试隔离候选选择，可信环境及版本档案支持审计改了什么；报告相对收益还需注意基线尺度，不能把搜索反馈里见过的最佳候选成绩当最终未见表现。
教学例子：例如一套优化器试一千次、另一套只试十次，即便前者最后更高，也不能直接说明更会优化；应先匹配评测调用预算。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
开放搜索反馈与隐藏test为何必须分离？
HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
问答新增：2026-10-27 · Scale AI
展开答案与例子
答案：优化过程会利用可见反馈选版本，隐藏集用于最终泛化。若每次搜索都看test，就把基准变成调参集，得分提高不能解释为新任务能力。
教学例子：例如试几十版后按测试最高挑一版，会高估未见效果。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
本地候选注册能替代可信执行与版本审计吗？
HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
问答新增：2026-10-27 · Scale AI
展开答案与例子
答案：不能，需要真实预算计数、候选快照与隔离执行，未运行原模型或环境不能冒称benchmark成绩。相对提升公式在基线近零时需明确epsilon而非隐改分母。
教学例子：例如配置列表新增一个名字，不代表优化器已经实际改并测试它。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
FinanceGym的rubric分数3，是3%的成功率吗？
FinanceHarness: Autonomous Financial Deep Research Framework
问答新增：2026-10-27 · Google Cloud AI Research
展开答案与例子
答案：不是。单个rubric采用0到4的五级评分，3只是该尺度上的等级。题内先按四分满分归一，才能与其他题共同平均；分数解释仍取决于具体rubric。不要把原始等级、题目归一分和整体Outcome当成同一个量。
教学例子：教学用一题两个rubric分别3分和1分，题内归一分是(3+1)/(4×2)=0.5，不是4%或两题命中率。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
截止日后可核实的预测，为什么必须留在提交后的评测器而非给研究 Agent？
FinanceHarness: Autonomous Financial Deep Research Framework
问答新增：2026-10-27 · Google Cloud AI Research
展开答案与例子
答案：研究输入只能使用截止日前已可检索证据，未来材料若提前出现会把预测变成复述。thesis 与 rubric 也留在评分侧，分题归一后再平均以免题目条目数改变权重；时点泄漏使运行无效，不是随意记零或删行后继续汇总。
教学例子：例如报告预测下一季度趋势，后来公布的业绩只能在提交后核查，不能倒填进截止日前证据包让模型看似提前判断正确。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
逐题等权与把全部rubric混平均有什么差别？
FinanceHarness: Autonomous Financial Deep Research Framework
问答新增：2026-10-27 · Google Cloud AI Research
展开答案与例子
答案：每题rubric数不同，直接混平均让细项多的题占更多权重；先按题归一再平均保留题级比较。论文五级评分也不能自改为任意连续满分。
教学例子：例如十条标准的题不应自动比两条标准的题重要五倍。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
金融协议发现时点泄漏后能把该行计零继续报均分吗？
FinanceHarness: Autonomous Financial Deep Research Framework
问答新增：2026-10-27 · Google Cloud AI Research
展开答案与例子
答案：不能，运行应判无效而非静默删行或置零。文档publication_date必须不晚于cutoff，thesis、rubric与未来证据不可给Agent；这是评测时点协议而非投资建议。
教学例子：例如工具偶然搜出事后文章，不能假装只是模型答错了一题。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
OS-Shepherd在电脑任务里扮演操作Agent，还是判断轨迹成败的judge？
OSReward / OS-Shepherd
问答新增：2026-10-27 · The University of Hong Kong
展开答案与例子
答案：它是评估完整电脑操作轨迹是否成功的judge；执行点击、输入等动作的是受评操作Agent。OSReward提供人工验证任务与轨迹，用于检查这类奖励模型。先区分执行者与评分者，才能避免把judge识别成功的能力误称作自行完成任务。
教学例子：操作Agent尝试保存文件，judge根据轨迹判断是否真的保存；judge判对并不代表它执行过保存动作。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么普通 accuracy 会掩盖“几乎全判成功”的 reward model？
OSReward / OS-Shepherd
问答新增：2026-10-27 · The University of Hong Kong
展开答案与例子
答案：若成功样本占多数，宽松裁判把所有轨迹判成功也可能得到不错总准确率，却漏掉真实失败。分别报告 success recall、fail recall 及其均值能揭示两类能力；跨系统与困难子集还需真实验证标签，不能把几条接口诊断当开放 judge 的能力测量。
教学例子：例如九成样本成功，全判成功有九成 accuracy，但 fail recall 为零，balanced accuracy 只有一半，暴露对失败完全失明。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
judge看末五状态加文本历史，与只看最终截图有什么差别？
OSReward / OS-Shepherd
问答新增：2026-10-27 · The University of Hong Kong
展开答案与例子
答案：终态截图可能缺少过程和隐性任务条件，历史补证据；但更长输入也带噪声。规定观察协议不同，不能换成任意摘要后仍把分数与原表直接比。
教学例子：例如窗口最后打开不代表中间文件修改真的保存。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
OSReward本地是否训练了开放9B或35B视觉judge？
OSReward / OS-Shepherd
问答新增：2026-10-27 · The University of Hong Kong
展开答案与例子
答案：没有，也未下载官方截图轨迹，只实现评测契约。预测verdict与人工标签在评分端汇合，类分母为空应明示，不把自动填充值当真实balanced accuracy。
教学例子：例如一批没有失败任务，就无法从这批估出正常失败recall。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
AgentDebugX为什么保留不可变原始轨迹再叠诊断？
AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：失败定位需要完整事件顺序和证据，重写旧日志会掩盖真实行为。Detect、Attribute、Recover和Rerun分别产物可追溯，症状步骤不直接等于根因。
教学例子：例如工具报错发生在后一步，根因可能是前面传参错误。
依据：背景与主要改动、核心机制与评测边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么修复建议不能自动从导入日志重放任意外部工具？
AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：日志是观察资料，可能过时、缺权限或包含有副作用的调用；检测归因与授权执行应分开。不可变原轨迹上叠加假设和建议，真实重跑经人或 policy gate 后形成独立证据；诊断器若有参考答案等特权输入，也必须与无答案在线能力明确区分。
教学例子：例如日志里有删除临时目录命令，调试器不能仅因导入了它就重新执行；应先建议修复，再由有权限的运行流程决定。
依据：背景与主要改动、核心机制与评测边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
Who&When提供reference answer意味着怎样的比较边界？
AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：该诊断条件允许任务答案但不提供责任Agent或步骤，是with-ground-truth定位协议。不能省略答案特权后宣称它是无答案在线智能体能力对比。
教学例子：例如知道目标结果有助发现偏离，但仍不等于知道谁最先犯错。
依据：背景与主要改动、核心机制与评测边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
AgentDebugX生成修复建议后能自动重放日志工具吗？
AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：不能，实际重跑经过人或policy gate，不能从导入日志擅自执行任意外部命令。闭环结果需修后独立轨迹真实评分；memory或Error Hub收益未被原文评估。
教学例子：例如日志含删除命令，诊断器可以建议修正，不应直接再次运行。
依据：背景与主要改动、核心机制与评测边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
LogAct为什么把投票提交与执行分开？
LogAct: Enabling Agentic Reliability via Shared Logs
问答新增：2026-10-27 · Meta
展开答案与例子
答案：意图、审查与commit持久记录后才允许执行，让授权判断与外部副作用解耦，并可审计崩溃状态。对话里说同意不等于已有可信持久commit。
教学例子：例如先写入批准结果，再让执行器调用支付接口。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
动作已在共享日志 commit，崩溃后为什么仍不能无条件再次执行？
LogAct: Enabling Agentic Reliability via Shared Logs
问答新增：2026-10-27 · Meta
展开答案与例子
答案：日志提交说明批准意图，不一定能确定外部副作用是否已经发生；崩溃可能出现在调用成功但回执未写入之间。恢复需幂等键或事务契约区分未执行与已执行，独立投票也只控制批准过程，不能凭对话记录保证外部 exactly-once。
教学例子：例如付款调用成功后进程崩溃，日志没有结果；直接重放可能重复扣款，应依赖幂等或事务查询，而非只看 commit 状态。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
LogAct的k-of-N批准，与必须等所有投票返回后才能决定有什么区别？
LogAct: Enabling Agentic Reliability via Shared Logs
问答新增：2026-10-27 · Meta
展开答案与例子
答案：本地固定批准条件允许达到k票即提交；若已批准数加未投票数仍不足k，则可提前拒绝。它不必等待无力改变结果的剩余票，且同一Voter不能重复计票。这是固定阈值下的决策性质，不代表已实现所有动态审批策略。
教学例子：三位Voter要求两票，前两票都批准即可提交；前两票都拒绝时，最后一票也无法凑足两票。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
本地LogAct的quorum和崩溃恢复怎样处理？
LogAct: Enabling Agentic Reliability via Shared Logs
问答新增：2026-10-27 · Meta
展开答案与例子
答案：固定N命名voter至少k同意，同voter去重且不可改票；started无Result默认不重试。仅明确幂等并显式recover、排除仍活跃执行器后才用稳定key恢复，不支持任意动态策略语言。
教学例子：例如两次同人投票不能当两票，已提交也不意味着未知副作用可随意再做。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
TFRBench为什么同时验数值误差与推理一致性？
TFRBench: A Reasoning Benchmark for Evaluating Forecasting Systems
问答新增：2026-10-27 · Google Cloud AI Research / University of Kentucky
展开答案与例子
答案：预测接近可能靠偶然，解释流畅也可能预测错，参考轨迹需两条都合格。构建时用标签筛选与反馈，因此参考制作过程不能直接算留出能力成绩。
教学例子：例如碰巧猜中趋势却无证据，与有根据但数值偏差大，均不完整合格。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
长推理轨迹达到参考门槛，为什么摘要还要单独预测并再次过门？
TFRBench: A Reasoning Benchmark for Evaluating Forecasting Systems
问答新增：2026-10-27 · Google Cloud AI Research / University of Kentucky
展开答案与例子
答案：摘要可能省掉决定预测的关键证据或条件，不能继承原轨迹的正确性。数值误差与推理一致性共同约束参考，且标签参与筛选只说明构建质量，不是留出能力成绩；历史尺度为零时指标未定义，应拒绝而非加任意 epsilon 制造良好结果。
教学例子：例如长轨迹解释季节变化并预测正确，摘要只剩“趋势向上”后重新预测可能失准，需要独立验证压缩是否保留了依据。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
TFRBench的MASE与直接比较不同序列的MAE，尺度解释有什么区别？
TFRBench: A Reasoning Benchmark for Evaluating Forecasting Systems
问答新增：2026-10-27 · Google Cloud AI Research / University of Kentucky
展开答案与例子
答案：MASE用历史季节差分的平均绝对变化归一化预测误差，使门槛相对于该序列的历史尺度定义。原始MAE仍带各序列单位，不能直接跨量纲比较。MASE小于一是数值准入条件，还需独立的一致性门槛；历史尺度为零时公式未定义。
教学例子：同样差10，在高波动销量和近乎恒定温度里含义不同；先按各自历史季节变化归一，才有规定尺度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
TFRBench历史季节尺度为零时能加epsilon给高分吗？
TFRBench: A Reasoning Benchmark for Evaluating Forecasting Systems
问答新增：2026-10-27 · Google Cloud AI Research / University of Kentucky
展开答案与例子
答案：不能，MASE未定义应拒绝该样本；参考准入严格MASE小于一且S至少四。复合排序权重需显式，本地策略不是作者唯一指定公式，未来真值只给评分器。
教学例子：例如常量历史无差分尺度，不能人为造一个分母再声称正常误差可比。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
ConvApparel的PLSA是在训练同名主题模型吗？
ConvApparel: A Benchmark Dataset and Validation Framework for User Simulators in Conversational Recommenders
问答新增：2026-10-27 · Google
展开答案与例子
答案：不是。此处PLSA全称为Population-Level Statistical Alignment，检查模拟人群与真人的行为分布是否接近；本地统计核使用KS距离与带并列处理的MWU。它比较群体分布，不会逐条证明每段模拟对话都是真实的人类行为。
教学例子：比较真人与模拟者的对话轮数分布，是群体行为对齐检查，并非从购物文本学习若干隐含主题。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么模拟购物目标成功，并不能证明用户模拟器像真人？
ConvApparel: A Benchmark Dataset and Validation Framework for User Simulators in Conversational Recommenders
问答新增：2026-10-27 · Google
展开答案与例子
答案：任务成功只反映与当前推荐策略配合完成目标，模拟器可能语气、行为分布或响应规律都不真实。群体统计、训练过的真假判别与跨策略反事实分别检查不同维度，互相不能替代；HLS 是判别器真人概率，不是购物成功率或人类真实认可。
教学例子：例如模拟用户每次立刻接受第一款商品，目标完成很快，却不像真人反复比较；换另一推荐策略时还可能完全失效。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
ConvApparel跨推荐策略验证，与在生成模拟数据的同一策略下验证有什么区别？
ConvApparel: A Benchmark Dataset and Validation Framework for User Simulators in Conversational Recommenders
问答新增：2026-10-27 · Google
展开答案与例子
答案：同策略验证可能只说明模拟器适应了熟悉的交互环境；跨策略把在一种策略下训练的模拟器放到另一策略，观察行为规律能否迁移。它补充分布相似和真假判别证据，但仍不是对所有真实部署策略的泛化保证。
教学例子：只在偏热门的推荐器下训练模拟器，再放到偏探索的推荐器中，检查它是否仍呈现合理购物反应。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
PLSA在这里是主题模型吗，本地统计如何留痕？
ConvApparel: A Benchmark Dataset and Validation Framework for User Simulators in Conversational Recommenders
问答新增：2026-10-27 · Google
展开答案与例子
答案：不是，是Population-Level Statistical Alignment。本地小样本精确置换，大样本定种子加一修正Monte Carlo，是明示选择；HLS判别器应独立训练验证，不能用金标回填预测。
教学例子：例如KS距离计算通过，只证明统计核，不证明模拟器已和真人一致。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
CausalArmor为什么在高权限动作前比较用户与工具归因？
CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution
问答新增：2026-10-27 · Google Cloud AI Research
展开答案与例子
答案：不可信工具内容可能支配提案，留一消融测同一动作似然变化，工具归因超过用户时选择性清洗并重新提案。它是干预前诊断，不直接执行原动作。
教学例子：例如网页文字诱导删除文件，原用户并没要求该操作。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
去掉不可信工具段后动作似然下降，为什么还不能直接称作因果安全证明？
CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution
问答新增：2026-10-27 · Google Cloud AI Research
展开答案与例子
答案：留一消融是操作性归因，表明该段影响同一动作概率，但删除也可能改变上下文结构或移走合法证据。方法与用户请求归因比较，只清洗命中段，再遮蔽受污染后续并重新提案；阈值方向与重算流程需保持原义，单个低用户归因不是攻击结论。
教学例子：例如网页某段既含必要数值也含可疑指令，删段使动作概率下降不全是恶意影响；还需比较来源与具体动作的关系。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
CausalArmor定点清洗命中工具段，与把全部工具结果删空有何不同？
CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution
问答新增：2026-10-27 · Google Cloud AI Research
展开答案与例子
答案：定点方案保留未命中的信息，只清洗被标记段，并遮蔽首个命中点之后可能已受影响的assistant内容再提案。全删会连合法证据一起丢失，改变可用上下文。清洗后仍需重新评估提案，不能认为删过文本就自动得到安全动作。
教学例子：检索结果一段夹带指令时，清洗该段并撤去之后受其影响的草稿；其余正常检索证据可继续保留。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
CausalArmor缺少sanitizer或重新提案回调时怎么办？
CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution
问答新增：2026-10-27 · Google Cloud AI Research
展开答案与例子
答案：扣留动作并标intervention_required，不伪造清洗或重跑；命中后遮蔽首点之后assistant内容。τ增大标更多段，负号不可写反，最终动作仍须正常授权执行。
教学例子：例如没有真实清洗器时不能删个字符串就宣称防护闭环成功。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
AIRS-Bench要求研究Agent交付一段方法建议就够了吗？
AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents
问答新增：2026-10-27 · FAIR at Meta / University of Oxford
展开答案与例子
答案：不够。任务要求从问题、数据集与指标出发，提出方法、实现训练、分析实验并修订，考查端到端研究过程。Agent、搜索scaffold与执行harness是不同层，不能把一段听起来合理的研究计划当成已完成实验或任务结果。
教学例子：提出“换一种损失”只是起点；还需实际实现、运行并根据允许的实验反馈决定是否修订。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么只给问题、数据与指标，而不直接给基线解法，更能测研究 Agent？
AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents
问答新增：2026-10-27 · FAIR at Meta / University of Oxford
展开答案与例子
答案：研究过程包括提出方法、实现训练、分析实验和修订，给出完整基线方案会缩小自主设计部分。协议还要区分 Agent、搜索 scaffold 与运行 harness，避免把外层树搜索收益全归模型；任务上人工 SOTA 是参照，不是行动者可偷读的答案脚本。
教学例子：例如给分类数据与评分规则，让 Agent 自己决定模型和实验；若已提供最佳训练代码，评测更接近执行脚本而非研究设计。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
顺序MLGym与树搜索AIRA-dojo比较为什么需固定预算？
AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents
问答新增：2026-10-27 · FAIR at Meta / University of Oxford
展开答案与例子
答案：搜索组织影响试错覆盖和成本，无限树分支可消耗更多评估。固定资源和标签隔离才能评估scaffold差异，任务指标不同也不能直接相加成统一分数。
教学例子：例如多跑十倍候选得到更好模型，不应全部归因于搜索方法本身。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
AIRS-Bench评测脚本可见意味着test标签也可读吗？
AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents
问答新增：2026-10-27 · FAIR at Meta / University of Oxford
展开答案与例子
答案：不意味着，提交预测后由隔离test评分，候选选择只用允许验证反馈。原文部分任务超过SOTA不是本地成绩，未执行完整研究训练不能报告已复现。
教学例子：例如知道评分函数是准确率，不代表可以读取每个测试样本正确类。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
LifeAgentBench的长期生活记录，为什么不只是对一条事件做分类？
LifeAgentBench: Benchmarking LLMs for Long-Horizon, Cross-Dimensional Lifestyle Health Reasoning
问答新增：2026-10-27 · University of California San Diego
展开答案与例子
答案：任务在饮食、睡眠、活动和情绪等记录上提出跨时间窗口、跨维度或跨用户的问题，通常要先取齐有关证据再计算或比较。输入中的一条记录不足以代表整个问题，记录筛选与统计的范围就是答案条件的一部分。
教学例子：比较某周活动与睡眠的关系，需要同一用户该周两类记录；读到一天步数便直接答复会漏掉证据。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
SQL scorer 能算出确定答案，为什么不等于已实现 LifeAgent 的工具推理？
LifeAgentBench: Benchmarking LLMs for Long-Horizon, Cross-Dimensional Lifestyle Health Reasoning
问答新增：2026-10-27 · University of California San Diego
展开答案与例子
答案：scorer 持有规则与记录来验证最终答案，不承担分解问题、检索证据、维护中间统计和修订计划。基准与工具基线的职责不同，不能让行动者直接读参考计算或把通过字段检查当成长期健康记录推理；这里只说明数据任务协议，不提供健康决策建议。
教学例子：例如验证器能计算一周平均睡眠，Agent 仍须自己选时间窗、查询记录并核对缺失项；调用参考答案函数会绕过这些步骤。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
SQL可执行、证据完整与最终正确有什么区别？
LifeAgentBench: Benchmarking LLMs for Long-Horizon, Cross-Dimensional Lifestyle Health Reasoning
问答新增：2026-10-27 · University of California San Diego
展开答案与例子
答案：可执行只说明语法和运行，EX在其分母上查证据完整，Acc|EX再看完整证据条件的答案。混用分母会掩盖推理或检索问题。
教学例子：例如查询能跑但少筛了一位用户，仍未取全所需证据。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
只读SQL与Context Prompting怎样隔离gold？
LifeAgentBench: Benchmarking LLMs for Long-Horizon, Cross-Dimensional Lifestyle Health Reasoning
问答新增：2026-10-27 · University of California San Diego
展开答案与例子
答案：前者模型先生成允许查询，执行结果再回给模型；后者先按用户筛公开证据，金标都在评分端。数字按规定分段容差，多项需同项数匹配，不能改substring凑通过。
教学例子：例如回答包含正确词但还多列错误项，不应因子串命中就算全对。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
CoReflect里的planner、simulator、evaluator、analyzer分别产生什么？
CoReflect: A Reflective Co-Evolution Framework for Improving Conversational Evaluation
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：planner组织模拟任务，simulator形成对话交互，evaluator按当前标准评价，analyzer从评价与反馈中提炼反思，再影响下一轮任务和标准。这些是语义模型职责，不是四个JSON字段；本地未用手写规则假冒这些核心模块。
教学例子：某轮对话暴露评判标准含糊，analyzer提炼问题，后续再调整rubric并规划能检验该问题的新情境。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
为什么只更新 rubric 字符串或对给定分数求均值，不能复现 CoReflect 的反思共演化？
CoReflect: A Reflective Co-Evolution Framework for Improving Conversational Evaluation
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：核心需要语义 planner 生成情境、simulator 产生对话、evaluator 评价，再由 analyzer 依据理由发现不足并同时改任务与准则。机械状态转移只实现外壳，没有这些语义判断与真实交互证据；原方法公式用于解释流程，不能被当成本地模块已运行。
教学例子：例如分析器应发现某类同理心评价遗漏再产生新情境，手工把权重从一改成二并不会自动获得这类语义反思能力。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
CoReflect的persona-scenario一致性检查，与仅保证样本JSON格式合法有什么区别？
CoReflect: A Reflective Co-Evolution Framework for Improving Conversational Evaluation
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：格式合法只保证字段可读，不能证明人物设定与情境在语义上相容。原文保留经过真实LLM一致性检查的persona-scenario；该筛选是任务质量的一部分。合法状态机或人为打分并不能补上缺失的语义检查与反思模型。
教学例子：字段齐全却把人物设为“无法上网”又要求其刚完成网络预约，JSON仍合法，语义一致性却需要核验。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
CoReflect本地是否实现953场景和完整语义模块？
CoReflect: A Reflective Co-Evolution Framework for Improving Conversational Evaluation
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：没有，目前文献收录，不强造低成本heuristic adapter。JSON状态机或对给定数字求均值不能代替真实LLM检查与对话生成，公式只解释原方法。
教学例子：例如循环次数增加不能证明评价器真的学会新判断维度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
SOPBench里的服务约束图，节点是在记录聊天步骤，还是规定服务前要验证什么？
SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints
问答新增：2026-10-27 · University of California, Santa Barbara
展开答案与例子
答案：它把服务连接到约束，再把约束连接到可执行的helper验证；结构表达服务何时被允许以及需要哪些前置检查，不是按聊天轮数排列的摘要。先找到服务依赖的约束，才能知道Agent该验证什么，而非只看最后回复是否顺畅。
教学例子：某项服务要求先核验资格，图中应能沿服务找到资格约束和对应helper，而不是只出现一句“我已检查”。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
数据库最终状态正确，为什么仍可能在 SOPBench 判失败？
SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints
问答新增：2026-10-27 · University of California, Santa Barbara
展开答案与例子
答案：服务还需被允许，必要 helper 验证也要实际且按规定顺序发生。And、Or 与 Chain 表达不同前提逻辑，不能仅凭猜中结果绕过流程；完整通过要求资格、数据库与程序共同成立，把三者合并成最终状态检查会遗漏协议遵循能力。
教学例子：例如退款金额碰巧正确，但 Agent 没先验证订单资格，仍违反 SOP；Chain 要求先查资格再操作，事后补查不能抵消。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
And、Or与Chain约束对验证顺序有什么不同？
SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints
问答新增：2026-10-27 · University of California, Santa Barbara
展开答案与例子
答案：And要求各条件但不强制子次序，Or允许已验真分支，Chain要求前后顺序。把三者统一为无序集合会放过先执行后检查等流程违规。
教学例子：例如身份核验后才可转账，是Chain，而非事后补验证也能凑齐。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
SOPBench helper调用记录能由Agent自报替代吗？
SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints
问答新增：2026-10-27 · University of California, Santa Barbara
展开答案与例子
答案：不能，procedure_complete需可信执行轨迹，验证必须真实发生且时序满足图。gold状态只供评分，不向代理泄露；当前协议组件不等于完整生产服务Agent能力。
教学例子：例如回答我已验证不代表日志里真的有有效helper调用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
基础理解
GAIA每题的提交对象是完整推理长文，还是可核对的最终短答案？
GAIA
问答新增：2026-10-27 · Meta AI
展开答案与例子
答案：评分对象是最终答案，经规定的规范化后与金标精确比较；完成题目仍可能需要浏览网页、读图与调用工具。先区分求解过程与提交格式，才能理解为什么写了很多合理步骤也未必获得最终命中，格式失败也不能掩盖为推理成功。
教学例子：题目要求一个人名时，提交应给可核对的人名；大段搜索过程里没有明确最终答案，不能自动算命中。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
核心机制
精确短答案为什么仍能考查多工具推理，而不只是记忆问答？
GAIA
问答新增：2026-10-27 · Meta AI
展开答案与例子
答案：简短输出只是评分接口，得到答案可能需要浏览、多模态理解、计算与跨来源核对。规范化匹配把终点判断变得明确，却不显示中间证据质量，也不能独立解释失败来自哪一步；答对率需与真实执行轨迹区分，参考短答案不能提前进 Agent 提示。
教学例子：例如最终只输出一个年份，但需要先从图片识别人名，再浏览资料查事件并核对时间；短输出并不代表求解过程简单。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
方法对比
GAIA的规范化精确匹配，与让模型裁判按语义给分有何区别？
GAIA
问答新增：2026-10-27 · Meta AI
展开答案与例子
答案：前者按固定规范化后的答案相等关系计算命中，后者需要额外裁判判断表达是否等义。两种评分器的容错与偏差不同，不能未经说明用语义裁判放宽匹配后仍报告同一GAIA分数。规范化也应是预先固定规则，而非看到金标后临时改写预测。
教学例子：一种规则只处理允许的表面形式差异；若另请模型把一段模糊描述判为等义，就是更换了验收器。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
Agent / 评测与可靠性：如何知道真的做对了
实现细节
GAIA normalize能否在看gold后任意放宽？
GAIA
问答新增：2026-10-27 · Meta AI
展开答案与例子
答案：不能，应固定允许的规范化和题集合，gold只在评分器出现。当前本地只验证接口或协议，没有完整真实网页和多模态任务运行，不能报告原基准成绩。
教学例子：例如仅因错答案含正确子串就改匹配规则，会改变评测定义。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接