跳转至

Read this page in English

固定 8 条 validation 的 7B 负结果诊断

2026-10-14,固定 Qwen2.5-7B-Instruct revision bb46c15ee4bb56c5b63245ef50fd7637234d6f75 在真实 NVIDIA A100 上执行 seed42 的 question-only 格式探针。算法源为 0f5dca9f,独立 probe 源为 d8603f65;原预算为 600 秒硬限、最多 240 calls、每次 256 tokens、8 个工具动作、top-k3。只使用预先固定的 validation IDs 13/1/4/6/23/21/14/15,无 gold/scorer,未使用 16 个 evaluation ID。

实际用时 596.9424 秒、210 calls、29194 generated tokens,8/8 调用流程结束;但这不代表核心链路通过。PSG/HSR 实际进入 7/8 题,真实 CSI 与 gallery load 各2次,工具动作0次,提交答案0次。保留为 negative validation diagnostic,无 passed receipt,不可 promotion,不构成模型能力比较。

完整指标、来源及逐题分类见 sanitized negative artifact,绑定的 final raw、partial raw、210次实际调用 trace 与 CPU逐条分类 均为原文件逐字拷贝,SHA256 保留在 artifact 中。这里的模型响应不是 gold answer。

失败分类

validation ID calls / tokens runtime调用 JSON缺失/非法 CSI行序/缺行 非法decision 空字段 正常load后再询问
13 1 / 208 0 PSG JSON语法错 0 0 0 0
1 30 / 4309 24 5 18 1 0 0
4 30 / 4153 24 0 13 8 2 1
6 30 / 3353 24 7 9 7 0 1
23 30 / 3920 24 0 4 14 6 0
21 30 / 3939 24 0 4 18 2 0
14 30 / 5194 24 0 12 12 0 0
15 29 / 4118 24 0 19 5 0 0

分类按原执行顺序互斥归因:168次 runtime CSI 中,12次无合法action JSON、79次标签行序/缺行、65次非法DECISION首词、10次空字段、2次实际load。7题都用尽原24次runtime调用,不是正常finish结束。

ID4 在全局call51加载rates后,call52–61是5次缺行与5次非法decision;ID6在call90加载arithmetic,call91为 DECISION: Load the arithmetic skill.,被原enum gate拒绝。所有11次load后响应均低于256个可见tokens,不能归因为截断。最长输入822tokens,低于原2048context上限。41个响应可见长度达到256(33个pseudo guidance、8个CSI);原trace没有逐次token IDs/stop reason,因此不补造单次停止标记。

提示契约不足与解析失败必须分开

原固定源 algorithm.py 的126–131行只要求五个标签并提MATCH/PARTIAL_MATCH,没有明确五个非空 LABEL: value 行,也没有完整列出解析器接受的四个DECISION首词。134–146行解析器则严格要求顺序、冒号、非空值及 MATCH/PARTIAL_MATCH/NO_MATCH/NO_CAPABILITY_GAP。这是提示契约欠明确,未确认parser bug。

两个完整五行与合法action JSON却违反enum的实例:ID4/call54使用 DECISION: Use the rates skill to calculate the reduced hourly wage.;ID6/call91使用 DECISION: Load the arithmetic skill.。另两个包含合法 DECISION: MATCH 的实例(ID4/call55、ID15/call196)拥有合法calculator JSON,却缺第5个NEXT行;这里JSON解析通过,拒绝来自CSI行协议,不能误称“合法action被JSON误拒绝”。实际没有完整合法CSI却被action JSON解析拒绝的响应。

首次load后再询问是原 execute_agent 的显式流程,不是丢失动作:模型必须先看到真实gallery body,然后生成fresh action。环境每次step都计动作,finish同样计动作;因此0动作/answer=null证明没有到达实际工具入口。没有实际unknown-tool执行,也没有工具RuntimeError。

随后仅对提示文本补清非空冒号行、完整enum和JSON位置;parser、枚举、PSG/HSR/CSI算法、自动纠正/fallback、gold角色、评价IDs与预算均不改变。占位模板不填任务答案或技能判断。CPU fixture 验证严格拒绝保持、load后fresh calculator/finish入口可用;fixture不是模型能力证据。后续701f/5c07的独立同预算测量另见 核心执行但零提交;本负结果仍绑定原0f/d860源,不能重标为澄清后结果。 原0.5B三seed失败也继续保留。