跳转至

Read this page in English

SGUID 扩展训练预注册(2026-10-11)

状态:执行前固定的方案;两轮实际执行已完成。下列预算和验收条件保持预注册原值;测得结果另列于文末,不修改协议以适配结果。旧两次失败与其来源提交、指标和文档保持不变,不将失败改写为通过。

数据、模型与固定顺序

使用已缓存的公开 Qwen/Qwen3.5-9B,固定 revision c202236235762e1c871ad0ccb60c8ee5ba337b9a,从原 checkpoint 重新建立零输出 LoRA,不从此前失败运行或其第一轮结果续训,seed 固定 42,不换 seed 寻找通过结果。

数据仅来自 openai/grade-school-math 的官方 train,固定 revision 3101c7d5072418e28b9008a6636bde82a006892c。沿用已核验的确定性 train/validation 切分和文件顺序:train 前 200 题;每轮 candidate 从 train 前 32 题的当前学生轨迹产生。不得按错误率、技能活动或验证准确率挑题。validation 固定前 4 题,只做外部评分;官方 test 不读取。训练答案仅供外部验证器与离线技能生成,学生、检索和验证输入不包含答案。

两轮固定预算

项目 固定值
训练问题 200
每轮候选技能生成尝试 32
每轮 probe 更新尝试 200
每轮 compact 更新尝试 32
学生训练响应上限 1024 token
技能生成上限 256 token
独立 validation 响应上限 3072 token
validation 问题数 4
检索技能上限 6
两轮保留技能上限 K 6 / 3
gate κ / support clip / rate decay τ 0.05 / 3 / 5
晚期正活动门槛 h 2
AdamW 学习率 / weight decay 5e-6 / 0
梯度范数上限 / LoRA rank 0.1 / 8
seed / co-evolution 轮数 42 / 2

独立 --evaluation-max-tokens 3072 仅用于 baseline/final validation,不改变训练、技能生成、检索、筛选或后续预算。baseline 与 final 使用同一固定 token 上限;不根据 validation 结果改预算、挑 checkpoint 或追加运行。省略该参数或传入 None 的代码调用保持旧共享 --max-tokens 行为;旧记录缺失该字段也按旧预算解释,不回填新的上限。

若两轮筛选与 compact 都完成,共有 464 次优化更新尝试(400 probe + 64 compact),但实际更新次数由有限非零梯度决定,零梯度不推进优化器。另有 64 次技能来源 rollout、64 次技能生成和 8 次 validation 生成。候选解析失败、重复或未达到筛选门槛时不补手写技能,真实数量可能更少;不承诺本次一定通过或承诺耗时。

统计窗口、验收与复现边界

延续现有 L1 实现的明确窗口:200 步 probe 的前 100 为 early,后 100 为 late。原论文表 5记为 75/100(R1),且原 h=10、LoRA all-linear rank64、200 步训练、DAPO-Math-17K / AIME-HMMT 协议;本次 不是原论文完整配置复现。检索最多 6 个技能也沿用现实现,第二轮 probe 不暗称等于原表的 3 个 teacher;compact 至多使用已选的 3 个技能。

另有明确差异:Qwen3.5 混合文本网络而非原 Qwen3;视觉冻结且不使用,q/v LoRA 只覆盖文本 full-attention 层;当前 LM hidden-state cosine 不是原 embedding checkpoint;完整词表 signed forward KL 是论文概括式允许的 divergence,不是原 SGSD bounded discrepancy。负系数保留,其目标不具有原 bounded 配置的稳定性保证;梯度与有限数检查不能冒充原论文能力结果。

验收不变:真实当前学生产生技能;live 同权重、no-grad 技能教师对齐评分学生响应;系数符号和 gate 不改;只有 c>0 计正活动,严格执行 AE>0、AL≥2、QL≥QE/5 并按 AL/QL 排序。probe 后精确恢复 θr、重建优化器,再 compact 蒸馏;更新后重新生成下一轮候选库。两个 round 必须真正 completed 且有非零有限梯度和参数位移,来源 SHA 与冻结提交一致,才能产生通过的机制回执。任一轮无 eligible 或异常,明确失败、保留轨迹并不声称两轮完成。

EOS 与截断单独报告;4 题 validation 无论正负都保留。即使两轮成功,也只能标为 L1 有界机制执行,不能据单 seed、4 题或较高输出预算宣称论文 benchmark 收益。

可替换路径的固定命令

PYTHONPATH=src python scripts/run_sguid_checkpoint.py \
  --checkpoint-path checkpoints/qwen3.5-9b \
  --checkpoint-id Qwen/Qwen3.5-9B \
  --checkpoint-revision c202236235762e1c871ad0ccb60c8ee5ba337b9a \
  --train-path data/gsm8k-holdout/train.jsonl \
  --validation-path data/gsm8k-holdout/validation.jsonl \
  --split-manifest data/gsm8k-holdout/split.json \
  --dataset-revision 3101c7d5072418e28b9008a6636bde82a006892c \
  --training-examples 200 --validation-examples 4 --rounds 2 \
  --candidate-count 32 --retrieve-count 6 --late-minimum 2 \
  --probe-steps 200 --internalization-steps 32 \
  --max-tokens 1024 --skill-tokens 256 --evaluation-max-tokens 3072 \
  --seed 42 --device cuda --output runs/sguid-expanded-seed42.json

此命令需要真实 NVIDIA GPU;预注册和 CPU wiring 测试不构成完成回执。新运行保存到独立文件,不覆盖原失败结果。

执行后的测得结果(2026-10-12 核验)

实际执行源码为预注册后的冻结提交 319008f69ac6224ad0a2dfe3146d551c1999f5e3。两轮各 200 probe / 32 compact 全部完成,464 次有限非零梯度更新;候选分别 32 个,按原门槛筛选 6/3 个。每轮探测后精确恢复初始权重,再重新建立优化器训练;第二轮从第一轮更新后的策略重新产技能。

固定 4 题 baseline/final validation 的 EM 为 0.75 / 0.25,EOS 完成均 2 题、截断均 2 题。这是负结果,不是收益;单 seed、4 题及截断使它不能构成正式能力比较。稳定指标与通过的机制回执明确保留 diagnostic_only=true、capability_passed=false,旧失败记录未改写。