跳转至

Read this page in English

Google EMNLP 历史25条:逐篇核查与低成本组件

本轮严格覆盖用户批准的 25条历史线索,不把会议收录、首次发现或revision日期当作新首发。结论为 14项独立L1组件、8篇高成本完整实验不复现、3篇不接收;原会议页另外4条链接例外不在这25条里,没有冒称一并全文审结。

完整方法、精确v1UTC、一作首机构、Google合作证据、原作者代码固定版本/许可证、成本依据与决定保留在逐篇审查和固定范围/验收状态。保留最初元数据快照,不改写当时尚未审查的历史记录。

14项低成本组件

这些入口执行真实的数值算子、梯度或离线协议,不是14个完整大模型/Agent。真实SAE、模型输出、teacher scores、verifier和环境等外部输入不能用启发式伪装。所有组件均为 L1 / diagnostic_only,不作正式能力对比,也不进入Evolve晋级。

论文 / 组件 已实现的精确范围 未实现的完整路径
SCAR 小博弈精确Shapley、signed credit、span末尾奖励和alpha插值 无真实RM评分、语法分段、Owen近似或RLHF训练
概率autorater 分段Brier/clip-log奖励与失败解析惩罚 不训练文本autorater,数值梯度不等于对文本解析反传
RM记忆协议 逐run概率的TM/TG/CM及user级切分一致性 不生成25个RM,不以合成分数宣称模型记忆能力
Benchmark self-bias 逐segment排名、leave-self-out自偏与显式方向/tie约定 不运行翻译/LLM judge,不把peer consensus当绝对真值
DMAST 攻击模式隔离、共享role原始组统计、长度罚与clipped GRPO/IS/KL 不含浏览器、攻击器生成、多阶段SFT或真实自博弈
SOPBench协议 Single/And/Or/Chain过程检查与三项联合验收 只做轨迹后评分,不重建七域工具或Agent
FinanceHarness协议 PIT search/read双重日期门、失效run拒绝、逐题等权rubric 不含私有语料、检索ranker、judge或金融研究智能
Cue2Narrate DRL masked SFT与当前policy正负caption排序loss 不含定位器、电影数据、负caption生成或VLM训练
POLARIS HRI policy-only统计、human-reference warmup及共同clipped surrogate 不含人类版权故事、LLM rubric judge或9B训练
TaskPress task attention×value量化scale、逐head topk、实际KV gather及原位置 不含task-guide生成/演化、GQA策略或量化内核/速度结论
组合水印 pattern logit bias、cyclic匹配、global/local编辑分数 不含secret分区生成、真实LLM输出或正式FPR校准
插值null校准 对齐三pass分数的插值校准、端点与排序 不含attention提取器或真实检索能力比较;权重仅可validation选择
XLGoBench 五类算法题结构生成、exact scorer和gold隔离的callback 不含官方七语模板、人工翻译验证或LLM能力结果
Mechanistic ETM 冻结SAE encoder的Binomial ELBO、独立decoder的topic steering 不含真实SAE/LLM、topic judge或完整八数据集矩阵

8篇完整实验高成本,不复现

以下是审查DONE / 未复现,不是待算力TODO,不提供伪指标、可执行入口或GPU收据,也不自动重试。上节14项对应的完整模型实验同样未运行。

论文 原文成本 / 不复现原因
AgentDebugX 9B/27B与多API诊断、长时搜索和修复重跑;部分归因协议使用参考答案,不能冒称无gold能力
LifeAgentBench 作者报告全评测300–500GPU小时、13模型;不把普通scorer替代其LifeAgent
CoReflect 953场景、三轮、多大型模型与reflective analyzer;状态机不能代替语义共演化
Sparse-to-Dense Principle 作者direct GRPO约50.2H200小时,teacher-first约4–6倍;不重命名已有KL算子冒充整套经验流程
跨script知识迁移 120B/30B、真实LoRA与多语长推理;不以正则音译或手工提示替代
跨语知识探索 约234K探索路径和多前沿模型/LLM聚合判定;不以字符串投票替代
NaijaS2ST 约269小时语音、多方向模型训练、ASR/TTS与人工评审;不以文本exact-match替代
MVEB 33checkpoint与23/184任务;作者单H100对一模型报告31.9/302.7小时

3篇未接收

  • AgenticTagger:正文私有ranking数据为离线实验,未确立量化生产A/B或已授权全流量证据;Google合作优先但不豁免门槛。target-item critique泄漏不能包装为公平能力提升。
  • How Coding Agents Fail Their Users:观察性会话与人工质性研究,不是新可执行coding policy;不造规则分类器冒充论文方法。
  • What Limits Us?:人审codebook的科研元分析,不把人工批准流程冒充自主RSI算法。

验收与完整性

14项全部通过成本门槛后才执行小规模诊断;10项有CUDA路径,另4项为纯CPU协议/参考实现。本批没有下载大模型、原始视频/音频、私有数据或大索引,没有试跑昂贵完整实验。

最终源码提交与实测时间见CPU原始结果、A100原始结果和portable Git证明。每篇保留独立 metrics/component-<device>-seeds42-44.json;GPU回执只含模型型号、命令、seed、来源commit和数值,不含主机/用户/驱动信息。

最终冻源为 4cce1ab4d701df8daaed9a8abe8671f3eef9d168:CPU14组件×3seed约2.00秒,真实A100的10组件×3seed约1.61秒。这里只计组件执行,不含导入、连接、同步或测试;不是完整模型训练时间。DMAST新增的零IS/关闭KL极端分支也在这次A100诊断中真实执行,不沿用修复前的结果。

python scripts/curate_google_emnlp25_evidence.py --check
python -m pytest tests/test_google_emnlp25_closure.py

验收检查25个精确输入身份、原题名、日期/机构/catalog别名、每项状态、14组件check/metric集合和数值门槛、三seed、每seed实际设备、CPU/CUDA同冻源、raw→单篇指标→收据一致。缺项、重复、错误身份、CPU冒充GPU、改称能力复现或重开高成本自动队列均失败。

交叉审查修复POLARIS clipped exp的NaN反传、mETM encoder/decoder混用,以及DMAST零IS分支的无用指数。只修数值求值或恢复原公式,不以额外clamp改目标。原图22张均保留固定来源、版本、许可和SHA;方法版本与v1首发时间分开记录,机构按一作首署名单位聚合。

本批25条已作明确处置,不再是25条未读队列;完整模型实验没有被宣称已实现。全局审查水位仍为2026-10-15,这不是所有Google论文或全时间窗口的穷尽审查。