能力证据:评测采样、读出与可靠性¶
基础模型 / 56 个问题 · 14 篇论文
先看问题,想一想,再展开答案。这里持续积累本子主题各篇论文的问答,一篇论文也可以追加多个问题。
56 个问题 · 14 篇论文
基础理解
编译成功、程序没有崩溃,为什么还不能说明XLA执行正确?
XLA from the Trenches: Correctness on TPU Workloads at Scale
核心机制
为什么分层隔离既要反向约束输入,又要保留fusion检查VREG?
XLA from the Trenches: Correctness on TPU Workloads at Scale
方法对比
142项已修复、103项审查中,以及线上A/B收益,为什么是三种不同证据?
XLA from the Trenches: Correctness on TPU Workloads at Scale
实现细节
有公开OpenXLA代码,为什么本库仍将完整论文标为不复现,而不在A100跑个替代?
XLA from the Trenches: Correctness on TPU Workloads at Scale
基础理解
DetectorScope 为什么把检测预测建立在可检查的稀疏特征上?
Building Auditable AI Text Detectors with Sparse Autoencoders
核心机制
DetectorScope的概念贡献为什么等于置零特征的logit差,却不能称为改写文本的因果效果?
Building Auditable AI Text Detectors with Sparse Autoencoders
方法对比
DetectorScope 的概念描述验证,与人工确认该概念语义可靠相同吗?
Building Auditable AI Text Detectors with Sparse Autoencoders
实现细节
DetectorScope 的 L1 更新为何不能既做次梯度惩罚又再 soft-threshold 一次?
Building Auditable AI Text Detectors with Sparse Autoencoders
基础理解
DeepSEA 为什么不只报告一个多语言总分?
DeepSEA: A Multilingual Evaluation Benchmark for Southeast Asia
核心机制
DeepSEA按语言资源分组报告,为什么仍必须固定预测顺序并隔离Gold?
DeepSEA: A Multilingual Evaluation Benchmark for Southeast Asia
方法对比
确定性 scorer 与 LLM judge,在 DeepSEA 接口中是同一个可替换环节吗?
DeepSEA: A Multilingual Evaluation Benchmark for Southeast Asia
实现细节
预测回调能收到 evaluator 对象或 benchmark 文件路径,再承诺不看 Gold 吗?
DeepSEA: A Multilingual Evaluation Benchmark for Southeast Asia
基础理解
Gemma 来源优先协议为什么把双文档冲突设计成多路交叉?
Words Speak Louder Than Order: A Behavioral Evaluation of Gemma 4
核心机制
双文档冲突实验为什么要同时交换词项身份和呈现顺序,而不只调换两段文字?
Words Speak Louder Than Order: A Behavioral Evaluation of Gemma 4
方法对比
四路分解中的顺序零对照 O 与位置效应 S,为什么不能混称?
Words Speak Louder Than Order: A Behavioral Evaluation of Gemma 4
实现细节
BCa 区间失败或输入零方差时,能默默回退再给出 equivalent=true 吗?
Words Speak Louder Than Order: A Behavioral Evaluation of Gemma 4
基础理解
attention reranking 为什么需要比较带指令 null 与 bare null?
核心机制
插值null校准取λ=0时,为什么仍不是完全不校准?
方法对比
标准 ICR、bare-null 与完全不校准,分别减去了什么?
实现细节
三次模型 pass 的分数数组长度相同,是否就能直接逐项相减?
基础理解
CritICL 为什么先从弱模型错误构建 CritBank?
CritICL: Inference-Time Weak-to-Strong Generalization from Small Language Model Failure Modes
核心机制
CritICL从弱模型错误归纳critique,为什么部署时不需要先让强模型答错再反思?
CritICL: Inference-Time Weak-to-Strong Generalization from Small Language Model Failure Modes
方法对比
CritICL static 与 dynamic 的 critique 选择有什么不同?
CritICL: Inference-Time Weak-to-Strong Generalization from Small Language Model Failure Modes
实现细节
CritICL 部署时为什么不能先用当前题正确答案来挑最有效 critique?
CritICL: Inference-Time Weak-to-Strong Generalization from Small Language Model Failure Modes
基础理解
TCAB 为什么希望多个自适应策略共享一次真实反馈?
Fast A/B/n Testing: Exact Multi-Policy Comparison via Tree-Coupled Feedback Sharing
核心机制
TCAB为什么要求完整上下文与动作都匹配,不能只因两策略选了同一动作就共享反馈?
Fast A/B/n Testing: Exact Multi-Policy Comparison via Tree-Coupled Feedback Sharing
方法对比
耦合后的策略轨迹彼此相关,是否等于每个策略自己的分布被改变?
Fast A/B/n Testing: Exact Multi-Policy Comparison via Tree-Coupled Feedback Sharing
实现细节
TCAB 记录反馈节省时,为什么不能只统计“动作字符串相同”的次数?
Fast A/B/n Testing: Exact Multi-Policy Comparison via Tree-Coupled Feedback Sharing
基础理解
AMS 为什么用对照输入的激活差异检查模型修改?
Detecting Safety Training Modification in Language Models via Activation Analysis
核心机制
AMS的激活方向分离通过阈值,为什么不能据此宣布模型行为安全?
Detecting Safety Training Modification in Language Models via Activation Analysis
方法对比
AMS Tier1 分离度与 Tier2 基线方向比较,分别回答什么问题?
Detecting Safety Training Modification in Language Models via Activation Analysis
实现细节
从 HuggingFace hidden_states 取 AMS 扫描层时,为什么要加1?
Detecting Safety Training Modification in Language Models via Activation Analysis
基础理解
跨语言探索为什么会对同一个知识问题走多条语言路径?
核心机制
跨语言探索为什么不能用字符串多数票代替语义聚合,还要计入聚合成本?
方法对比
语义模型聚合与字符串 counter 多数票,为什么不能互相充当实现?
实现细节
计算跨语言探索预算时,为什么不能只数各路径的生成 token?
基础理解
XLGoBench 为什么用有确定性算法答案的任务测跨语言差距?
XLGoBench: Detecting cross-lingual skill gaps with algorithmic tasks
核心机制
XLGoBench有确定性算法答案,为什么本地小实例通过仍不能证明跨语言能力差距?
XLGoBench: Detecting cross-lingual skill gaps with algorithmic tasks
方法对比
算法 scorer 的正确性,与模型跨语言泛化结果是同一份证据吗?
XLGoBench: Detecting cross-lingual skill gaps with algorithmic tasks
实现细节
XLGoBench 的 Pr-DSA top8 评分为什么既忽略顺序又拒绝重复?
XLGoBench: Detecting cross-lingual skill gaps with algorithmic tasks
基础理解
ProEval 为什么复用历史逐题评分来减少新模型评价调用?
核心机制
ProEval为什么必须先选题再读取目标模型分数,历史矩阵还要排除目标模型?
方法对比
BQ 的总体方差减少采集,与直接选择当前均值最低的题有什么不同?
实现细节
ProEval 为什么拒绝重复目标观察和历史矩阵里的目标模型 ID?
基础理解
FUSE 为什么不满足于把多个验证器分数直接平均?
核心机制
FUSE不用标准答案估计验证器质量,为什么仍不能保证相关验证器越多越可靠?
方法对比
FUSE 的矩估计后验,与独立标准答案标签提供的保证相同吗?
实现细节
无标签 FUSE 拟合中,标准答案能参与选择分数变换或集成参数吗?
基础理解
组合水印为什么按周期 pattern 给不同词表分区加偏置?
Detecting Post-generation Edits to Watermarked LLM Outputs via Combinatorial Watermarking
核心机制
组合水印检查所有循环相位,为什么仍可能漏掉整周期删除?
Detecting Post-generation Edits to Watermarked LLM Outputs via Combinatorial Watermarking
方法对比
全局 D 与局部 E(t) 的阈值判定,能互相替代吗?
Detecting Post-generation Edits to Watermarked LLM Outputs via Combinatorial Watermarking
实现细节
局部 E(t) 到文本边缘时,能补零并继续按同一检测合同算吗?
Detecting Post-generation Edits to Watermarked LLM Outputs via Combinatorial Watermarking
基础理解
Mechanistic ETM 为什么以 SAE feature 而非词项作为主题观察?
Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders
核心机制
Mechanistic ETM为什么用SAE encoder构造主题概率,却用独立decoder做steering?
Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders
方法对比
feature 计数为什么用 Binomial,而不能先归一化成普通 multinomial 词袋?
Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders
实现细节
ETM steering 的 strength=0,是否表示完全不改 activation?
Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders
主题导读与阅读路线
先想一个问题¶
怎样确认高分来自目标能力,而非语言、输入顺序、读出方式或统计偏差?
记住这一点¶
XLGoBench 用跨语言可比较的算法任务和客观答案控制任务本身,再改变语言与复杂度以观察能力缺口。ProEval 利用历史逐题评分训练概率替身,按不确定性选择更有信息的测试输入,节省昂贵评分。激活探针、重排校准和水印则审计不同观测通道;先定义想测的能力与可观察量,才能解释分数。
一个例子¶
同一张图最短路题可以换语言而不换正确路径;如果换语言后更差,需要检查翻译是否保留约束。若预算只够测 100 题,主动选题又会改变样本分布,不能直接把所选难题平均分当总体正确率;应使用方法规定的估计与不确定性。
什么时候要小心¶
检测器分数、算子契约通过率和模型能力不同。代理模型可用历史数据,不能提前读目标未测分数或 gold;跨语言差异也不是所有语言能力的完整结论。本地 ProEval 子核心和 XLGoBench scorer 诊断不代表完整论文复现。
先读这几篇¶
先读 XLGoBench,理解同底层任务、语言和难度受控的比较;再读 ProEval,理解 GP 替身、主动选题与总体分数估计。之后再看探针、校准、安全检测或在线实验。
- XLGoBench: Detecting cross-lingual skill gaps with algorithmic tasks · 原论文
- ProEval: Proactive Failure Discovery and Efficient Performance Estimation for Generative AI Evaluation · 原论文
自测一下¶
主动挑选了一批疑似失败题,发现平均正确率低,能直接据此估计线上总体正确率吗?
展开参考答案
不能。样本是按失败可能性筛选的,存在选择偏差;需要定义目标分布并使用相应估计器或另取代表样本。失败发现能力和总体性能估计要分别报告。