基础模型 / 训练预算：数据配比、目标与优化器
基础理解
GAVAGAI 为什么同时需要 Nothing 和区域容量，而不是二选一？
GAVAGAI: Referential Alignment for Infant-Scale Vision-Language Models via Balanced Optimal Transport
问答新增：2026-11-04 · St Thomas’ College of Engineering and Technology
展开答案与例子
答案：Nothing允许不指称可见物体的词不被强制分给背景；区域容量防止少数常见背景吸收许多不同词。只有容量而没有Nothing仍须把质量塞进视觉区域；只有Nothing而无容量则不能限制某个背景区域的集中吸收。两条约束处理不同故障。
教学例子：教学例：一句话含hungry、ball，图中有球和手。hungry可去Nothing，ball去球；手的容量还阻止许多无关词都被分到手。教学分配不是模型测量。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
论文标题提到Balanced OT，为什么实现不能固定所有视觉列的边际等式？
GAVAGAI: Referential Alignment for Infant-Scale Vision-Language Models via Balanced Optimal Transport
问答新增：2026-11-04 · St Thomas’ College of Engineering and Technology
展开答案与例子
答案：Eq1真正约束是每词行和等于1，而视觉列和只要求不超过b，Nothing不封顶。对应对偶更新是v=min(1,b/(Kᵀu))。强制列和恰等于b会让图中未被命名的区域也被分配质量，改变可行域和方法含义。
教学例子：教学例：两个词都不对应图中物体、某视觉列容量.8时，合法解可把接近2的质量送到Nothing、视觉列接近0；不能为了花完.8容量而强行指称该物体。
依据：核心公式、检查与负控；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
容量不活跃时，GAVAGAI与逐行softmax的关系是什么？这代表完整方法没有区别吗？
GAVAGAI: Referential Alignment for Infant-Scale Vision-Language Models via Balanced Optimal Transport
问答新增：2026-11-04 · St Thomas’ College of Engineering and Technology
展开答案与例子
答案：若每个视觉容量至少为词数n，所有列乘子保持1，OT就退化为包含Nothing的逐行softmax；再删Nothing才得到强制视觉指称的朴素基线。这是有用的退化核验，不表示容量活跃时也等价，更不能据小矩阵结果声称SAYCam提升。
教学例子：教学例：3个词时将每列容量设为3，视觉列不可能超额；把同一容量改为.4后，多个词竞争该区域，行与列的缩放就耦合起来。
依据：核心公式、检查与负控、论文离线与线上效果；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
为什么8次Sinkhorn后不能随手把每行再归一化，又为何对齐loss必须停掉plan梯度？
GAVAGAI: Referential Alignment for Infant-Scale Vision-Language Models via Balanced Optimal Transport
问答新增：2026-11-04 · St Thomas’ College of Engineering and Technology
展开答案与例子
答案：最后一次列缩放保证容量上界，但有限次迭代的行和可能偏离1；再归一化行可能重新超容量，应暴露残差而非隐藏。Eq3规定P固定、梯度只经成本C，因此对齐项梯度是λP。Nothing hinge的额外可微路径在v1未说明，本地只记录固定plan值，不伪造完整防塌缩训练。
教学例子：教学例：某行和.8，归一化会把其视觉质量乘1.25，原本刚好饱和的视觉列可能超标。λ=.1时成本梯度应是.1P，而不是再穿过8次缩放的自动微分图。
依据：核心公式、检查与负控、成本判断与复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
ProLand 为什么在 B 的正交约束暂时不满足时仍允许优化，而不是每步投回去？
ProLand: A New Infeasible Manifold Optimization Method for LoRA Fine-Tuning
问答新增：2026-11-04 · Shanghai Jiao Tong University
展开答案与例子
答案：它将乘积 BA 的目标方向与恢复 B 正交性的 Landing 分开。水平条件 BᵀDB=0 让目标更新只在二阶扰动 Gram 偏差，独立校正再逐步拉回约束附近。每步 retraction 会改变优化路径，并不是同一个算法；允许暂时不可行也不代表任何步长都稳定。
教学例子：教学例：BᵀB=1.08 的一维基可以先沿水平目标方向前进，再减去ρB×0.08；若直接把 B 归一化到1，则走了不同的路径。这个例子不是GLUE效果。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
为什么 momentum 必须重投影到当前 BA 的乘积空间，而不能原样保留旧稠密方向？
ProLand: A New Infeasible Manifold Optimization Method for LoRA Fine-Tuning
问答新增：2026-11-04 · Shanghai Jiao Tong University
展开答案与例子
答案：B、A 改变后，可由当前因子一阶变化实现的子空间也会改变。ProLand先用当前Π重投影旧EMA，再与当前投影梯度混合，确保动量仍位于当前可实现空间。thin-factor算法从同一loss的两因子梯度重建这个量，并非给A和B各维护一个普通Muon动量。
教学例子：教学例：旧B只覆盖第一坐标，新B转向第二坐标，旧空间的方向未必能由新因子保持原样实现；应先按新PB与PA计算Π，再更新EMA。
依据：核心公式、检查与负控；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
对 A 和 B 分别求 polar，与先在 BA 空间求 polar 再分解方向，有什么区别？
ProLand: A New Infeasible Manifold Optimization Method for LoRA Fine-Tuning
问答新增：2026-11-04 · Shanghai Jiao Tong University
展开答案与例子
答案：polar不是线性映射，两因子的参数化还存在缩放自由度；独立谱更新无法保证两者组合就是乘积空间选中的方向。ProLand由Y统一构造DA=B†Y与DB=(I−PB)YA†，使BDA+DBA等于ΠY，并满足BᵀDB=0。
教学例子：教学例：把B乘2、A除2不改变BA，却改变独立因子梯度的尺度与几何；仅因为两条路径都调用polar，不能认定它们更新相同的ΔW。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
实现时为什么不能先改 A 再用新 A 计算 B 的更新，也不能把ρ再乘学习率？
ProLand: A New Infeasible Manifold Optimization Method for LoRA Fine-Tuning
问答新增：2026-11-04 · Shanghai Jiao Tong University
展开答案与例子
答案：Algorithm1/2规定DA、DB、Gram偏差均由同一旧因子对计算，再同时应用；顺序更新会引入额外耦合项。Landing的ρ是独立步长，公式中没有额外γ。还需紧致polar把零奇异方向保持零，并承认秩变附近伪逆的浮点病态性。
教学例子：教学例：γ=.01、ρ=.05时Landing系数是.05，不是.0005；误乘会把恢复强度缩小100倍。零核心若误用完整UVᵀ，还可能在零梯度时凭空更新。
依据：核心公式、实现与运行、检查与负控；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
LazyFlash 为什么在训练时保留 dense 前向，却压缩反向工作？
LazyFlash: Forward-Dense, Backward-Sparse Attention for Accelerated Long-Context Fine-Tuning
问答新增：2026-10-27 · Microsoft
展开答案与例子
答案：前向决定模型读取的完整上下文；反向不同query块的梯度贡献可能很不均匀。方法把节省放在训练梯度计算上，避免把部署时的可见信息范围改成稀疏前向。
教学例子：模型仍看全文作预测，但本次训练反向只抽取部分贡献块并做相应重权。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
LazyFlash前向仍是dense，为什么训练加速来自反向，而不是减少可见上下文？
LazyFlash: Forward-Dense, Backward-Sparse Attention for Accelerated Long-Context Fine-Tuning
问答新增：2026-10-27 · Microsoft
展开答案与例子
答案：它保持前向完整注意力，用输出梯度的块范数分配反向保留概率，再对采样块按概率倒数重加权，估计dense梯度。要真正节省时间，必须在tiled反向内核里跳过相应访存与计算。先完整反传再把梯度置零，不具备同样成本；单次随机梯度也不会逐元素等于dense。
教学例子：某query块的梯度贡献很小，可降低其反向执行概率；前向仍看过全部证据。只有没有实际执行被跳过块的反向工作，才可能获得相应速度收益。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
LazyFlash 的 importance backward 与固定 top-k 梯度块截断，估计性质一样吗？
LazyFlash: Forward-Dense, Backward-Sparse Attention for Accelerated Long-Context Fine-Tuning
问答新增：2026-10-27 · Microsoft
展开答案与例子
答案：importance采样按保留概率倒数重权，以dense梯度为无偏估计目标；固定截断一般没有这一保证。无偏针对随机性的期望，也不表示每一次抽样反向都与dense完全相同。
教学例子：某块只以一半概率保留，保留时需按对应概率补偿，而非永远删除低排名块。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
在 PyTorch dense backward 后把梯度置零，为什么不算 LazyFlash kernel？
LazyFlash: Forward-Dense, Backward-Sparse Attention for Accelerated Long-Context Fine-Tuning
问答新增：2026-10-27 · Microsoft
展开答案与例子
答案：主要访存与计算已经完成，后置mask没有省掉定义性反向工作。必须在tiled FlashAttention反向内部跳过相应操作；当前文档明确无本地operator或GPU回执，不以toy mask冒充实现。
教学例子：算完所有块再丢掉一半结果，不能报告为只计算了一半反向块。
依据：背景与主要改动、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
反向 KL 策略蒸馏为什么关注学生自己会访问哪些状态？
Reverse-KL Policy Distillation: Statistical Guarantees and Limits
问答新增：2026-10-27 · University of Virginia
展开答案与例子
答案：目标是在候选策略自身访问分布下累积teacher与student的KL。不同策略走到的状态不同，把所有历史状态等权重拟合，可能偏离某候选实际需要控制的风险。
教学例子：某学生几乎不会进入的一条分支，不应仅因它曾在旧rollout出现就占同等风险权重。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
反向KL蒸馏为何不能只在旧rollout状态上重拟合token KL？
Reverse-KL Policy Distillation: Statistical Guarantees and Limits
问答新增：2026-10-27 · University of Virginia
展开答案与例子
答案：目标风险按候选策略自己的访问分布计算，旧策略频繁到达的状态可能被候选很少访问。该算法用截断的前缀重要性比与累计KL增量，构造有界候选比较，再更新整条策略的权重。前缀比不包含当前动作，同一个比值要乘在比较差的两项上；这与普通旧数据KL回归不同。
教学例子：旧策略常走一条失败支路，新候选几乎不会进入；不修正访问分布，就可能把这条支路上的token误差算得过重，掩盖候选真正会遇到的状态。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
full-feedback teacher 分布与只给一个采样答案，监督信息有什么差异？
Reverse-KL Policy Distillation: Statistical Guarantees and Limits
问答新增：2026-10-27 · University of Virginia
展开答案与例子
答案：本算法在到访状态查询完整动作分布，才能计算候选各动作的反向KL与比较量；单个采样答案不直接提供相同信息。还需teacher在候选正概率动作上有支持，否则KL可能无穷。
教学例子：只看到老师这次选A，不能据此知道它给B和C分别多少概率。
依据：核心公式、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
前缀重要性比为什么必须排除当前 action，并同时乘差值两项？
Reverse-KL Policy Distillation: Statistical Guarantees and Limits
问答新增：2026-10-27 · University of Virginia
展开答案与例子
答案：文档r_h的乘积只到u<h，用同一个截断比加权candidate与rollout累计KL增量之差。把当前动作算进去或仅重权一项，会改变比较loss及其有界性质。
教学例子：比较第3个状态时，前缀只含前两步动作，不能先把第3步选择也纳入状态到达比。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
T-MUON 为什么把结构相关矩阵放进第三个张量轴？
T-MUON: Tensorizing Muon via t-SVD for Large Language Model Pre-training
问答新增：2026-10-27 · University of California, Santa Barbara
展开答案与例子
答案：它希望联合利用层、QKV或head之间的结构关系，在第三轴变换后逐切片求polar，再逆变换还原矩阵更新。相关矩阵的分组与所选变换都是方法的一部分。
教学例子：将Q/K/V作为相关切片组织，比把三个矩阵当作毫无关系的独立对象多了一种耦合。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
T-MUON为何先把相关矩阵组成三阶张量，而不是直接展平后做普通Muon？
T-MUON: Tensorizing Muon via t-SVD for Large Language Model Pre-training
问答新增：2026-10-27 · University of California, Santa Barbara
展开答案与例子
答案：它在第三轴的变换域中分别求polar，再逆变换回各矩阵，使结构相关矩阵能够在该轴上耦合。矩阵如何分组与选择什么变换是独立设计，任意展平会丢掉这层定义。还原后的形状缩放依据原矩阵，零秩切片不能因任意零空间基产生虚假更新。
教学例子：把相邻层或Q/K/V作为第三轴的几片，先在该轴混合再分别正交化，与把所有数拼成一张长矩阵正交化，约束和结果都不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
T-MUON 的分组方式与变换方式，为什么应作为两条独立消融轴？
T-MUON: Tensorizing Muon via t-SVD for Large Language Model Pre-training
问答新增：2026-10-27 · University of California, Santa Barbara
展开答案与例子
答案：分组决定哪些矩阵一起处理，变换决定这些切片如何混合；同一组可用不同M，不同组也可用同一类变换。把二者同时换掉，就难判断更新差异来自哪一项。
教学例子：QKV-stack配DCT与head-stack配DFT同时不同，不能只归因为DFT。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
T-MUON 的 fan 比例应该按 head 切片还是原权重矩阵计算？
T-MUON: Tensorizing Muon via t-SVD for Large Language Model Pre-training
问答新增：2026-10-27 · University of California, Santa Barbara
展开答案与例子
答案：文档还原后使用原始矩阵fan_out/fan_in缩放，不能改成拆出的head形状。零秩切片还应返回零更新，避免薄SVD任意零空间基产生虚假方向；当前精确SVD不等于生产polar内核速度。
教学例子：一张矩阵拆成多个head处理后，缩放仍需回到原矩阵的维度口径。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
BMuon 希望优化器学出哪种更容易剪枝的结构？
BMuon: Budgeting Muon's Spectral Geometry for Structured Compressibility
问答新增：2026-10-27 · Inria
展开答案与例子
答案：它针对MLP隐藏通道，改变成对输入行与输出列的更新几何，使所有块在同一个通道预算下分配资源。它不是前向额外加gate，也不是训练后随意按幅度删权重。
教学例子：一个隐藏通道的输入行与输出列是一对，需要一起考虑其保留价值。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
BMuon的通道预算为什么要跨全部MLP共享，还同时作用于输入行和输出列？
BMuon: Budgeting Muon's Spectral Geometry for Structured Compressibility
问答新增：2026-10-27 · Inria
展开答案与例子
答案：一个隐藏通道由输入矩阵的一行和输出矩阵的一列共同定义；只改变一侧不完整。BMuon让所有MLP通道竞争同一总分配预算，并在两侧的Muon更新几何中使用该分配，使不同层之间也能重新分配可压缩性。它是在训练更新中塑造结构，不是额外前向gate或事后各层独立剪枝。
教学例子：总共只留100份通道预算时，两层不必各拿50；更有贡献的一层可拿更多，但每个通道的入边和出边都应按同一分配一起处理。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
全局通道预算 BMuon，与每层各保留相同比例有什么不同？
BMuon: Budgeting Muon's Spectral Geometry for Structured Compressibility
问答新增：2026-10-27 · Inria
展开答案与例子
答案：全局约束允许不同MLP块竞争同一预算，总和为K；逐层固定比例提前限制了每层分配。两者即使最终通道总数相同，也可能把资源放在不同层。
教学例子：一层可得到较多通道、另一层较少，而不是每层机械地裁掉50%。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
BMuon 完成预算 MM 更新后，能沿用旧分配的 polar 更新吗？
BMuon: Budgeting Muon's Spectral Geometry for Structured Compressibility
问答新增：2026-10-27 · Inria
展开答案与例子
答案：不能。旧分配用于计算MM分数，新分配求出后必须重算双边polar更新；跨全部块共用一个预算乘子。缺失配对一侧梯度也不能静默继续，否则破坏输入行/输出列耦合。
教学例子：通道预算从0.2改到0.8后，参数方向需反映新权重，而非仍用旧μ算出的方向。
依据：核心公式、实现与运行；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
BitSparse 为什么适合 ReLU 家族产生的大量精确零？
BitSparse: Compact Activation Storage for ReLU Feed-Forward Networks
问答新增：2026-10-27 · University of Cambridge
展开答案与例子
答案：精确零不必逐项保存数值，只需用bitmask记录位置、压紧保存正值，再用tile前缀定位。反向可无损重建需要的激活，不依赖把非零数值近似量化。
教学例子：十个位置只有两个正值时，保存两个值及其位置，而非十份浮点数。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
BitSparse为什么可以无损减少激活存储，却不需要额外重跑一次前向？
BitSparse: Compact Activation Storage for ReLU Feed-Forward Networks
问答新增：2026-10-27 · University of Cambridge
展开答案与例子
答案：ReLU家族激活已有精确零，方法只保存非零值、每位置一bit的mask与分块前缀，反向时重建原激活。它利用结构性零而非降低非零值精度，也不靠重新计算补回丢掉的信息。能否节省空间取决于零比例和元数据成本，不能只看到用了bitmask就忽略仍需保存的正值。
教学例子：8个激活中6个为零，可保存8位mask加2个原精度数值；反向按mask把两个数放回原位，不必再次执行生成这些激活的网络。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
BitSparse 的无损打包，与 activation checkpointing 或低比特量化有什么区别？
BitSparse: Compact Activation Storage for ReLU Feed-Forward Networks
问答新增：2026-10-27 · University of Cambridge
展开答案与例子
答案：checkpointing通常以额外前向重算换存储，量化以数值误差换位宽；BitSparse利用精确零的稀疏性压紧数值并重建。实际节省取决于稀疏度及mask/prefix开销，不等于总训练显存同幅下降。
教学例子：稀疏率很低时，额外索引开销可能抵消一部分压紧收益。
依据：背景与主要改动、结果与独立对照；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
为什么 BitSparse 的 mask 不能用每元素一字节 bool 冒充？
BitSparse: Compact Activation Storage for ReLU Feed-Forward Networks
问答新增：2026-10-27 · University of Cambridge
展开答案与例子
答案：文档格式是每位置1 bit，另存tile prefix与正值；bool每元素1 byte会改变空间口径。还需核对padding、零符号和反向公式，例如ReLU²的输入梯度含2H因子。
教学例子：32个位置的bitmask应约4字节，而非32字节布尔数组。
依据：核心公式、数据协议与运行；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
Meta/AMD 硬件多样性报告为什么被归为系统协同设计？
Architecting for Hardware Diversity: Meta's End-to-End Co-Design for High-Performance AI Training on AMD GPUs
问答新增：2026-10-27 · Meta
展开答案与例子
答案：它以推荐训练为案例同时调整模型、并行、内存策略、GEMM配置和内核移植，并非只提出一个新的推荐网络。性能来自整条系统链路的匹配，而非CUDA转成HIP这一件事。
教学例子：算子可以编译，并不说明其tile、访存和并行布局适合目标设备。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
CUDA代码转成HIP后能运行，为什么还不能认为跨硬件性能已经迁移？
Architecting for Hardware Diversity: Meta's End-to-End Co-Design for High-Performance AI Training on AMD GPUs
问答新增：2026-10-27 · Meta
展开答案与例子
答案：接口兼容只解决能否执行；计算单元、内存层次、tile形状与并行策略会改变实际瓶颈。该研究联合模型、内存、并行与内核选型，并用分析模型估计计算、访存和尾部空转。硬件常数与最佳配置依设备而变，不能把一张卡的选型结果直接搬到另一张卡当作已测加速。
教学例子：同一个GEMM tile在一类设备上充分占满计算单元，换设备后却可能受共享内存或尾部工作量限制；成功编译并不会自动修复这种布局不匹配。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
分析模型预测的 tile 周期，与真实端到端吞吐包含的信息相同吗？
Architecting for Hardware Diversity: Meta's End-to-End Co-Design for High-Performance AI Training on AMD GPUs
问答新增：2026-10-27 · Meta
展开答案与例子
答案：分析模型估算计算、分层访存、流水线和尾部空转；端到端测量还取决于实际系统与工作负载。硬件常数不能跨设备照搬，局部tile最优也不自动等于整个训练最优。
教学例子：某tile的矩阵乘更快，可能仍被同步或其它阶段耗时抵消。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
只有一张 A100/A30，能等价复跑报告的 MI350X/B200 生产系统吗？
Architecting for Hardware Diversity: Meta's End-to-End Co-Design for High-Performance AI Training on AMD GPUs
问答新增：2026-10-27 · Meta
展开答案与例子
答案：不能。文档原配置依赖相应集群和私有工作负载，本轮仅收录和成本审查，明确不复现。若实现某个公开算子，应重新规定该算子的硬件与验收，不把它当完整生产系统。
教学例子：在A100上跑一个小GEMM，不足以验证另一硬件集群的端到端训练吞吐。
依据：本地复现、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
LCT 为什么把浮点指数与 sign/mantissa 分开存储？
LCT: Losslessly Compressed Tensors with GPU friendly execution for Training
问答新增：2026-10-27 · University of Cambridge
展开答案与例子
答案：指数分布常更集中，适合重复编码；sign/fraction位则保持原样。LCT用固定概率模型产生有界短码，再处理运行时中心变化，以无损还原为约束，而非丢掉低频位。
教学例子：很多数值共享相近指数时，可压缩指数部分，同时不改动原来的小数位。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
LCT压缩指数时，罕见符号或stream超预算为什么也不能丢掉？
LCT: Losslessly Compressed Tensors with GPU friendly execution for Training
问答新增：2026-10-27 · University of Cambridge
展开答案与例子
答案：目标是逐bit可还原，因此罕见指数使用escape加原始符号，流预算耗尽后的剩余项进入原始指数尾。sign与fraction部分单独保留，固定码表避免反复学习编码。它是在可压缩部分和回退路径之间组织存储，而不是通过舍弃低概率值变成有损量化。
教学例子：常见指数用短码，遇到罕见指数先写escape再写原8位；即使压缩流满了，余下指数仍原样保存，不能为了达到目标大小就把它们改成零。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
LCT 的专用有界指数编码，与直接用 zlib 压缩张量有什么区别？
LCT: Losslessly Compressed Tensors with GPU friendly execution for Training
问答新增：2026-10-27 · University of Cambridge
展开答案与例子
答案：LCT定义固定码表、最大码长、escape和stream预算及原始overflow尾，适合反复编码的格式约束；通用压缩不会自动实现同样的数据布局。任何方案都需把码表与metadata计入总字节。
教学例子：payload变小，但加上独立码表和索引后总大小仍可能膨胀。
依据：背景与主要改动、结果与独立对照；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
LCT 的 round-trip 为什么要比较原始 bits，而不只比较浮点数值？
LCT: Losslessly Compressed Tensors with GPU friendly execution for Training
问答新增：2026-10-27 · University of Cambridge
展开答案与例子
答案：有符号零、subnormal、Inf及NaN payload都属于无损格式应保留的信息，普通数值比较可能遗漏或不适用。还需测试全部指数、不同中心和预算溢出路径。
教学例子：+0与-0数值比较相等，但其符号位不同，逐bit验收才能发现丢失。
依据：核心公式、数据协议与运行；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
Muon paired-budget 为什么把数据、训练时间和调参成本分开报告？
When Does Muon Actually Win? A Paired Data-, Time-, and Tuning-Budget Benchmark
问答新增：2026-10-27 · 论文未列一作机构
展开答案与例子
答案：每步质量、每秒质量与找到好参数的难度是不同问题。同一优化器可能在等数据下更好、等时间下更差，协议因此分别对齐这些预算，不把一种优势外推到所有口径。
教学例子：处理同样token更低loss，但每步慢很多，固定一小时内未必更优。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
Muon同样步数下更低loss，为什么仍不足以宣布同算力或同调参成本更优？
When Does Muon Actually Win? A Paired Data-, Time-, and Tuning-Budget Benchmark
问答新增：2026-10-27 · 论文未列一作机构
展开答案与例子
答案：每步耗时、数据吞吐和调参开销可能不同。配对基准固定初始化、数据顺序与候选池，分别按已处理数据、实际训练时间和冻结调参预算比较；参数只在开发阶段选择，测试冻结后读取。相同步数只是一个横轴，不能代替另外两种成本口径。
教学例子：A每步进步更大但耗时翻倍，100步更好不代表十分钟内更好；若又为时间指标单独重挑A的最佳配置，就混入了额外调参优势。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
冻结候选池的随机访问 regret，为什么不是前瞻自适应 HPO 的成绩？
When Does Muon Actually Win? A Paired Data-, Time-, and Tuning-Budget Benchmark
问答新增：2026-10-27 · 论文未列一作机构
展开答案与例子
答案：它在预先固定的候选集合上分析随机访问顺序，衡量有限候选预算的损失；自适应HPO会依据前面结果产生或选择新候选。两者的决策信息与时间成本不同。
教学例子：随机翻看既有23个配置，与运行中根据反馈提出第24个配置，不是同一种搜索。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
做配对 bootstrap 时，为什么两种优化器必须抽同一组 seed 索引？
When Does Muon Actually Win? A Paired Data-, Time-, and Tuning-Budget Benchmark
问答新增：2026-10-27 · 论文未列一作机构
展开答案与例子
答案：配对比较依赖同seed的初始化和数据顺序对应，错配会破坏相关结构。AUC还必须在共同测量域积分，配置先按开发validation冻结，不能为时间口径重新挑最优配置。
教学例子：抽到seed42时，两种优化器都取seed42的轨迹，而非另一边随机取seed44。
依据：核心公式、结果与独立对照；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
SMRC/PMRC 为什么不能只保留低秩投影里的梯度？
Memory-Efficient Subspace Optimization with Residual Correction: From Momentum SGD to Muon
问答新增：2026-10-27 · Nanjing University / Alibaba Token Hub
展开答案与例子
答案：主奇异子空间可能被噪声占据，子空间外仍有有效下降方向。方法以低维动量处理投影内部分，每步从真实梯度计算正交残差补回，不持久保存全尺寸残差动量。
教学例子：当前投影关注一个大方向，另一个较小但有用的方向不应因此永远没有更新。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
SMRC/PMRC只存低秩动量，怎样补上子空间外的有效梯度？
Memory-Efficient Subspace Optimization with Residual Correction: From Momentum SGD to Muon
问答新增：2026-10-27 · Nanjing University / Alibaba Token Hub
展开答案与例子
答案：投影内部分由低维动量更新，当前原始梯度的正交残差提供其余方向，不额外持久保存全尺寸残差状态。SMRC对低维动量作EMA，PMRC还改变矩阵方向处理；换基时二者规则也不同。节省动量存储不意味着可以把残差删掉，或把两种方法都简化成同一个投影SGD。
教学例子：主要子空间抓住两个高能方向，但较小的第三方向仍有下降信息；用当前梯度残差补这部分，同时无需为它再保留一整张长期动量矩阵。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
SMRC 与 PMRC 都存低维动量，为什么仍不是同一个优化器？
Memory-Efficient Subspace Optimization with Residual Correction: From Momentum SGD to Muon
问答新增：2026-10-27 · Nanjing University / Alibaba Token Hub
展开答案与例子
答案：SMRC直接使用EMA动量映回；PMRC对低维动量取矩阵符号。stage边界也不同：SMRC有参数修正，PMRC理论算法没有同样平移，不能以一个投影SGD函数代替两者。
教学例子：相同低维M经过原值映回与msign后映回，通常产生不同更新方向。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
SMRC 刷新基之前，为什么必须先修正参数并重新做 backward？
Memory-Efficient Subspace Optimization with Residual Correction: From Momentum SGD to Muon
问答新增：2026-10-27 · Nanjing University / Alibaba Token Hub
展开答案与例子
答案：文档stage末先修正真实参数、清零动量，下次forward/backward在新参数上产生新梯度后才刷新基。沿用修正前旧梯度会错配状态；本地beta还是新梯度系数，需避免与常见API相反。
教学例子：stage边界后参数已改变，不能拿改变前那次梯度当作新起点的梯度。
依据：核心公式、已实现的组件；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
为什么 AdamW 的状态量化会影响后续很多步，而不只影响当前存储？
Rounding in Preconditioner Space: Redesigning 4-bit AdamW Optimizer-State Quantization
问答新增：2026-10-27 · University of California, Berkeley / Nubank
展开答案与例子
答案：第一、第二矩会跨步递推，保存时的量化误差在下次解码后继续参与优化。4-bit方案因此不仅要压缩字节，还要控制误差如何影响预条件器和后续参数更新。
教学例子：第二矩被持续舍入偏小，可能连续多步放大有效学习率。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
4-bit AdamW为什么要在预条件器空间控制第二矩舍入，而不只让第二矩数值接近？
Rounding in Preconditioner Space: Redesigning 4-bit AdamW Optimizer-State Quantization
问答新增：2026-10-27 · University of California, Berkeley / Nubank
展开答案与例子
答案：第二矩经过偏差校正、开平方和取倒数后才影响更新，原数值上相近的误差在这个非线性映射后可能不等价。ZIP-SR据预条件器值决定随机舍入概率，ZE-EDEN则处理码点与尺度；状态误差还会进入后续递推。当前工作矩先用于参数更新，再量化存储，顺序也属于机制。
教学例子：两个很小的第二矩数值只有一点差别，取倒数平方根后却可能明显改变步长；应保护实际乘到梯度上的尺度，而不只比较压缩前后的均方误差。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
ZIP-SR 与 ZE-EDEN 在第二矩存储上采取了什么不同策略？
Rounding in Preconditioner Space: Redesigning 4-bit AdamW Optimizer-State Quantization
问答新增：2026-10-27 · University of California, Berkeley / Nubank
展开答案与例子
答案：ZIP-SR在预条件器空间做随机舍入；ZE-EDEN排除零码点并校准块尺度。二者都不是把任意数值直接四舍五入到同一个4-bit表，比较还需报告损失与实际持久状态字节。
教学例子：相邻码点间如何随机选取，与重新调块尺度避免零码点，是不同的误差控制。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
4-bit AdamW 当前步应该先量化工作矩，再用量化值更新参数吗？
Rounding in Preconditioner Space: Redesigning 4-bit AdamW Optimizer-State Quantization
问答新增：2026-10-27 · University of California, Berkeley / Nubank
展开答案与例子
答案：文档先由解码旧状态和当前梯度形成工作矩，用未量化工作矩更新参数，再量化并打包作为持久状态。顺序反过来会把本次量化误差提前引入当前更新，改变算法。
教学例子：工作矩算出v后先得到本步预条件更新，再把v压缩供下一步使用。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
AF-Muon 为什么要为模型里的不同参数类型设置不同更新？
AF-Muon: An AdamW-Free Muon Optimizer for Tied-Embedding Models
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：隐藏矩阵、共享词表与一维参数的几何和梯度支持不同。文档分别使用Muon矩阵方向、词表support-aware有限帽方向及一维RMS更新，避免把所有参数都当普通稠密矩阵。
教学例子：只被少数输入词访问的embedding行，与一个每步都参与计算的hidden矩阵不同。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
AF-Muon为何不能把tied embedding当普通隐藏矩阵统一做Muon更新？
AF-Muon: An AdamW-Free Muon Optimizer for Tied-Embedding Models
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：共享词表同时承担稀疏输入查表与稠密输出分类，两种梯度结构并不相同。AF-Muon对隐藏矩阵保留Muon式谱方向，对共享词表使用support-aware有限帽方向，对一维参数另用RMS更新。不能仅按输入中出现的词判断支持集，因为输出分类路径也可能给许多词表行提供梯度。
教学例子：一个词没在输入中出现，却作为输出候选受到分类损失影响；若只更新输入命中的行，就会漏掉共享输出头的有效梯度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
support-aware 有限帽方向，与把每个词表行都归一化成同样长度有什么区别？
AF-Muon: An AdamW-Free Muon Optimizer for Tied-Embedding Models
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：它保留零梯度支持边界，并以cap限制行方向幅度；小梯度不必被强行放大到统一长度。简单逐行单位归一化会改变这一幅度控制，也可能给无支持行带来数值问题。
教学例子：梯度范数小于cap时，不能仅为了单位化就把它放大成与大梯度行相同长度。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
AF-Muon 在零梯度词表行上，怎样避免归一化产生 NaN？
AF-Muon: An AdamW-Free Muon Optimizer for Tied-Embedding Models
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：公式中1[g_i≠0]对应显式支持分支：零梯度行方向应为0，不能先算g/‖g‖再指望乘0清掉NaN。当前记录验证的是support/cap方向，未完成论文规模预训练。
教学例子：本批次未出现也没有输出梯度的一行，应保持零更新方向，而不是出现0/0。
依据：核心公式、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
TACO 为什么把每列更新压到一个梯度位置？
TACO: Ternary Absolute-max Column-wise One-sparse Optimizer for LLM Fine-Tuning
问答新增：2026-10-27 · University of Central Florida
展开答案与例子
答案：它为二维权重的每列选择绝对梯度最大的位置及符号，形成column-wise one-sparse方向，以列级低精度状态替代逐参数dense优化器状态。更新结构与普通稠密梯度下降不同。
教学例子：一列有很多非零梯度，本步只保留绝对值最大的那个位置。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
TACO每列只保留一个梯度位置，为什么不是普通的逐元素sign更新？
TACO: Ternary Absolute-max Column-wise One-sparse Optimizer for LLM Fine-Tuning
问答新增：2026-10-27 · University of Central Florida
展开答案与例子
答案：它先在每个二维权重列中找绝对值最大的分量，只保留该位置的符号，其余位置更新为零。这样得到列级one-sparse方向，并配合低精度列状态减少优化器存储。逐元素sign则会更新所有非零梯度位置，既不是同一方向，也不具有相同稀疏结构。
教学例子：一列梯度为0.2、负0.9、0.4时，该列只在第二行给负方向；普通sign会同时给出正、负、正三个更新。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
TACO 的一稀疏列方向，与逐元素 signSGD 保留了什么不同信息？
TACO: Ternary Absolute-max Column-wise One-sparse Optimizer for LLM Fine-Tuning
问答新增：2026-10-27 · University of Central Florida
展开答案与例子
答案：signSGD可在一列的所有非零位置更新；TACO先做列内绝对值最大选择，只在选中行保留符号。两者都可能使用符号，但支持集稀疏结构并不相同。
教学例子：列梯度为[1,-4,2]，逐元素sign有三项，TACO方向只在第二项为-1。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
TACO 的 argmax 选择若误写成沿列轴，会发生什么？
TACO: Ternary Absolute-max Column-wise One-sparse Optimizer for LLM Fine-Tuning
问答新增：2026-10-27 · University of Central Florida
展开答案与例子
答案：定义要求对每一列在行索引中取最大绝对值；轴写反会变成每行保留一项，改变优化几何。还需核对未选位置为0与低精度列momentum，而非只检查更新张量shape。
教学例子：一个3×5权重应每列最多一个保留位置，不是每行一个。
依据：核心公式、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
TESS 为什么把“哪些训练样本有价值”变成一个可学习预测任务？
TESS: Scalable, Transferable Meta-network for Data Selection Requires a Different Loss (and Why the Obvious Choice is Problematic)
问答新增：2026-10-27 · Nanyang Technological University
展开答案与例子
答案：它先用训练集模型与验证指导模型的逐样本损失差构造价值伪标签，再训练selector对独立候选池打分。这样把昂贵的价值估计转成可迁移的pointwise预测，而非直接在大池上反复试训。
教学例子：小规模教师产生一批价值标签，再让selector为未参与教师训练的候选样本估值。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
TESS为什么先用两模型损失差作伪标签，再训练selector，而不直接优化选择结果？
TESS: Scalable, Transferable Meta-network for Data Selection Requires a Different Loss (and Why the Obvious Choice is Problematic)
问答新增：2026-10-27 · Nanyang Technological University
展开答案与例子
答案：一份模型只看训练数据，另一份得到验证目标指导；同初始化下的逐样本损失差提供价值信号，再用pointwise匹配训练可迁移selector。两阶段设计把价值估计与选择器学习分开，避免某些直接选择目标的病态优化。验证信息用于开发指导，不能把最终test偷偷当作这份指导数据。
教学例子：同一个样本在普通模型与验证指导模型上的损失变化不同，可用来学习哪些样本更贴近目标；上线选择新数据时则由selector预测，而非逐样本读取未来测试成绩。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
TESS 的损失差伪标签，与只选当前模型 loss 最大的样本有什么区别？
TESS: Scalable, Transferable Meta-network for Data Selection Requires a Different Loss (and Why the Obvious Choice is Problematic)
问答新增：2026-10-27 · Nanyang Technological University
展开答案与例子
答案：损失差比较两个同起点模型，尝试捕捉验证指导带来的变化；原始高loss只表示当前难度，未必意味着对目标任务有价值。两者的选择信号不能直接互换。
教学例子：一条噪声样本可能一直很难，但验证指导并未让它变得更有用。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
TESS 的 Δ_i 可以一边拟合 selector 一边反传回 U/W 吗？
TESS: Scalable, Transferable Meta-network for Data Selection Requires a Different Loss (and Why the Obvious Choice is Problematic)
问答新增：2026-10-27 · Nanyang Technological University
展开答案与例子
答案：文档要求stop-gradient伪标签，并从相同初始权重顺序训练U/W；selector只拟合保存的损失差。分数可为负，不能未经转换就当采样概率，也不能把test冒充validation。
教学例子：一个样本价值差为负时，应先保留该监督含义，而非偷偷clamp成0。
依据：核心公式、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
OPEN-1B 为什么把逐步状态审计放到训练流程里？
OPEN-1B: A Fully Auditable Training Run
问答新增：2026-10-27 · Gensyn
展开答案与例子
答案：最终checkpoint不能单独说明每一步怎样得到。固定计算与数据顺序，并记录状态哈希，可支持重放某一步并对照状态，帮助定位训练执行差异。
教学例子：第100步开始偏离时，可先对照这一点的输入与状态，而不只比较最终模型分数。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
只固定随机种子，为何还不足以审计一次预训练能否逐步重放？
OPEN-1B: A Fully Auditable Training Run
问答新增：2026-10-27 · Gensyn
展开答案与例子
答案：数据批次、kernel归约与集体通信顺序也会影响浮点计算轨迹。OPEN-1B把这些执行条件与逐步状态哈希一起记录，用单步重放定位差异，而不只比较最终loss。状态哈希能发现不一致，但不能自动解释差异来源，也不等于换硬件后天然逐bit相同。
教学例子：同样梯度项换一种求和顺序就可能产生小数值差；若只保存seed，难以知道差异从哪一步开始，逐步哈希与执行顺序记录可帮助缩小范围。
依据：背景与主要改动、核心公式与实现对应；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
只固定随机 seed，与固定 reduction、批次和通信顺序有什么区别？
OPEN-1B: A Fully Auditable Training Run
问答新增：2026-10-27 · Gensyn
展开答案与例子
答案：seed只控制部分随机来源，浮点归约顺序、批次次序和集体通信也可能改变结果。审计需要把这些执行条件显式固定，不能把同seed自动等同于跨硬件逐步可重放。
教学例子：加法顺序变化也可能积累数值差异，即使最初随机初始化相同。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
canonical hash 一致，能够独自证明整个400B-token训练已复现吗？
OPEN-1B: A Fully Auditable Training Run
问答新增：2026-10-27 · Gensyn
展开答案与例子
答案：不能。当前本地只验证固定顺序reduction与canonical hash；完整审计还需对应批次、状态和实际重放链路。哈希是状态对照工具，既不替代训练执行，也不单独证明算法正确。
教学例子：两个小张量编码后哈希相同，不等于已重放原文全部预训练步骤。
依据：本地复现、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
Musec 想限制的是动量矩阵里的哪一类不稳定因素？
Musec: MomentUm SpEctral Clipping for Stable Muon-type Training
问答新增：2026-10-27 · National University of Singapore
展开答案与例子
答案：它针对过大的谱方向，对动量奇异值施加平滑裁剪，减少这些方向对Muon-type更新的支配。控制谱幅度是稳定更新的手段，不自动保证最终任务loss更好。
教学例子：少数异常大的奇异值可被约束，正常方向不必一起按同样倍率缩小。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
Musec的谱裁剪与把所有梯度统一缩小，有什么区别？
Musec: MomentUm SpEctral Clipping for Stable Muon-type Training
问答新增：2026-10-27 · National University of Singapore
展开答案与例子
答案：谱裁剪作用于动量矩阵的奇异值，重点限制不稳定的大方向，并用平滑处理避免硬阈值附近的不连续。统一缩放则同时压小所有方向，无法表达这种选择性。它控制的是更新几何；稳定性与最终优化质量仍需分开验证，不能由范数受控直接推出任务效果更好。
教学例子：一个矩阵方向特别大、其他方向正常；谱处理可以主要约束异常方向，而整体乘0.1会连正常方向也一起缩得很小。
依据：背景与主要改动、核心公式或操作；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
平滑谱裁剪与硬阈值截断，在阈值附近有什么不同？
Musec: MomentUm SpEctral Clipping for Stable Muon-type Training
问答新增：2026-10-27 · National University of Singapore
展开答案与例子
答案：硬阈值对跨界方向处理会突变；平滑裁剪让奇异值映射随输入更连续。它改变谱幅度的响应方式，仍需要明确裁剪规则和预算，不能仅用“更稳定”替代定义。
教学例子：一个奇异值从略低阈值变到略高阈值时，不应突然产生完全不同的更新幅度。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
本地完整 SVD soft-clipping reference，能证明大模型训练吞吐吗？
Musec: MomentUm SpEctral Clipping for Stable Muon-type Training
问答新增：2026-10-27 · National University of Singapore
展开答案与例子
答案：不能。它用于检查动量的谱分解、平滑映射与重建方向，未复刻大模型训练或优化性能kernel。应把谱处理数值正确性与端到端耗时分开验收。
教学例子：小矩阵经裁剪重建符合参考，不说明在大模型每步做这件事仍具有同样开销。
依据：本地复现、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
HiLP 为什么同时预测下一 latent 和更粗的 abstract latent？
Hierarchical Latent Prediction for Language Models
问答新增：2026-10-27 · University of Texas at Austin
展开答案与例子
答案：逐步latent rollout可能累积局部误差，较粗时间尺度的目标为局部状态提供长期结构约束。它让模型既关注下一步细节，也学习更远尺度的变化。
教学例子：预测接下来一个词的表示时，也受到下一段整体走向的辅助约束。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
HiLP为什么在逐步latent预测之外，再加一个更粗时间尺度的目标？
Hierarchical Latent Prediction for Language Models
问答新增：2026-10-27 · University of Texas at Austin
展开答案与例子
答案：连续一步预测可能把小误差逐步传下去，局部相似并不保证远处结构仍正确。HiLP用粗粒度抽象latent目标约束更长尺度，同时保留next-token与局部latent训练，使表示兼顾近期细节和远程结构。层级目标提供额外约束，不等于消除了rollout误差或无需检验长程效果。
教学例子：每一步都稍微偏离路线，走很多步后会离终点很远；除了预测下一步，还预测下一个阶段的抽象状态，可以对局部轨迹施加更远的约束。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
增加粗尺度 latent loss，与单纯加大下一步预测 loss 权重有什么不同？
Hierarchical Latent Prediction for Language Models
问答新增：2026-10-27 · University of Texas at Austin
展开答案与例子
答案：后者仍监督同一时间尺度；粗尺度目标引入不同跨度的预测对象，能约束局部误差未覆盖的结构。比较时需区分新增目标与仅调整λ1的效果，不能把两者视为同一消融。
教学例子：把下一秒误差权重翻倍，并不等于要求模型预测下一分钟的整体状态。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
HiLP 的实验怎样才能说明粗尺度目标的作用，而不是数据或预算变化？
Hierarchical Latent Prediction for Language Models
问答新增：2026-10-27 · University of Texas at Austin
展开答案与例子
答案：应在相同切分、训练预算和主干下比较去掉与加入块级abstract目标的路径，分别记录细尺度与粗尺度误差。当前合成序列机制对照不等于论文规模语言模型效果。
教学例子：只增加λH对应目标，若同时更换数据和训练步数，就难把变化归因于层级预测。
依据：核心公式、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
DataOrchestra 为什么把每个 chunk 当成一个需要单独决策的数据处理单元？
DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data
问答新增：2026-10-27 · Fudan University / Shanghai Jiao Tong University / SII-GAIR
展开答案与例子
答案：不同chunk的噪声与质量不同，固定清洗流程可能过度处理干净文本。orchestrator为每块选择Drop、Untouch或Clean，并在需要时组织具体阶段和指令。
教学例子：一段已干净的说明可原样保留，另一段乱码则可能删除或局部修复。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
DataOrchestra为何先允许Drop和Untouch，而不是给每个chunk都依次清洗三遍？
DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data
问答新增：2026-10-27 · Fudan University / Shanghai Jiao Tong University / SII-GAIR
展开答案与例子
答案：不同样本需要不同处理，干净文本反复改写既浪费算力又可能损伤内容。orchestrator先决定丢弃、原样保留或清洗，只有Clean才组合噪声剪除、表面修正与教学增强，并生成样本专属指令；训练计划还经过真实执行与核验。目标是质量与成本的取舍，不是最大化被清洗比例。
教学例子：一段干净教科书可Untouch，网页噪声段先剪除导航，严重缺内容的段落可Drop；给三者统一套改写指令，可能花钱把原本正确的文本改坏。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
逐样本编排相对统一 corpus-level 清洗，为什么还要保留 Untouch？
DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data
问答新增：2026-10-27 · Fudan University / Shanghai Jiao Tong University / SII-GAIR
展开答案与例子
答案：Untouch明确允许不处理，避免把清洗率误当质量目标。逐样本计划还可选择不同阶段；统一流水线通常让同类操作作用于所有样本，难兼顾过度改写与处理成本。
教学例子：把本来正确的代码也强行改写，可能既花工具计算又破坏原始信息。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
DataOrchestra 的 teacher 粗计划，能未经执行验证就直接作为最终 SFT 目标吗？
DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data
问答新增：2026-10-27 · Fudan University / Shanghai Jiao Tong University / SII-GAIR
展开答案与例子
答案：文档先实际执行tool model并由verifier检查，失败rewrite有限次纠正，内容损失或改动不足的stage会删除；通过验证的evolved plan才用于训练。只存一份粗计划不能替代这条闭环。
教学例子：计划写了“修复格式”，但执行后丢了内容，这个stage不应仍被当作成功范例。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
量化里的 activation outlier 为什么会让大多数普通数值也受影响？
GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries
问答新增：2026-10-27 · University of Cambridge
展开答案与例子
答案：有限位宽要覆盖一组数的动态范围，少数大幅度通道会让表示普通值的间隔变粗。GaugeQuant学习内部正交基，用outlier目标寻找更利于量化的表示；浮点等价不代表量化误差相同。
教学例子：用很少刻度同时表示1、2和1000时，普通小数值之间的差异可能更难保留。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
GaugeQuant为什么能先换内部坐标基，再降低量化误差，而不必先改变原始浮点函数？
GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries
问答新增：2026-10-27 · University of Cambridge
展开答案与例子
答案：某些内部通道变换具有函数等价的对称性：一侧乘正交基，另一侧作逆变换，浮点组合保持一致。量化却依赖坐标轴上的数值分布，因此等价基可能有不同outlier和舍入误差。方法在线学习更友好的基，利用的是函数等价与量化不等价之间的空间，不能随意在不满足对称条件的位置旋转。
教学例子：原来能量集中在一个特别大的通道，经合法旋转可分散到多个通道；逆变换保持浮点输出，而低比特码本可能更容易表示分散后的数值。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
GaugeQuant 与依赖额外 calibration corpus 的离线量化，优化时机有什么不同？
GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries
问答新增：2026-10-27 · University of Cambridge
展开答案与例子
答案：GaugeQuant把正交基及outlier目标放进训练，与LM目标共同优化；离线校准通常在冻结模型后根据样本统计调整量化。训练机制和额外数据需求不同，不能仅比较最终位宽。
教学例子：两个方案都写W4A4，但一个在训练中改变基，另一个在训练后固定校准参数。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
验证 GaugeQuant 时，怎样区分函数保持、fake quant 与真正 int4 执行？
GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries
问答新增：2026-10-27 · University of Cambridge
展开答案与例子
答案：先核对Q正交及对应权重变换，再检查量化与梯度路径；STE fake quant仍可用浮点kernel执行。本地没有int4 kernel，不能用位宽标签推导实测吞吐或内存带宽收益。
教学例子：张量值被映射到16个级别，不代表它已以4-bit打包并被int4硬件指令读取。
依据：核心公式、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
PPL-Factory 为什么把样本选择策略与任务、数据预算绑定？
PPL-Factory: Task-Aware and Budget-Aware Data Selection from Language Modeling to Reasoning
问答新增：2026-10-27 · McGill University
展开答案与例子
答案：固定选最难或最容易并不适用于所有预算。方法先用冻结模型计算任务相关NLL，再按预算在easy、middle及mid-random之间切换，兼顾训练效用与覆盖。
教学例子：极少数据时，只取狭窄分数区间可能损失覆盖，随机抽middle pool是另一种取舍。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
PPL-Factory为什么不总选最难样本，还要随任务和数据预算改变选择区间？
PPL-Factory: Task-Aware and Budget-Aware Data Selection from Language Modeling to Reasoning
问答新增：2026-10-27 · McGill University
展开答案与例子
答案：样本难度与有用性并非固定单调关系；高预算、低预算和极小预算下，学习信号与覆盖的取舍不同。它先用冻结基础模型按任务口径打分，再分别偏向easy、middle或从middle池随机抽样。推理SFT只看response损失，不能让prompt长度主导所谓难度。
教学例子：预算只能留几十条时，机械挑最难可能全是模型尚无学习信号的样本；从中等池随机抽取可保留部分覆盖。预算足够大后，最佳策略又可能改变。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
推理 SFT 的 response-only NLL，与整段 prompt+response NLL 排名可能相同吗？
PPL-Factory: Task-Aware and Budget-Aware Data Selection from Language Modeling to Reasoning
问答新增：2026-10-27 · McGill University
展开答案与例子
答案：不一定。整段分数会受到prompt长度和易预测文本影响；response-only把选择依据集中到reasoning/answer部分。语言建模packed-block又是另一口径，不能跨任务直接复用同一排名定义。
教学例子：一个很长但容易的prompt，可能掩盖其答案部分很难预测的事实。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
PPL-Factory 的选择实验，为什么要从同一冻结 scorer 和训练起点比较子集？
PPL-Factory: Task-Aware and Budget-Aware Data Selection from Language Modeling to Reasoning
问答新增：2026-10-27 · McGill University
展开答案与例子
答案：否则分数模型或初始checkpoint变化会混入选择效果。文档固定scorer、各组block数量和微调预算，并保留middle规则未迁移成功的负结果；不能事后按test重选区间。
教学例子：Random、Easy与Middle若分别从不同起点训练，就难把PPL差异归因于数据选择。
依据：本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
OpenLanguageModel 为什么坚持把组件保留为普通 PyTorch module？
OpenLanguageModel: Readable and Composable Small-Language-Model Pretraining for Education and Research
问答新增：2026-10-27 · Indian Institute of Technology Madras
展开答案与例子
答案：结构与训练/分布式框架强耦合会增加理解和消融成本。普通module加可组合布线，让模型结构更透明，同一模型也更容易在notebook、CPU和不同GPU环境间迁移。
教学例子：替换一个block时，可以明确看到改了哪条数据流，而不是同时更换整套训练框架。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
OpenLanguageModel的可组合Block/Residual/Repeat，怎样帮助判断消融到底改了什么？
OpenLanguageModel: Readable and Composable Small-Language-Model Pretraining for Education and Research
问答新增：2026-10-27 · Indian Institute of Technology Madras
展开答案与例子
答案：它把普通PyTorch组件与布线结构分开，让重复、残差和并行关系可直接组合，降低模型、训练循环与分布式执行的耦合。这样同一结构更容易跨notebook和不同设备运行，也更容易保持消融的其他条件一致。可读可组合是工程属性，本身不是模型能力提升的实验结论。
教学例子：比较串联两个块与两支并行相加时，可只改布线表达，沿用数据和训练循环；若同时换了整个分布式框架，就更难把结果归因于结构变化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
组合 DSL 的等价性测试，与比较一种新架构是否更好，目标相同吗？
OpenLanguageModel: Readable and Composable Small-Language-Model Pretraining for Education and Research
问答新增：2026-10-27 · Indian Institute of Technology Madras
展开答案与例子
答案：等价性测试检查改写布线后是否保持原计算语义；新架构比较则检验结构变化的效果。文档中几乎相同的PPL用于前者，不能把近零数值差异包装成质量提升。
教学例子：把x+f(x)改写成Residual(f)，首先应得到相同输出。
依据：核心公式、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
实现 Residual 与 Parallel 时，怎样避免把连接关系写错？
OpenLanguageModel: Readable and Composable Small-Language-Model Pretraining for Education and Research
问答新增：2026-10-27 · Indian Institute of Technology Madras
展开答案与例子
答案：按文档Residual(f)(x)=x+f(x)，Parallel(f,g)(x)=f(x)+g(x)。还需检查输出维度与重复块的参数关系，不能把分支相加误作顺序串联；本地未搬运上游全部preset。
教学例子：f(x)+g(x)通常不同于g(f(x))，即使最后shape相同。
依据：核心公式、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
企业软件工程适配，为什么不是把内部代码直接全部继续训练？
Customizing an LLM for Enterprise Software Engineering
问答新增：2026-10-27 · Google
展开答案与例子
答案：文档强调从开发历史提取高价值代码与交互信号，再做去重、质量过滤和污染控制，之后中训练与内部工具后训练。数据选择与评测环境同样是方法链路的一部分。
教学例子：重复生成文件与高价值修复历史，不应未经筛选就按同样权重混在一起。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
企业代码适配为什么还混入通用数据回放，而不是只训练内部高价值样本？
Customizing an LLM for Enterprise Software Engineering
问答新增：2026-10-27 · Google
展开答案与例子
答案：企业样本使模型熟悉内部代码、工具和交互方式，但单独优化这部分可能遗忘通用能力。通用回放给训练提供另一组约束；去重、质量和污染控制则保护数据及评测口径。混合比例表达适配与保留的权衡，不能由内部任务提升直接推出通用能力也保持不变。
教学例子：模型学会内部构建命令后仍要完成一般代码推理；若训练全被内部模式占满，通用任务可能退化，所以应同时验证企业收益与通用回放的保留效果。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
企业中训练数据准备，与普通通用语料继续训练有什么额外约束？
Customizing an LLM for Enterprise Software Engineering
问答新增：2026-10-27 · Google
展开答案与例子
答案：企业任务包含内部代码、交互和工具使用分布，还需要控制重复与评测污染，并兼顾通用能力保留。通用训练loss下降不能自动替代内部开发工作流的部署评测。
教学例子：背下历史修复补丁可能降低训练loss，却不代表对新的内部问题更有效。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
混合 replay 目标里的 λ 两个极端，能帮助检查什么实现错误？
Customizing an LLM for Enterprise Software Engineering
问答新增：2026-10-27 · Google
展开答案与例子
答案：λ=0应只剩企业适配loss，λ=1只剩通用replay loss，可核对混合方向与系数。本地仅执行该目标与不变量，没有Google私有数据、Gemini权重或内部A/B能力。
教学例子：把λ设为1后仍主要计算企业loss，说明权重方向或数据分支可能写反。
依据：核心公式、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
Data Quality LSA 为什么用线性回归来分析预训练与后训练？
Theoretical Perspectives on Data Quality and Synergistic Effects in Pre- and Post-Training Reasoning Models
问答新增：2026-10-27 · University of Southern California / Google Research
展开答案与例子
答案：受控线性注意力结构能明确展示数据协方差、初始化和不同监督方式怎样影响权重预测，并给出闭式参考。它是分析模型，不应直接当作完整LLM训练的经验结论。
教学例子：改变训练任务的协方差，可在小矩阵里单独观察初始化如何影响后续拟合。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
这篇数据质量理论里的OS，为什么不能直接称为完整的强化学习后训练？
Theoretical Perspectives on Data Quality and Synergistic Effects in Pre- and Post-Training Reasoning Models
问答新增：2026-10-27 · University of Southern California / Google Research
展开答案与例子
答案：OS在此指outcome-supervised regression：只监督最终预测，并与使用教师中间状态的SFT对比。线性attention模型与协方差假设让作者能分析闭式关系，但没有完整策略采样、优势估计和policy gradient链路。该理论可帮助理解信息与目标差别，不能被扩成真实LLM RL已得到同样结论。
教学例子：学生只在最后一步的回归权重上计算平方误差，与每一步都对齐教师状态不同；即便前者叫结果监督，也并没有因此出现奖励驱动的策略梯度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
这项分析中的 SFT 中间状态监督与 OS 最终监督，信息供给有何不同？
Theoretical Perspectives on Data Quality and Synergistic Effects in Pre- and Post-Training Reasoning Models
问答新增：2026-10-27 · University of Southern California / Google Research
展开答案与例子
答案：SFT使用教师中间权重状态作为训练目标，OS让模型自主rollout后只监督最终预测。两者在训练时可见的轨迹信息不同，OS也不因此自动包含policy gradient等完整RL机制。
教学例子：一步步给标准中间结果，与只在最后检查预测权重是否接近目标，训练信号不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
为什么自主 rollout 接口不能接收真实任务权重 w*？
Theoretical Perspectives on Data Quality and Synergistic Effects in Pre- and Post-Training Reasoning Models
问答新增：2026-10-27 · University of Southern California / Google Research
展开答案与例子
答案：真实权重属于训练loss的监督，传进自主生成会把答案泄漏到被评估路径。文档rollout只读取公开上下文，训练目标进入明确命名的loss；闭式SFT还需保留初始化的零空间分量。
教学例子：预测下一状态的函数不能先拿到它最终应当恢复的真实权重。
依据：核心公式、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
鲁棒生成专家组合为什么要关注最差数据域，而不只优化平均 loss？
A Theoretical Framework for Modular Learning of Robust Generative Models
问答新增：2026-10-27 · Google Research
展开答案与例子
答案：平均分可能掩盖某个域的明显退化。方法用对抗域权重调整输入相关gate，使组合考虑较差域，同时显式处理整个生成分布的质量约束。
教学例子：三个域中两个很好、一个很差，平均改善不代表最差域已得到保护。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
生成专家的gate在每个输入上都softmax，为何组合分布仍可能没有归一化？
A Theoretical Framework for Modular Learning of Robust Generative Models
问答新增：2026-10-27 · Google Research
展开答案与例子
答案：若gate随被评价的完整样本变化，它不能像固定混合系数那样移出全局求和；逐输入权重和为1并不保证混合密度对全部样本求和为1。方法因此额外约束总质量，并区分最差域的KL与NLL口径。忽略全局约束，或事后悄悄归一化，都改变了原优化问题。
教学例子：只有A、B两个样本，gate在A处偏向最擅长A的专家，在B处又偏向最擅长B的专家；两处都取到高密度后，总和可能大于1，尽管每处gate都和为1。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
理论域 KL 与实践域 NLL，对 gate 和对抗权重总是等价吗？
A Theoretical Framework for Modular Learning of Robust Generative Models
问答新增：2026-10-27 · Google Research
展开答案与例子
答案：同一域中两者相差与gate无关的域熵，所以gate梯度等价；跨域熵不同时，对抗权重看到的收益排序可能改变。文档默认实践NLL，不能把两种对抗目标静默混用。
教学例子：两个域预测难度的固有熵不同，减去域熵可能改变哪个域被认为最差。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
从非因果教师轨迹蒸馏 router 时，为什么缓存目标不能直接作为 router 输入？
A Theoretical Framework for Modular Learning of Robust Generative Models
问答新增：2026-10-27 · Google Research
展开答案与例子
答案：教师缓存可用于训练目标，但因果router的logits必须只由前缀产生；否则把未来信息泄漏到路由。文档API不自动证明调用方网络因果，调用者还需独立检查这一边界。
教学例子：训练时知道目标token的专家概率，不代表推理路由器可以提前看到目标token。
依据：核心公式、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
ECO 为什么希望同时移除 master weights 和独立误差缓冲？
ECO: Quantized Training without Full-Precision Master Weights
问答新增：2026-10-27 · Google Research / ISTA
展开答案与例子
答案：低精度训练若仍保存高精度主权重或额外误差状态，存储优势会受限。ECO把重量化误差补入已有动量，尝试在不增加这些持久状态的条件下累积微小更新。
教学例子：很小的更新本次未改变低精度权重，也不应因此永远丢失其影响。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
ECO去掉高精度master weights后，微小更新被量化吃掉的问题怎样处理？
ECO: Quantized Training without Full-Precision Master Weights
问答新增：2026-10-27 · Google Research / ISTA
展开答案与例子
答案：它直接更新量化权重，并把本次重量化误差反馈到已有动量，避免额外保存主权重或独立误差缓冲。补偿系数与优化器步长相关；Adam的有效步长逐元素变化，不能照搬SGDM标量系数。无额外缓冲规则还有推导近似，不能说每一步都与高精度轨迹精确等价。
教学例子：一次更新小于量化网格，权重暂时没变；误差信息进入动量，影响后续更新，而不是凭空丢掉或另外保存一整份高精度权重。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
ECO 的无缓冲动量补偿，与保存完整前后量化误差的精确等价规则相同吗？
ECO: Quantized Training without Full-Precision Master Weights
问答新增：2026-10-27 · Google Research / ISTA
展开答案与例子
答案：不相同。文档说明无额外缓冲形式由相邻误差接近的观察推导，并另有收敛分析；不能把它写成任意量化条件下逐步严格等价于高精度训练。
教学例子：两步量化误差差异很大时，不能仅凭公式形似就宣称与保存所有误差完全相同。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
把 ECO 从 SGDM 移到 Adam 时，为什么不能沿用一个标量学习率做补偿？
ECO: Quantized Training without Full-Precision Master Weights
问答新增：2026-10-27 · Google Research / ISTA
展开答案与例子
答案：Adam的偏置修正与第二矩产生逐元素有效步长η_t，误差注入需使用这一尺度。直接照搬SGDM标量系数会对不同坐标补偿失配；量化格式与缩放粒度也必须记录。
教学例子：两个坐标预条件步长不同，同样的量化误差不能都除以同一个标量来补偿。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
ME-POIs 为什么把访问轨迹、地点原型和文本监督放在一起？
Mobility-Embedded POIs: Learning What A Place Is and How It Is Used from Human Movement
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：稀疏地点缺少充足访问记录。方法将短期轨迹与长期地点原型连接，并从高频锚点跨空间尺度传递时段信息，再借文本语义对齐补充监督。
教学例子：一个少有人到访的地点，可从附近高频地点的时段模式获得辅助信息。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
ME-POIs怎样给访问稀少的地点补充时段信息，为什么不能把所有尺度锚点一锅归一化？
Mobility-Embedded POIs: Learning What A Place Is and How It Is Used from Human Movement
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：它借助高频地点的时段分布，在每个空间尺度内部先按距离对锚点归一化，再在尺度间平均，避免某个尺度只因锚点多就主导结果。轨迹编码连接短期访问与长期地点原型，文本另作语义对齐。行为时段、地点语义与冻结后的属性探针各有角色，不能混作一个标签。
教学例子：小尺度有2个近邻锚点，大尺度有20个；先各自归一化再平均，可让尺度贡献按设计组合，而不是让大尺度仅凭数量多就压过近邻信息。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
按每个空间尺度分别归一化再平均，与所有锚点混成一个 softmax 有何差异？
Mobility-Embedded POIs: Learning What A Place Is and How It Is Used from Human Movement
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：分尺度归一化让每个尺度形成自身的锚点分布，再按规定平均；混池会让不同尺度的权重直接竞争，改变每个尺度的贡献，不能视为相同的多尺度传递。
教学例子：近邻尺度与远邻尺度各给一份预测，而不是因某尺度候选多就占更大总质量。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
ME-POIs 的对比负例应按访问记录数量重复加入同一地点吗？
Mobility-Embedded POIs: Learning What A Place Is and How It Is Used from Human Movement
问答新增：2026-10-27 · University of Southern California
展开答案与例子
答案：文档Eq.9使用minibatch中不重复的地点原型。重复访问同一地点不应凭数量变成多个独立原型负例；时段KL还需保持r||q方向与对地点求和的口径。
教学例子：同一POI出现三次访问，原型候选集合中仍只保留一个该POI。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
Muon 为什么把隐藏矩阵的更新方向看成一个矩阵几何问题？
Muon is Scalable for LLM Training
问答新增：2026-10-27 · Moonshot AI / UCLA
展开答案与例子
答案：隐藏权重各坐标共同构成线性映射，Muon用动量矩阵的近似polar方向组织更新，而非只逐坐标调尺度。它关注更新方向的谱结构，并配合形状缩放及weight decay。
教学例子：矩阵中一个相关方向很强时，处理整张矩阵与给每个元素独立调步长不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
Muon为什么把梯度当矩阵处理，而不是像AdamW那样逐坐标调步长？
Muon is Scalable for LLM Training
问答新增：2026-10-27 · Moonshot AI / UCLA
展开答案与例子
答案：它对带动量的隐藏矩阵梯度做近似极分解，调整更新的谱几何，再配合权重衰减与形状缩放。处理对象是矩阵整体的方向关系，不只是每个标量自己的二阶矩。论文大规模方案对非隐藏矩阵参数仍使用AdamW，因此不能把整个训练器简单写成所有张量都调用同一个正交化函数。
教学例子：两列梯度几乎共线，逐坐标缩放与矩阵极分解会给出不同更新方向；词表或一维参数是否适合该规则，也需要按论文参数分工处理。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
本地 Muon 与“所有参数都使用同一个 Muon 更新”有什么差别？
Muon is Scalable for LLM Training
问答新增：2026-10-27 · Moonshot AI / UCLA
展开答案与例子
答案：文档对hidden矩阵走Muon，对embedding、norm、bias和head等非隐藏参数继续使用AdamW。混合优化器身份是比较的一部分，不能忽略辅助AdamW后声称完全替代。
教学例子：一维norm参数并不适合直接套用矩阵Newton–Schulz迭代。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
Muon 的 Newton–Schulz 输入为什么先除以 Frobenius 范数？
Muon is Scalable for LLM Training
问答新增：2026-10-27 · Moonshot AI / UCLA
展开答案与例子
答案：归一化控制迭代输入尺度，再按给定多项式系数近似polar方向；还需处理零或极小范数，并保留形状相关缩放。只做归一化或只报正交误差，都不能替代真实优化效果与耗时测量。
教学例子：把同一梯度整体放大很多倍，不应直接让迭代落到完全不同的数值尺度。
依据：核心公式、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
Data Mixing Laws 为什么先花小预算训练多组数据配比？
Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance
问答新增：2026-10-27 · University of Cambridge / Shanghai AI Laboratory
展开答案与例子
答案：这些pilot实验为各评测域的性能预测提供观测，再拟合配比与训练规模的关系。目标是减少每个候选都完整训练的成本，但预测依赖pilot覆盖与模型假设。
教学例子：先试十组小配比，再用拟合曲线筛选其它候选，而非把未训练点当成实测结果。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
Data Mixing Laws怎样搜索没真正训练过的数据配比，依据又有什么限制？
Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance
问答新增：2026-10-27 · University of Cambridge / Shanghai AI Laboratory
展开答案与例子
答案：先用多组小预算混合训练观察各评测域损失，再拟合配比、规模与性能关系，最后在拟合模型上搜索目标加权最优配比。省掉的是穷举每个大预算配方的成本，预测可靠性仍取决于试验覆盖和拟合假设；验证选择不能使用最终测试结果反复调配。
教学例子：已经测过代码占比20%、50%、80%的小模型，可预测中间配比的表现，再选择少量候选验证；不能把曲线预测值直接当成该大模型配方的实测成绩。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
拟合 mixing law 搜索配比，与对每个配比直接训练评测，有何证据差别？
Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance
问答新增：2026-10-27 · University of Cambridge / Shanghai AI Laboratory
展开答案与例子
答案：前者在未训练点使用模型预测，节省试验但引入拟合与外推误差；后者给出对应配置实测，成本更高。预测最优仍需独立实验复核，不能把曲线最小值直接写成已测收益。
教学例子：预测某个70/30组合最好，不等于该组合已经完成目标规模训练。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
搜索数据混合时，怎样避免把 test 目标写进配比选择？
Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance
问答新增：2026-10-27 · University of Cambridge / Shanghai AI Laboratory
展开答案与例子
答案：拟合、域权重和候选选择需使用预先规定的训练/validation协议，最终才测test；配比还必须满足非负与总和为1。本地unigram proxy不是RedPajama多模型缩放曲线，边界需保留。
教学例子：不能看完test各域损失后，再调整w_i直到同一test上的加权分数最好。
依据：核心公式、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
基础理解
DoReMi 为什么用小 proxy 来学习目标模型的数据配比？
DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining
问答新增：2026-10-27 · Stanford University / Google Research
展开答案与例子
答案：大模型反复试配比成本高。DoReMi先在小proxy上以excess loss做group DRO，动态调整域权重，再把所得配比用于目标训练；proxy到目标的迁移仍需验证。
教学例子：先用较小试验判断哪些域相对reference欠拟合，再分配昂贵目标训练的数据。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
核心机制
DoReMi为什么提高excess loss较大的域，而不是直接追最高原始loss的域？
DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining
问答新增：2026-10-27 · Stanford University / Google Research
展开答案与例子
答案：原始loss同时反映任务固有难度和当前欠拟合；减去参考模型的域损失后，excess loss更关注相对参考仍未学好的部分。小proxy通过group DRO学习域配比，再把配比交给目标模型训练。得到的是特定数据和参考下的资源分配，不能把高熵域天然难预测误当成它总该拿最多预算。
教学例子：A域原始loss为5、参考为4.9，B域为3、参考为2；前者虽绝对更难，B相对参考的缺口却更大，权重更新会区分这两种情况。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
方法对比
DoReMi 的动态权重更新，与从头到尾均匀采样有什么不同？
DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining
问答新增：2026-10-27 · Stanford University / Google Research
展开答案与例子
答案：均匀采样保持域概率不变；DoReMi按各域相对reference的excess loss指数调整并归一化，回应训练中的相对欠拟合。它并不是对原始loss最高的域无条件加权。
教学例子：两个域原始loss都高，但其中一个reference本来就难，excess loss可区分这两种情形。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 训练预算：数据配比、目标与优化器
实现细节
DoReMi 每轮更新 α 后，为什么仍要跨域归一化？
DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining
问答新增：2026-10-27 · Stanford University / Google Research
展开答案与例子
答案：指数更新先得到相对权重，归一化后才能作为采样分布并保持总和1。需要固定对应reference口径；本地两域unigram proxy不等同于The Pile上的280M proxy到8B target迁移。
教学例子：两域权重变成2和3时，采样概率应为0.4与0.6，而不是直接把2和3当概率。
依据：核心公式、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接