基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
把静态bias移进key，为什么不可能对所有未来query都严格等价？
Folding Attention Biases into Keys Makes Compacted KV Caches Run on Standard Kernels
问答新增：2026-10-30 · Independent Researcher
展开答案与例子
答案：key位移贡献的是query的线性函数，而非零bias是与query无关的常数；两者无法在整个query空间相等。FoldBias拟合共享方向u，让上下文query的q·u尽量接近1，未来query漂移仍可能导致误差。因此它是分布相关的近似，不是通用代数恒等替换。
教学例子：若query取零向量，任何key位移产生的logit变化都为0，不可能等于非零bias0.8；若某个query满足q·u=1，则该query的bias可精确表达。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
为何要把ridge解重新缩放到μᵀu=1，而不是直接用无约束最小二乘方向？
Folding Attention Biases into Keys Makes Compacted KV Caches Run on Standard Kernels
问答新增：2026-10-30 · Independent Researcher
展开答案与例子
答案：无约束最小二乘会在平均偏差和投影离散之间折中，可能把所有bias整体衰减。论文在ridge稳定的逆协方差方向上重新定长，强制平均投影为1，再最小化该约束下的离散程度。协方差按N计算，ridge也随其trace定义，不能任意换成N−1口径。
教学例子：一维μ=2、方差1，无ridge时无约束LS方向为2/5，平均投影0.8；约束方向为1/2，平均投影恰为1。两者不是同一校准目标。
依据：核心公式、检查与负控；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
FoldBias为什么比直接删除bias更有根据，但又不能保证每个query都更好？
Folding Attention Biases into Keys Makes Compacted KV Caches Run on Standard Kernels
问答新增：2026-10-30 · Independent Researcher
展开答案与例子
答案：删除bias相当于把所有bias乘0；折叠相当于乘q·u，在上下文拟合良好且未来query接近时更接近乘1。若未来query远离拟合超平面，q·u可能很差。误差界还依赖bias范围和values直径，只在同values、未舍入keys的比较成立，不自动覆盖重拟合后的serving系统。
教学例子：q·u=0.9时仅留下10%的bias误差；若漂移到−2，则误差系数为3，可能比删除bias的系数1更差。该例不是LLM准确率。
依据：背景与主要改动、核心公式、论文离线与线上效果；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
为什么必须先真实转成BF16，再拟合values？只在结果里写BF16不够吗？
Folding Attention Biases into Keys Makes Compacted KV Caches Run on Standard Kernels
问答新增：2026-10-30 · Independent Researcher
展开答案与例子
答案：values最小二乘拟合使用的attention必须与实际舍入后的keys一致。若先在高精度keys上拟合，再把keys舍入，得到的是另一个attention矩阵，正规方程不再对应最终keys。本地实际执行dtype转换再构造A，返回拟合精度系数；完整cache安装、values存储舍入和后端正确性仍需另验。
教学例子：折叠key的某分量为1.003，BF16会舍到1.0。拟合A时若仍使用1.003，相当于让values补偿一张部署时不会出现的attention表。
依据：核心公式、本地复现、检查与负控；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
为什么已经量化好的模型，还能从当前激活的舍入残差中找回信息？
ResCom: Activation Residual Compensation for Large Language Model Quantization
问答新增：2026-10-29 · Institute of Automation, Chinese Academy of Sciences
展开答案与例子
答案：量化把一段连续输入映射到同一个格点，只看量化值无法分辨格点内的不同输入。但当前前向在舍入前后都能看到激活，两者之差仍保留被丢掉的信息。ResCom把这份残差送入固定低秩分支，而不是重新训练量化器。
教学例子：1.01与1.04都舍入为1.0，只看1.0的分支输出相同；残差0.01与0.04却允许补偿器给出不同输出。这不是论文模型准确率。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
ResCom为什么对白化后的输出交叉统计做SVD，而不是直接截断主权重？
ResCom: Activation Residual Compensation for Large Language Model Quantization
问答新增：2026-10-29 · Institute of Automation, Chinese Academy of Sciences
展开答案与例子
答案：秩预算应分给真实出现且会影响输出的残差方向。残差Gram矩阵描述校准分布的尺度与相关性，误差-残差交叉统计描述其输出作用；Cholesky白化后截断SVD求解的是带ridge的输出重建目标。直接截断权重没有利用残差分布，目标不同。
教学例子：某方向残差很大却被主层几乎抑制，另一个方向残差小但被放大；有限秩应由输出损失判断，而非只按残差幅度选。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
给量化输入加低秩分支，与给舍入残差加低秩分支，关键差别是什么？
ResCom: Activation Residual Compensation for Large Language Model Quantization
问答新增：2026-10-29 · Institute of Automation, Chinese Academy of Sciences
展开答案与例子
答案：前者仍只能读取量化值，因此无法区分落在同一格点的输入；后者读取被删除的部分，在同一预算下拥有不同的信息。ResCom又保持既有主路径冻结，所以它也不同于先拆出高精度权重、再重新量化剩余权重的方案。
教学例子：先分走一部分权重再量化，会改变主路径校准问题；在已冻结路径旁加UVd+b则不改变原量化设置，两者不能作为同一个实现。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
为什么收集一层统计后立刻挂上补偿，会破坏ResCom的校准合同？
ResCom: Activation Residual Compensation for Large Language Model Quantization
问答新增：2026-10-29 · Institute of Automation, Chinese Academy of Sciences
展开答案与例子
答案：早层补偿改变后层所见激活，后层统计就不再来自同一个冻结原模型。论文先收集所有目标层，再安装分支；本地流式合并只合并同一冻结映射的样本。另外G与C是未除样本数的和，随意取平均而不调整ridge也会改变解。
教学例子：把样本数翻倍后G、C都加倍，固定ridge的相对强度随之变化；若悄悄把G、C除以样本数，不能继续声称同一个正则化问题。
依据：核心公式、本地复现、检查与负控；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
MoEZip 为什么把 KV 误差与专家路由联系起来？
MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs
问答新增：2026-10-27 · Korea University
展开答案与例子
答案：删除KV会改变attention输出，进而影响MoE router。普通压缩若只看attention质量，可能忽略路由敏感位置，因此方法从已观察instruction的gate与attention中估计全局routing anchors。
教学例子：一条KV虽不占最大attention，扰动它后却可能让token跨过专家选择边界。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
MoEZip为什么要在普通KV压缩预算中预留路由锚点？
MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs
问答新增：2026-10-27 · Korea University
展开答案与例子
答案：删除KV不仅改变注意力输出，还可能改变后续专家路由。方法把已观察指令位置的路由Fisher敏感性经注意力传播到上下文，先保留全局锚点，其余沿用基础压缩器预算。该敏感性不是路由翻转的充分条件，未来答案和离线金标诊断不得进入真实选择器。
教学例子：例如一段旧证据对答案词元注意力不高，却影响调用哪个专家，可被锚点保护；不能偷看将来的标准答案再倒选该保留哪段历史。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
MoEZip 的 Fisher trace，是 router top-k 翻转的精确判据吗？
MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs
问答新增：2026-10-27 · Korea University
展开答案与例子
答案：不是。它是分布曲率的方向平均代理，不含router对hidden的Jacobian，也不是翻转的充分必要条件。anchor评分需按该代理理解，不能把高trace直接写成必然换专家。
教学例子：两个位置trace相同，hidden扰动方向不同，实际路由变化仍可能不同。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
MoEZip 预留 anchors 后，base compressor 补预算时能再选同一批 anchors 吗？
MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs
问答新增：2026-10-27 · Korea University
展开答案与例子
答案：应排除已选anchors并补足剩余预算，最终gather真实KV且保持原时间索引。选择输入只能来自prefill可用instruction，不能用未来gold answer的离线路由翻转统计。
教学例子：总预算64、anchors16时，base需要补48个不同位置，而不是重复选16个anchor占名额。
依据：核心公式、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
Right On Q 为什么让量化学生自己生成训练前缀？
Right On Q: Recovering Reasoning under Quantization via Self-Generated Trajectories
问答新增：2026-10-27 · University of Michigan, Ann Arbor
展开答案与例子
答案：量化会改变模型真正走到的推理状态，固定全精度答案可能覆盖不到这些偏差。OnQ在学生前缀上查询冻结教师，让监督更贴近量化学生自身分布。
教学例子：学生前面走错一步后，教师仍在同一个错误前缀上给分布反馈，而非只展示另一条理想轨迹。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
OnQ为什么在量化学生自己的前缀上蒸馏，并对同位置不同候选使用不同KL混合权重？
Right On Q: Recovering Reasoning under Quantization via Self-Generated Trajectories
问答新增：2026-10-27 · University of Michigan, Ann Arbor
展开答案与例子
答案：量化改变生成路径，全精度教师标准轨迹未必覆盖学生实际错误状态。教师因此沿学生前缀评分，再按每个候选的师生概率比平衡正反KL，以分别处理低估和高估。混合系数停止梯度，近似词表还保留剩余质量桶，不能只归一化少数候选掩盖误差。
教学例子：例如学生在一个前缀低估正确数字却高估某个连接词，两种偏差不应共用整句权重；教师也不能换回自己的理想前缀来评分。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
OnQ 候选级 Dynamic KL，与整句固定 forward/reverse 混合有何差别？
Right On Q: Recovering Reasoning under Quantization via Self-Generated Trajectories
问答新增：2026-10-27 · University of Michigan, Ann Arbor
展开答案与例子
答案：同一前缀内有的token被学生低估、有的被高估，候选级α_v根据p_v与q_v变化；整句一个系数不能表达这种局部差异。α还需stop-gradient，避免权重本身变成被优化捷径。
教学例子：一个候选需要更强teacher覆盖，另一个需要抑制学生过高概率，二者不必用相同比例。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
用 teacher/student top-20 并集近似 OnQ 时，能只在并集内重新归一化吗？
Right On Q: Recovering Reasoning under Quantization via Self-Generated Trajectories
问答新增：2026-10-27 · University of Michigan, Ann Arbor
展开答案与例子
答案：文档近似保留额外“其余质量”类别，并保留学生残差质量梯度、平滑教师类别。直接截断再归一化会抹掉尾部差异。OPD更新latent权重与scale，zero point在该阶段固定。
教学例子：并集只覆盖90%概率时，剩余10%仍需作为一类参与目标，而非被默认为0。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
RACE 为什么直接缩小 attention 的原生 head 宽度？
RACE: RoPE-Aligned Attention Compression Based on Query-Key Activation Energies
问答新增：2026-10-27 · MIT CSAIL
展开答案与例子
答案：仅把KV存成低秩而在attention前还原，可能省存储却增加重建。RACE将QK选择与V子空间折叠进投影权重，让attention本身在保留维度上执行，而不重建完整Q/K/V。
教学例子：读出4维表示后直接在4维计算，而不是先还原成8维再做原运算。
依据：背景与主要改动、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
RACE压窄注意力后为什么仍保留原RoPE频率和原head缩放？
RACE: RoPE-Aligned Attention Compression Based on Query-Key Activation Energies
问答新增：2026-10-27 · MIT CSAIL
展开答案与例子
答案：压缩是原模型上的子空间变换，不是重新定义一套更窄模型。Q/K共同保留完整旋转对，频率不重编号，缩放仍按原维度；V子空间变换再折叠进输入输出权重，直接在低维计算。联合能量仅优化校准上界，不保证全局最小语言模型损失。
教学例子：例如保留原来的第二和第五个旋转平面，应继续使用它们原频率；若把它们改编成第一、第二频率，就同时改变了位置编码含义。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
RACE 的 Q/K 成对选择与 V 的 SVD 子空间，为什么使用不同压缩方式？
RACE: RoPE-Aligned Attention Compression Based on Query-Key Activation Energies
问答新增：2026-10-27 · MIT CSAIL
展开答案与例子
答案：QK需保持共同RoPE旋转平面及匹配几何，V主要承载被聚合内容，可用校准右奇异子空间投影。对三者任意使用同一通道裁剪规则，会改变原方法的角色分工。
教学例子：保留一个Q旋转对时K也要保留对应对，V则不必沿同样两维选择。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
压缩 V 后，为什么还要同步折叠输出投影 W_O？
RACE: RoPE-Aligned Attention Compression Based on Query-Key Activation Energies
问答新增：2026-10-27 · MIT CSAIL
展开答案与例子
答案：文档W_V′=W_VP_V、W_O′=P_VᵀW_O，二者共同形成对应子空间路径；只改V会造成维度或函数关系错配。校准选择/SVD被detach，折叠前向仍保留输入和权重梯度。
教学例子：V从8维降4维后，输出投影也要接收这4维的相应表示，而不是仍按原8维解释。
依据：核心公式、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
FLINT 为什么把查询和文档都压成固定数量的向量？
FLINT: Fixed-budget Late Interaction
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：逐token多向量检索的索引与查询成本随长度增长。FLINT用两套可学习latent读取两侧token，使双方都输出固定V个向量，以显式预算控制表征和检索规模。
教学例子：长短不同的文档都形成4个向量，长查询也不再必须逐token发起同样多次检索。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
FLINT把查询与文档都压成固定V个向量后，为什么评分仍不是对称平均相似度？
FLINT: Fixed-budget Late Interaction
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：两侧分别由可学习latent读取token，得到固定预算的多向量表示；后续对每个查询向量取文档侧最大匹配，再沿查询求和。两侧编码预算固定不意味着池化随意，也不意味着交换查询和文档后分数一样。关键在于查询各部分分别寻找最合适的文档证据。
教学例子：查询有“地点”和“时间”两个latent，每个各找文档中的最佳匹配再相加；若反过来要求文档所有latent都找查询匹配，求和对象变了，数值通常不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
FLINT 的可学习 latent pooling，与截取前 V 个 token 或平均池化有何不同？
FLINT: Fixed-budget Late Interaction
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：latent经cross-attention从全部有效token读取，再经过残差和FFN，能形成任务相关固定预算表示。截断会丢掉尾部，平均池化则使用另一种聚合规则，不是该模块的等价替代。
教学例子：文末关键证据仍可被latent读到，而直接保留前4个token无法看到它。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
FLINT 的 padding mask 与全 masked 输入，为什么需要明确接口约定？
FLINT: Fixed-budget Late Interaction
问答新增：2026-10-27 · University of Illinois Urbana-Champaign
展开答案与例子
答案：padding不能参与cross-attention；文档本地mask中True表示有效token，整行全部masked时报错。还需保留pre-LN及两段残差，而非只用一个裸attention产生固定V输出。
教学例子：批次padding占一半时，这些补位不应影响latent读取结果。
依据：核心公式、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
DropKV 为什么把淘汰问题转换成输出扰动评分？
DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction
问答新增：2026-10-27 · University at Albany, SUNY
展开答案与例子
答案：某项attention权重大小不足以说明删除它后输出怎样改变，还取决于value与当前输出的差。方法估算逐项移除扰动，并跨观察query累计，作为有限预算驱逐依据。
教学例子：一个权重不小的value若与当前输出很接近，删除影响仍可能较小。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
DropKV为什么不只按attention权重低就淘汰，还要考虑value与当前输出的差？
DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction
问答新增：2026-10-27 · University at Albany, SUNY
展开答案与例子
答案：删除一项会同时移除它的value贡献并重新归一化其他权重，影响取决于p除以一减p，以及当前聚合输出与该value的差。高权重项若内容与输出接近，未必造成最大扰动；低权重但value特殊也可能重要。方法据单项扰动近似累计决策，近似保证有条件。
教学例子：两个token权重同为0.1，一个value几乎等于当前输出，另一个携带截然不同的信息；删去后者的输出变化可以大得多，权重本身分辨不出。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
精确单项移除公式，能直接保证同时删多项的全局最优吗？
DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction
问答新增：2026-10-27 · University at Albany, SUNY
展开答案与例子
答案：不能。单项扰动是相对当前完整分布计算，多项同时删除会重新归一化并相互作用。文档将组合驱逐近似为逐项评分，理论近似保证也有条件，不可无条件外推。
教学例子：两个可互相补偿的value，单删各自影响小，同时删除却可能改变输出很多。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
DropKV 的 p_j 舍入成1时，直接在分母加 epsilon 可以保留原公式吗？
DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction
问答新增：2026-10-27 · University at Albany, SUNY
展开答案与例子
答案：不可以宣称等价。p_j/(1-p_j)此时奇异，本地明确拒绝，避免用ε悄悄改变定义。还需核对近期窗口无穷保护、MaxPool以及GQA到物理KV head的评分均值口径。
教学例子：分母真实为0时用任意ε得到的有限值，只是另一项近似，不是精确单项移除结果。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
FPoT 为什么在 power-of-two 网格之间再插入半八度？
Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference
问答新增：2026-10-27 · Seoul National University
展开答案与例子
答案：纯2的幂网格较粗；半指数间隔提高4-bit权重的取值密度，同时以奇指数1.5近似支持移位加法。它在误差与硬件执行之间折中，而非采用任意浮点网格。
教学例子：在1与2之间增加近似1.5这一档，可比只在1和2中选择更细。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
FPoT部署用1.5近似平方根2，为什么校准阶段也要使用这份实际网格？
Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference
问答新增：2026-10-27 · Seoul National University
展开答案与例子
答案：若先按精确半指数网格量化，部署再换近似系数，会引入校准未优化的额外误差。FPoT让尺度与相位选择适配真实移位加法网格，奇指数项由移位与加法实现。整数右移还有舍入细节，不能把它与实数乘1.5处处视为精确相同；激活与KV格式也有独立约定。
教学例子：一个权重被精确网格选到平方根2倍尺度，执行时却变成1.5倍；如果校准早知道会用1.5，就可重新选择尺度或码点，减少这次后置替换造成的偏差。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
FPoT 的权重网格，与其激活和 KV 量化使用同一种格式吗？
Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference
问答新增：2026-10-27 · Seoul National University
展开答案与例子
答案：不是。文档权重采用半八度网格，激活与KV仍用uniform INT；不同对象的格式和执行代价需分别记录。不能把整个模型都标成FPoT网格后跳过激活处理。
教学例子：权重可用移位加法表达，但输入激活的整数缩放仍有自己的规则。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
FPoT 非零幅值码 m 为什么必须先减1再提取奇偶和移位？
Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference
问答新增：2026-10-27 · Seoul National University
展开答案与例子
答案：零码单独保留，非零码定义m=e+1；执行端需恢复e=m-1。漏掉这一步会整体改变指数和奇偶分支；奇数有符号整数的右移还含舍入，不能无条件等同实数乘1.5。
教学例子：幅值码1对应e=0，应表示基本档，而不是直接按奇指数档执行。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
远程 KV tier 为什么先分析加载与重新 prefill 的盈亏平衡？
When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers for Context-Parallel Prefill
问答新增：2026-10-27 · Multiverse Computing
展开答案与例子
答案：缓存命中仍需固定请求开销与数据传输，GPU重算速度也可能很高。先估计两条路径的耗时，才能判断何种长度和带宽下值得加载，而不是只追求命中率。
教学例子：一个很短prefix从远程取回，可能比在GPU重新算出KV更慢。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
远程KV命中为什么有时比直接重新prefill更慢？
When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers for Context-Parallel Prefill
问答新增：2026-10-27 · Multiverse Computing
展开答案与例子
答案：加载需要固定请求开销与随KV体积增长的传输时间，重算则由模型预填充吞吐决定。只有带宽与长度越过盈亏平衡，命中才划算；分片实例和异步加载还要避免队首阻塞。缓存命中率不是延迟收益，本地仅文献收录，没有远程系统适配器或GPU结果。
教学例子：例如一个很短前缀的KV虽已缓存，但远程连接等待超过本地重算时间；把命中次数提高，并不能保证用户首词延迟下降。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
带固定开销 T0 时，B>sR 是否就保证任意长度加载都更快？
When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers for Context-Parallel Prefill
问答新增：2026-10-27 · Multiverse Computing
展开答案与例子
答案：不能。B>sR只提供渐近带宽优势，有限长度仍要支付T0；应比较T0+sn/B与n/R。文本越短，固定开销越可能主导，不能只凭带宽阈值宣布所有请求受益。
教学例子：即使远程每token传输较快，首包固定延迟仍可能让短请求输给重算。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
为什么原报告采用 PCP rank 独立远程实例和异步加载？
When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers for Context-Parallel Prefill
问答新增：2026-10-27 · Multiverse Computing
展开答案与例子
答案：它把MLA缓存按PCP rank分片，并用独立实例及异步加载减少队首阻塞。真实验证需要相应多节点服务和负载；当前单A100/A30仅做成本审查，没有用单机fixture冒充分布式收益。
教学例子：一个rank的大请求不应让另一个rank可立即加载的小请求一起排队等待。
依据：背景与主要改动、成本判断；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
RoleQ 为什么按 reader/writer 功能，而不按矩阵存储行列统一分 scale？
RoleQ: Role-Aligned Scales for Converting Language Models to Ternary
问答新增：2026-10-27 · Harvard University
展开答案与例子
答案：不同权重在残差流里承担读取或写入角色，功能单元的轴不总与同一存储轴对应。方法按角色选择独立量化向量，避免把不同写入单元混在同一尺度里。
教学例子：MLP输入的输出单元，与MLP输出的输入单元分别对应各自隐藏功能通道。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
RoleQ为什么给reader按输出单元放scale，却给writer按输入单元放scale？
RoleQ: Role-Aligned Scales for Converting Language Models to Ternary
问答新增：2026-10-27 · Harvard University
展开答案与例子
答案：reader各输出单元读取信息，writer各输入单元向残差流写入贡献，功能方向不同，统一按矩阵行量化会混合这些单元。三值单向量解对所声明轴的未加权目标可精确求得，但不等于整模型量化全局最优；完整流程还需旋转、误差补偿及蒸馏。
教学例子：例如输出投影的一列代表某输入特征写向多个残差维度，应作为功能向量处理；不能仅因权重存储为行就机械逐行给scale。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
RoleQ 的精确单向量三值解，与固定阈值三值化有什么证据差别？
RoleQ: Role-Aligned Scales for Converting Language Models to Ternary
问答新增：2026-10-27 · Harvard University
展开答案与例子
答案：精确solver遍历按绝对值排序的全部非空前缀，寻找未加权向量目标最优support与scale；固定阈值只试一种选择。这个局部精确性也不能外推为整个量化模型全局最优。
教学例子：固定0.7倍均值阈值漏掉的support，前缀全搜索仍会纳入比较。
依据：核心公式、结果与独立对照；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
RoleQ 报告 ternary 存储时，为什么还要实际 pack/unpack 并计算 scales？
RoleQ: Role-Aligned Scales for Converting Language Models to Ternary
问答新增：2026-10-27 · Harvard University
展开答案与例子
答案：三值理论位宽不等于真实格式字节。文档每byte打包5个trit，还需算scale和padding；全零向量应输出零scale/零码。只统计非零权重数不能证明存储节省。
教学例子：77个权重的打包尾部与每功能单元scale都要计入，而不是简单乘log₂3。
依据：核心公式、结果与独立对照；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
RoPERelay 在固定稀疏 KV 之后，还想修正什么问题？
Compression Does Not End at Selection: Post-Selection Positional Geometry for Sparse KV Caches
问答新增：2026-10-27 · National University of Defense Technology
展开答案与例子
答案：被选中的K仍带原始稀疏坐标相位。方法不再选择内容，而是按时间排序、压紧保留坐标，并让问题和生成位置与新锚点一致，构造可继续解码的位置体系。
教学例子：保留位置0、100、500后，需明确它们的新坐标以及后续问题从哪里开始。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
RoPERelay压紧稀疏KV坐标时，为什么只重旋转K而不对V做同样旋转？
Compression Does Not End at Selection: Post-Selection Positional Geometry for Sparse KV Caches
问答新增：2026-10-27 · National University of Defense Technology
展开答案与例子
答案：选择后的键仍带原位置相位，需要先逆去旧旋转再施加紧凑新坐标；值只同步排序，不承载该键位置旋转。各头长度不同时还需共享右端锚点，并同步问题和后续生成位置。它修复坐标而不重选证据，缩放旋转的逆也不能误写为单位旋转转置。
教学例子：例如保留历史第十和第一百个位置后，将它们搬到连续槽位，K要重建相位，V只搬位置；问题也要从新锚点开始，不能沿旧编号。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
RoPERelay 的位置重建，与重新 prefill 选中文本有什么区别？
Compression Does Not End at Selection: Post-Selection Positional Geometry for Sparse KV Caches
问答新增：2026-10-27 · National University of Defense Technology
展开答案与例子
答案：位置重建直接对既有K执行逆旋转再重旋转，V仅同步排列，不重新运行历史文本主干。重新prefill会重新计算整条表示；两者不能仅因最后都得到KV就当同一成本路径。
教学例子：已有K可按新相位变换，而不是把三个片段拼成文本再从第一层算一遍。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
异长 head 的 continuation anchor 为什么取共同 M，而不是各自保留数？
Compression Does Not End at Selection: Post-Selection Positional Geometry for Sparse KV Caches
问答新增：2026-10-27 · National University of Defense Technology
展开答案与例子
答案：文档M是各层/head最大保留数，各head右端点对齐，问题从M起，答案输入从M+Q继续。各自独立起点会让共享问题/生成坐标不一致；scaled RoPE逆变换也不能误当单位旋转。
教学例子：保留8项与4项的两头都在共同位置8接问题，短的一头先按右端对齐安放4项。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
PN-Mix 为什么给一部分 RoPE 通道对较高精度？
PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
问答新增：2026-10-27 · Seoul National University
展开答案与例子
答案：不同旋转平面对QK匹配的影响不同。方法用prefill Q/K两侧平均范数乘积判断重要性，按KV head固定高精度pair选择，在缓存位宽与attention误差间做折中。
教学例子：对匹配影响较大的二维旋转对，两维一起分配更高位宽。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
PN-Mix为什么按真实RoPE通道对的Q/K范数乘积分配精度，而不只看K幅度？
PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
问答新增：2026-10-27 · Seoul National University
展开答案与例子
答案：注意力误差由查询与键共同决定，只看键大小会忽视查询是否使用该方向。把同一旋转平面的两维整体评分，才能保留RoPE耦合结构；每个共享KV头在预填充阶段选定高精度对并复用，不能读取未来解码状态重选。存储布局相邻也未必是实际旋转配对。
教学例子：例如某键方向很大但查询几乎不用，未必最值得高精度；Llama前后半维配对时，把内存相邻两维当一对会保护错误方向。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
PN-Mix 的 1-bit correction 与 FP16 residual buffer，是同一份误差补偿吗？
PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
问答新增：2026-10-27 · Seoul National University
展开答案与例子
答案：不是。前者调整1-bit重构bin的数值位置，不另存残差码；后者暂存尚未量化的新token。两者影响不同存储与数值环节，不能合并记账或互相省略。
教学例子：一个已量化组使用修正网格，仍与一批保持原精度的新token并存。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
Llama/SmolLM2 的 RoPE pair 能按相邻两维直接配对吗？
PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
问答新增：2026-10-27 · Seoul National University
展开答案与例子
答案：文档区分split-half与interleaved布局，Llama前后半维配成旋转对，不能按存储相邻误分。高精度pair mask由prefill确定并跨页复用，不能读取未来decode状态重选。
教学例子：前半维第i项与后半维第i项是一对，不一定是数组里的i与i+1。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
DualQuant 为什么无需激活校准，也能为推理激活确定重缩放？
DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
问答新增：2026-10-27 · d-Matrix
展开答案与例子
答案：它只从静态权重求row/block与column两类尺度，column尺度随后用于推理输入的对应重缩放。训练solver不读取X，并不意味着推理路径不处理X。
教学例子：离线从W得到一组列尺度，线上对输入的相应通道按该尺度逆变换后再量化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
DualQuant不看校准激活，为什么仍要同时求row尺度与column尺度？
DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
问答新增：2026-10-27 · d-Matrix
展开答案与例子
答案：只平衡每行范围无法消除跨行共用的异常列；方法以静态权重重构误差联合求两侧尺度，列尺度再成为推理时的激活重缩放。固定codes时解一维最小二乘，并投影到格式合法尺度，再重新量化迭代。它不是简单搜索几个经验指数，也不保证codes变化期间误差无条件单调。
教学例子：同一列在许多行都特别大，只做逐行缩放仍会留下系统性列不平衡；列尺度可共同处理它，但必须同步调整输入并使用硬件可表示的尺度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
DualQuant 的闭式尺度交替求解，与试几个启发式指数有什么差别？
DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
问答新增：2026-10-27 · d-Matrix
展开答案与例子
答案：它通过variable splitting区分grid assignment与重建尺度，固定codes时解一维最小二乘，再投影到合法格式并重新量化。启发式指数搜索不自动实现同一优化过程，也不能借用其条件下降结论。
教学例子：在固定codes下解最佳尺度后，codes一旦改变，就需重新核对下一步目标。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
DualQuant 更新 row inverse-scale 后，能直接用旧 codes 更新 column 吗？
DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
问答新增：2026-10-27 · d-Matrix
展开答案与例子
答案：文档要求投影合法inverse-scale、同步inner copies并重新量化，再解column并再次量化。漏掉同步会让两步优化针对不同状态；实际支持的INT4子集也不能改标签冒充MXFP4。
教学例子：row尺度变了但仍沿用旧codes计算column闭式解，会偏离规定的交替过程。
依据：核心公式、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
ReplaySSM 为什么缓存小型输入，而不每 token 写回完整矩阵状态？
ReplaySSM: Cache SSM Inputs, Not State
问答新增：2026-10-27 · Princeton University
展开答案与例子
答案：递归矩阵状态读写可能受带宽限制。方法隔若干token刷新checkpoint，中间记录输入并通过重括号计算读出，减少每步物化完整状态的工作，尤其适合output-only投机验证。
教学例子：保存一个状态锚点与接下来几步的小输入，按需重放，而非每步都保存一整张矩阵。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
ReplaySSM为什么只提交被接受的输入，并让高精度递归锚点独立于低精度读出副本？
ReplaySSM: Cache SSM Inputs, Not State
问答新增：2026-10-27 · Princeton University
展开答案与例子
答案：输出可从检查点和短输入记录重放，减少每词元完整状态写回；投机拒绝的草稿不能进入已提交递归。低精度副本只用于读取，更新须从高精度锚点与原始记录重建，避免舍入误差逐轮反馈。输出重括号计算也不等于省略递归依赖。
教学例子：例如提议四个草稿仅接受两个，状态指针只推进两步；刷新时从真实接受输入重算，不能把被拒后缀或已舍入读出当成新锚点。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
output-only 重放与常规逐步 recurrence，在输出和持久状态上应如何对应？
ReplaySSM: Cache SSM Inputs, Not State
问答新增：2026-10-27 · Princeton University
展开答案与例子
答案：重放可用等价计算获得当前读出，而不生成每步完整中间状态；持久状态只由已提交输入在刷新时更新。它改变计算/写回组织，不应改变被接受序列对应的参考递推。
教学例子：同一组已接受token，重放读出应对照常规递推，而拒绝draft不应写入两者的状态。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
GDN 刷新 checkpoint 时，为什么必须保留原始 value 并重算 residual？
ReplaySSM: Cache SSM Inputs, Not State
问答新增：2026-10-27 · Princeton University
展开答案与例子
答案：residual依赖高精度anchor，沿用低精度读出或旧residual会把误差反馈进recurrence。文档从committed原始记录刷新，再独立形成高低精度副本；零接受时anchor应保持不变。
教学例子：draft全部被拒绝时，不应因为曾计算过其输出就改变已提交的递归状态。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
VFold 中的 Key 与 Value 缓存分别保存什么，哪些被共享？
VFold: Symmetry-Aware Cross-Layer Value Cache Compression
问答新增：2026-10-27 · Johns Hopkins University
展开答案与例子
答案：Key参与历史位置匹配，Value提供注意力读出的内容。VFold只合并匹配后的相邻层Value，Key不合并，首尾重要token另存；因此不能把它理解为把整份KV或整个历史都合成一层。
教学例子：两层可以共用经过处理的内容表示，但仍保留各自检索所需的Key。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
VFold为什么先对齐相邻层的Value坐标，再共享缓存，而且当前词元先用完整Value？
VFold: Symmetry-Aware Cross-Layer Value Cache Compression
问答新增：2026-10-27 · Johns Hopkins University
展开答案与例子
答案：不同层的值空间未必可直接平均，CCA与头匹配先建立可比较坐标，并把变换折进值与输出投影。当前词元先完成完整注意力，再进入跨层共享，限制即时扰动；键和重要首尾词元保持独立。可逆变换的等价性不表示后续平均也完全无损。
教学例子：例如两层各用不同坐标表示同一特征，直接平均会抵消信息；先对齐再共享较合理，但仍须评估平均近似的影响，不能称为严格无损。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
VFold 共享 Value 与同时合并 Key，会改变什么不同对象？
VFold: Symmetry-Aware Cross-Layer Value Cache Compression
问答新增：2026-10-27 · Johns Hopkins University
展开答案与例子
答案：文档不合并Key，仍保留各层匹配位置所需的key；共享的是对齐后的value内容。把Key也平均会进一步改变attention匹配，不是原方法中同一项缓存节省。
教学例子：两层仍能给历史位置不同权重，只是部分被读取内容采用共享value。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
VFold 在 GQA 下折叠逆变换，为什么不能只改一个 query 输出段？
VFold: Symmetry-Aware Cross-Layer Value Cache Compression
问答新增：2026-10-27 · Johns Hopkins University
展开答案与例子
答案：一个物理KV head被多个query head共享，逆变换需覆盖这些query对应的全部输出段，才能对应等价关系。当前token先用完整V，之后才共享；短序列还受首尾保护开销影响。
教学例子：两组query都读取同一个KV头，仅修正其中一组输出会留下另一组坐标不一致。
依据：核心公式、数据协议与结果；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
IrekoGPT 为什么想让一个 checkpoint 暴露多种嵌套宽度？
IrekoGPT: Turning Structured Pruning into Post-Hoc Slimmable LLMs
问答新增：2026-10-27 · University of Modena and Reggio Emilia
展开答案与例子
答案：不同推理预算可使用不同宽度，而不必分别维护完全独立的剪枝模型。保留投影基后，不同k选择同一基的前k维，再通过多压缩率校准适配这些子网。
教学例子：同一模型可使用较窄前缀或较宽前缀，两者共享一套有序投影基。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
IrekoGPT为什么保留投影基，才能让一个检查点支持多种嵌套宽度？
IrekoGPT: Turning Structured Pruning into Post-Hoc Slimmable LLMs
问答新增：2026-10-27 · University of Modena and Reggio Emilia
展开答案与例子
答案：结构化剪枝若直接丢弃被裁方向，就固定了模型宽度。保留有序投影基后，不同宽度可取同一基的不同前缀，再用多压缩率校准与下游线性修正减轻切换误差。共享嵌套结构不保证所有宽度质量相同，本地只验证子网合同，未测原模型吞吐。
教学例子：例如同一检查点临时取较窄子网处理简单请求，再恢复较宽子网；若之前把其余投影永久删除，就无法靠切换参数恢复这些方向。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
可伸缩嵌套宽度与针对单一比例剪枝，部署选择上有什么区别？
IrekoGPT: Turning Structured Pruning into Post-Hoc Slimmable LLMs
问答新增：2026-10-27 · University of Modena and Reggio Emilia
展开答案与例子
答案：单比例剪枝只保留一种宽度；嵌套方案保存基和多比例校准，使运行时可选择不同k。多宽度共享不代表每种宽度都未经校准就保持同样质量，也不等于已经测得吞吐提升。
教学例子：只验证k=64，不能直接宣称同checkpoint的k=32也同样有效。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
IrekoGPT 的不同宽度为什么不能各自使用任意独立投影基？
IrekoGPT: Turning Structured Pruning into Post-Hoc Slimmable LLMs
问答新增：2026-10-27 · University of Modena and Reggio Emilia
展开答案与例子
答案：文档W_k=P_:kᵀWP_:k要求不同k共享同一嵌套基的前缀；若每个k独立选基，便失去这一共享合同。还需保留后续线性层的校准/ridge修正，本地仅执行嵌套子网诊断。
教学例子：较窄的前32维应是较宽64维基的同一前缀，不是重新抽一套32维方向。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
LeapQuant 为什么同时处理时间上的重复舍入与状态里的 outlier？
LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
问答新增：2026-10-27 · UC Berkeley
展开答案与例子
答案：递归状态反复量化会累积误差，少数离群方向又可能主导量化尺度。它用窗口高精度更新缓冲减少舍入频次，并把少量大方向分成高精度补偿项后再量化剩余状态。
教学例子：不必每读一个token就重新压缩整份状态，也不让一个大方向挤占全部低比特范围。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
LeapQuant为什么把窗口内更新保留高精度，而不在每个递归步骤重新量化？
LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
问答新增：2026-10-27 · UC Berkeley
展开答案与例子
答案：递归状态被反复舍入时，误差会反馈到后续更新。窗口内以低比特基态加高精度增量表示，只在边界重量化，可减少重复舍入；补偿项另保护显著异常方向。窗口缓冲与补偿也有存储成本，本地截断SVD是诊断构造，未实现作者专用内核或复现吞吐。
教学例子：例如一段连续的小更新先积累后再舍入，避免每次都被低位宽抹掉；强异常方向单独补回，并非把所有状态都偷偷保留全精度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
LeapQuant 的窗口缓冲，与每步都对整个递归状态低比特写回有什么取舍？
LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
问答新增：2026-10-27 · UC Berkeley
展开答案与例子
答案：窗口缓冲增加暂存更新的高精度开销，换取较少的整状态重量化；逐步写回则更频繁地累积舍入。比较需统计基态、窗口更新与补偿项总存储，不能只报低比特基态大小。
教学例子：窗口内保留8次小更新，边界才合并量化，与连续8次整状态量化不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
LeapQuant 的补偿项 C 加回后，低比特部分应量化 S 还是 S-C？
LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
问答新增：2026-10-27 · UC Berkeley
展开答案与例子
答案：文档先由截断SVD构造低秩C，再对剩余S-C量化，读出时加回C。若仍量化完整S再加C，会重复计入补偿方向；窗口边界也需按原规则合并未量化更新。
教学例子：大方向已由高精度C保存，低比特残余不应再完整保存一次同样方向。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
SPLASH 为什么把 attention 权重和 KV 的所有权一起纳入布局模型？
SPLASH: Switching Parallel Layouts of Attention with Seamless Handoff for LLM Serving
问答新增：2026-10-27 · Institute of Computing Technology, Chinese Academy of Sciences
展开答案与例子
答案：不同并行布局对权重、请求与KV的分配不同，会随batch和序列长度改变内存与通信成本。统一所有权描述后，调度器才能比较TP/DP/CP/DOP及切换代价。
教学例子：同样四张设备，KV是否按请求独占或分片，会改变每设备内存需求。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
SPLASH为什么要把布局切换成本摊到剩余生成步数，而不能只选当前最快布局？
SPLASH: Switching Parallel Layouts of Attention with Seamless Handoff for LLM Serving
问答新增：2026-10-27 · Institute of Computing Technology, Chinese Academy of Sciences
展开答案与例子
答案：不同并行布局分配注意力权重与KV所有权的方式不同，切换会引入搬运和交接成本。剩余步骤足够多时，后续收益才可能覆盖一次转换；只看单步速度会频繁切换而更慢。内存可行性也需同时满足，本地只有规划器，没有真实CUDA交接与服务吞吐证据。
教学例子：例如请求只剩少量词元，搬一次缓存可能比继续旧布局更贵；长请求则可能值得转换，不能让两者仅按相同单步耗时决策。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
DOP 与 TP 的简化内存式，KV 项上有哪些不同？
SPLASH: Switching Parallel Layouts of Attention with Seamless Handoff for LLM Serving
问答新增：2026-10-27 · Institute of Computing Technology, Chinese Academy of Sciences
展开答案与例子
答案：文档TP为W_A/T+Bks，DOP为W_A/T+Bks/T：两者权重都分片，KV分配不同。该式只是模型口径，还需考虑实际handoff与执行，不能仅由容量公式推导实测吞吐。
教学例子：当KV项远大于权重项时，两种分配的内存差异会更突出。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
SPLASH 本地 transition-aware planner 应怎样与真实布局切换区分？
SPLASH: Switching Parallel Layouts of Attention with Seamless Handoff for LLM Serving
问答新增：2026-10-27 · Institute of Computing Technology, Chinese Academy of Sciences
展开答案与例子
答案：planner计算内存与含切换成本的布局决策；真实系统还需搬运权重/KV并保持请求状态一致。当前未实现CUDA handoff或B200/H200性能验证，决策日志不等于服务切换已执行。
教学例子：输出“切到DOP”的计划，不证明缓存已被实际迁移到新的所有者。
依据：本地复现、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
STEPQuant 为什么研究固定大小递归状态的量化，而不是只压缩增长的 KV？
STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：线性注意力状态虽不随序列无限增长，但会被每个并发请求长期持有，并在递推中反复更新。量化误差可沿时间传播，所以需同时关注状态剩余寿命和不同空间块的影响。
教学例子：一个小状态乘上很多并发请求仍占显存，早期误差也可能持续影响后续输出。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
STEPQuant为什么同时看状态的剩余寿命和key行影响，再分配bit预算？
STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：递归状态误差能持续传播，而不同方向对输出的影响也不相同；只按当前幅度分配精度会漏掉时间与空间两类重要性。方法在平均bit约束下分配块精度，并用行列两轴scale拟合状态。本地预算与误差诊断未复现论文吞吐，也不是统一INT8改名。
教学例子：例如一个不大的状态方向会影响许多后续步，可能比即将被遗忘的大值更值得保留精度；预算有限时需要比较累计风险。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
STEPQuant 的时空 bit 分配，与对所有状态统一 INT8 有何不同？
STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：统一INT8忽略不同时间和位置的重要性；STEPQuant在固定平均bit预算下为高风险块分配更高精度，再用key-row/value-column双轴scale拟合。它改变精度分配，不只是换一个位宽标签。
教学例子：剩余寿命长且读出影响大的块，可比很快遗忘的块获得更多bits。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
STEPQuant 的预算优化，为什么要核对实际平均 bit 而不是只看高精度块比例？
STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
问答新增：2026-10-27 · Zhejiang University
展开答案与例子
答案：不同候选bit与块大小共同决定预算，目标是在给定平均bit约束下最小化加权误差。还需区分key-row与value-column尺度，不可把两轴广播位置交换后只因shape可运行就通过。
教学例子：4-bit和8-bit块混合时，需按实际元素数加权计算平均位宽。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
AgentKV 为什么把 Agent 阶段作为 KV 淘汰的上下文？
AgentKV: Phase-Aware KV Eviction for Agentic LLMs
问答新增：2026-10-27 · University of Cambridge
展开答案与例子
答案：规划、工具执行和汇总等阶段可能关注不同历史。保留各阶段代表query，有助于判断某条KV是否仍可能被后续阶段需要，而非只依据当前几步的访问。
教学例子：早期计划在工具调用期间不常被读，最终汇总时却可能再次重要。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
AgentKV为何保留跨阶段代表query，而不只用最近几步决定淘汰哪些KV？
AgentKV: Phase-Aware KV Eviction for Agentic LLMs
问答新增：2026-10-27 · University of Cambridge
展开答案与例子
答案：Agent任务会在规划、工具使用和总结等阶段切换；最近query只代表当前阶段，可能低估稍后会重新需要的证据。代表query buffer让缓存重要性兼顾多个阶段的读取需求。它改变淘汰依据，不会让被删除的KV自动可恢复，阶段代表性本身也需要验证。
教学例子：工具执行阶段反复关注命令参数，但最终总结还要回看最初的任务要求；只按最近命令查询淘汰，可能把最后仍需要的要求删掉。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
phase-aware query buffer 与固定 recent-window，保留证据的标准有什么不同？
AgentKV: Phase-Aware KV Eviction for Agentic LLMs
问答新增：2026-10-27 · University of Cambridge
展开答案与例子
答案：recent-window按时间保留最近KV；phase-aware评分利用多个阶段查询与历史KV的相关性。它可保护较旧证据，但仍受预算与代表性限制，不能把被淘汰内容视作必然无用。
教学例子：阶段切换后关注点变化，当前窗口外的一条计划也可能因代表query而继续保留。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
本地 phase-aware scoring 已经改造真实 SGLang KV 管理了吗？
AgentKV: Phase-Aware KV Eviction for Agentic LLMs
问答新增：2026-10-27 · University of Cambridge
展开答案与例子
答案：没有。文档只执行评分reference并输出阶段/缓存统计，未修改SGLang或运行CUDA kernel。接入服务还需真实缓存淘汰、索引与执行验证，不能由评分可运行推导服务性能。
教学例子：返回一组要保留的KV索引，并不等于服务引擎已按该索引释放和读取显存。
依据：本地复现、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
BeaconKV 为什么保留少量代表 query，而不只保留近期查询？
BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference
问答新增：2026-10-27 · Hanyang University
展开答案与例子
答案：长推理可能重访早期计划。历史代表query覆盖不同关注方向，用来为KV保留投票，使有限缓存兼顾近期信息和稍后可能重访的证据。
教学例子：推理到最后需要回看开头的约束，最近几步的query未必能代表这项需求。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
BeaconKV怎样避免“只看近期query”删掉长推理稍后还会重访的计划？
BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference
问答新增：2026-10-27 · Hanyang University
展开答案与例子
答案：它对历史query保持少量具有代表性的beacon，用这些代表查询为KV重要性提供跨阶段依据，并保护近期窗口。这样淘汰不完全受最近一步支配，适合推理中回看早期思路的情况。代表查询只能近似未来需求，不能保证固定预算内所有远程证据都保存。
教学例子：中间十步都在计算局部数字，最后却要检查最初的计划约束；早期beacon可让相关KV继续获得重要性，而不因十步未被关注就立刻淘汰。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
BeaconKV 的代表查询评分，与按 KV 年龄淘汰有什么不同？
BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference
问答新增：2026-10-27 · Hanyang University
展开答案与例子
答案：按年龄只假设新信息更有用；代表查询评分依据query空间覆盖与key匹配决定历史价值，并额外保护近期窗口。代表性不足仍会漏证据，不能把它当成知道未来查询的oracle。
教学例子：一条很旧但与某个历史计划query高度相关的KV，可优先于无关旧项保留。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
BeaconKV 的 Python 选择器，为什么必须计入总耗时和 backing cache 占用？
BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference
问答新增：2026-10-27 · Hanyang University
展开答案与例子
答案：评分和索引本身可能昂贵，保留完整backing cache也不等于真实释放显存。文档公开checkpoint任务曾出现选择器更慢与质量退化，需把任务质量、工作集和总系统成本分别报告。
教学例子：只把attention工作集缩到512项，但另存全部KV并花时间逐项选择，峰值显存未必下降。
依据：本地复现、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
KVMEM 为什么把长期 Agent 历史组织成分页 KV？
KVMem: Virtualizing Million-Token Agent Workspaces on a Consumer GPU
问答新增：2026-10-27 · Shanghai University of Finance and Economics
展开答案与例子
答案：历史可能同时超过显存与原生窗口，摘要又可能丢证据。KVMEM把已算KV放在分层存储，用注意力空间索引选相关block，再构造不超过原生窗口的执行视图。
教学例子：工作区可存很多历史页，当前一次模型执行只加载其中几页。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
KVMEM把历史地址空间与执行窗口分开，为什么不等于模型一次注意全部历史？
KVMem: Virtualizing Million-Token Agent Workspaces on a Consumer GPU
问答新增：2026-10-27 · Shanghai University of Finance and Economics
展开答案与例子
答案：历史KV分块存放在不同存储层，当前查询在注意力空间检索相关块，再物化成原生窗口内的执行视图。地址可以很大，单步注意的内容仍有界，未命中证据可能被遗漏。本地参考路径还保留完整后备缓存，未实现完整异步分层系统，不能据此宣称显存节省或加速。
教学例子：例如长会话有许多旧文件，当前只把检索命中的几块KV搬入窗口；这避免重复处理全文，但没有让窗口外全部证据同时参与注意。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
分页 KV 复用与先检索原始文本再 prefill，复用的计算对象有什么不同？
KVMem: Virtualizing Million-Token Agent Workspaces on a Consumer GPU
问答新增：2026-10-27 · Shanghai University of Finance and Economics
展开答案与例子
答案：分页方式保存已计算的K/V，命中后物化执行视图；文本检索取回token后通常还需重新prefill。两者的存储、位置与缓存一致性合同不同，不能只按检索条数比较成本。
教学例子：取回一段旧KV，和取回同一段文本再计算KV，不是相同的数据通路。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
KVMEM 本地保留完整 backing cache 时，为什么不能报告峰值显存下降？
KVMem: Virtualizing Million-Token Agent Workspaces on a Consumer GPU
问答新增：2026-10-27 · Shanghai University of Finance and Economics
展开答案与例子
答案：有界工作集不等于完整存储已卸载。文档当前Python路径仍保留backing cache，任务级验证也未显示生产内核性能；应分别记录工作集、总驻留、数据搬运与端到端耗时。
教学例子：每次只读512槽，但全部2048槽仍驻留GPU，不能只用512计算总缓存占用。
依据：本地复现、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
Random Attention 为什么尝试省去 KV 重要性打分？
Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning
问答新增：2026-10-27 · Salesforce AI Research / University of Illinois Urbana-Champaign
展开答案与例子
答案：重要性评分本身也占计算，并可能让所有head受同一排名约束。方法完整保留prompt，只在生成轨迹中逐head均匀随机保留预算，用更简单的选择机制研究缓存取舍。
教学例子：每个head独立留一部分生成历史，而不先运行一次全历史重要性扫描。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
Random Attention为什么保护完整prompt，却在生成轨迹中逐头独立随机保留？
Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning
问答新增：2026-10-27 · Salesforce AI Research / University of Illinois Urbana-Champaign
展开答案与例子
答案：任务说明与原始证据留在prompt中，保护它们避免随机删除改变任务条件；生成轨迹按头独立采样，省去重要性评分并让各头拥有不同覆盖。预算必须容纳受保护部分，随机策略仍可能漏掉关键中间步骤；本地GPU重建验证不代表完整任务矩阵与内核吞吐。
教学例子：例如几个注意力头保留不同的中间推理片段，仍都能读取原问题；若把题干也随意删去，就不再是在同一输入条件下比较淘汰策略。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
逐 head 独立随机保留，与所有 head 共用同一个随机集合有什么不同？
Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning
问答新增：2026-10-27 · Salesforce AI Research / University of Illinois Urbana-Champaign
展开答案与例子
答案：独立采样允许不同head保留不同生成位置，形成不同访问子集；共享集合会把同一选择限制施加到所有head。二者平均预算相同，覆盖与误差相关性仍可能不同。
教学例子：一个head保留位置5，另一个保留位置8，不必两者都只剩同样几个位置。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
随机预算 B 比完整 prompt 长度还小时，能偷偷从 prompt 里再删一些吗？
Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning
问答新增：2026-10-27 · Salesforce AI Research / University of Illinois Urbana-Champaign
展开答案与例子
答案：这会违反完整prompt保护合同。B-|P|必须是合法的生成轨迹采样预算；不足时应显式调整预算或报告不可行，不能把负数当合法抽样量，也不能改规则后沿用同一方法名。
教学例子：prompt已有100项而总预算只有80项，就无法同时满足这两个条件。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
TwinKV 为什么把固定缓存预算花在“修复保留集合”上？
TwinKV: A Composable Repair Pass for KV Cache Eviction via Pairwise Key Redundancy
问答新增：2026-10-27 · The Hong Kong University of Science and Technology (Guangzhou)
展开答案与例子
答案：基础淘汰策略可能同时留多个相似key，却删掉没有替代者的旧项。TwinKV检查这些冗余与空缺，在不增加缓存项数的前提下交换donor与orphan，修复已有策略的选择。
教学例子：保留集里两个近重复key，可拿出其中一个换回一条独特旧证据。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
TwinKV为什么交换冗余donor与缺少替代者的orphan，而不直接扩大KV预算？
TwinKV: A Composable Repair Pass for KV Cache Eviction via Pairwise Key Redundancy
问答新增：2026-10-27 · The Hong Kong University of Science and Technology (Guangzhou)
展开答案与例子
答案：基础淘汰可能留下多个相似键，却删掉唯一证据。修复先识别被删且无相似保留项的孤立项，再用有远处相似副本的冗余保留项交换，预算保持不变；受保护的起始与近期项不能作供体。键相似也不保证语义等价，本地重建评测不代表完整生成结果。
教学例子：例如缓存保留两段近似重复说明，却漏掉唯一日期，可拿冗余项换回日期；不能一边加回孤立项一边不删除任何项，再声称相同预算。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
TwinKV 与直接替换 StreamingLLM/H2O 的基础评分，有什么组合关系？
TwinKV: A Composable Repair Pass for KV Cache Eviction via Pairwise Key Redundancy
问答新增：2026-10-27 · The Hong Kong University of Science and Technology (Guangzhou)
展开答案与例子
答案：它是wrapped policy之后的repair pass，不重新定义全部基础策略。公平比较应在相同初始策略、相同KV预算下开关repair，否则无法区分来自基础选择还是交换修复。
教学例子：StreamingLLM与StreamingLLM+TwinKV保留同样数量KV，只比较第二遍交换的作用。
依据：背景与主要改动、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
寻找 TwinKV donor 时，为什么要排除局部 twin 及 sink/recent 保护项？
TwinKV: A Composable Repair Pass for KV Cache Eviction via Pairwise Key Redundancy
问答新增：2026-10-27 · The Hong Kong University of Science and Technology (Guangzhou)
展开答案与例子
答案：公式只在超出局部窗口的保留项中寻找相似twin，donor也不能破坏sink/recent保护。交换数取两集合可配对最小数，并保持|R′|=|R|，不能多补orphan而悄悄扩大预算。
教学例子：两条相邻key很像，不应未经局部排除就当成可安全牺牲的远程冗余。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
DistillCache 为什么把 KV 淘汰看成连续多步决策？
DistillCache: KL-Guided Adaptive KV-Cache Eviction for Memory-Efficient LLM Inference
问答新增：2026-10-27 · Oklahoma State University
展开答案与例子
答案：当前删除会影响后续能访问的历史，单步局部重要性未必反映长期预测损失。方法以full与evict预测分布的逐步KL作为反馈，学习更适应未来预测的轻量策略。
教学例子：这一刻无用的KV可能在几步后成为答案证据，淘汰后未必还能恢复。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
DistillCache为什么用完整缓存与淘汰缓存的预测KL作奖励，而不直接奖励多删token？
DistillCache: KL-Guided Adaptive KV-Cache Eviction for Memory-Efficient LLM Inference
问答新增：2026-10-27 · Oklahoma State University
展开答案与例子
答案：缓存目标是保留后续预测所需信息，多删token只是资源动作。逐步比较完整缓存与淘汰后的分布，让策略看到某次淘汰损伤了多少行为，并在预算下学习取舍。训练用完整路径作参照，不代表部署每步都能免费运行它；低KL也不自动等于所有下游任务都无损。
教学例子：删去格式填充和删去关键编号都省一个KV，但后者可能显著改变下一步分布；分布奖励能区分这两种动作，而简单计数奖励会同样鼓励它们。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
KL-guided 淘汰与单纯奖励更低缓存占用，会偏好同样的策略吗？
DistillCache: KL-Guided Adaptive KV-Cache Eviction for Memory-Efficient LLM Inference
问答新增：2026-10-27 · Oklahoma State University
展开答案与例子
答案：缓存奖励主要鼓励多删，KL反馈关注删除后预测分布相对full的偏离。二者目标不同，需要在固定预算或明确质量约束下比较，不能把最小缓存自动等同于最佳策略。
教学例子：删除全部KV很省空间，却可能令后续预测与full模型差别很大。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
DistillCache 的负 KL 奖励方向怎样用一个简单边界检查？
DistillCache: KL-Guided Adaptive KV-Cache Eviction for Memory-Efficient LLM Inference
问答新增：2026-10-27 · Oklahoma State University
展开答案与例子
答案：当两分布相同时KL为0、奖励为0；偏离越大，负KL越低。文档方向为KL(p_full||p_evict)，写反或漏负号会改变训练信号。当前mini-suite不证明完整策略训练与部署收益。
教学例子：把evict分布逐渐改得远离full，奖励不应反而升高。
依据：核心公式、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
BaKron 中的 rounding 为什么不只是逐权重四舍五入？
BaKron: Efficient Quantization with Kronecker-Factored Hessians
问答新增：2026-10-27 · University of California, San Diego
展开答案与例子
答案：量化目标衡量的是权重误差经曲率加权后的影响，不是每个数字距离最近刻度即可。不同权重误差相互关联时，独立最小舍入误差未必最小化整体目标，BaKron据此组织自适应rounding。
教学例子：两个单独很小的误差若共同放大同一输出方向，整体影响可能比另一个略大但抵消的组合更高。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
BaKron为何引入双侧Kronecker曲率，而不只考虑输入激活侧误差？
BaKron: Efficient Quantization with Kronecker-Factored Hessians
问答新增：2026-10-27 · University of California, San Diego
展开答案与例子
答案：权重量化误差不仅受输入方向影响，也受输出侧的曲率结构影响；Kronecker近似把两侧关联纳入同一二次目标。直接展开完整大Hessian代价高，因此方法用结构化的并行与分治组织舍入。更丰富的误差模型不代表可以忽略近似假设或把每个权重独立round当作同一算法。
教学例子：两个输入方向误差相同，但输出方向对最终loss的敏感程度不同；只看输入侧可能把它们视为等价，双侧曲率则能区分这种影响。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
BaKron 相对只考虑输入侧的 GPTQ-style rounding，多出了什么约束？
BaKron: Efficient Quantization with Kronecker-Factored Hessians
问答新增：2026-10-27 · University of California, San Diego
展开答案与例子
答案：目标用A⊗B对向量化权重误差加权，包含两侧曲率结构，而不只一种输入侧度量。求解也需对应双侧目标；换成普通逐行舍入不能仅凭名字称为双侧自适应rounding。
教学例子：一个候选rounding的普通MSE较小，双侧加权代价仍可能更大。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
检验 BaKron 的小矩阵实现时，为什么要同时核对 vec 顺序与 Kronecker 因子？
BaKron: Efficient Quantization with Kronecker-Factored Hessians
问答新增：2026-10-27 · University of California, San Diego
展开答案与例子
答案：向量化顺序决定A⊗B与矩阵两侧作用的对应关系，轴放反会优化另一项加权误差。应以独立显式向量化目标核对；当前随机权重诊断不代表论文规模checkpoint收益。
教学例子：按行和按列展开同一W，不能在不调整因子约定时混用同一Kronecker矩阵。
依据：核心公式、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
QEvict 为什么需要全精度、量化可恢复和删除三种状态？
QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding
问答新增：2026-10-27 · Indian Institute of Technology Roorkee
展开答案与例子
答案：注意力会漂移，当前不重要的历史可能再次被需要。中间量化层以较低存储保留部分可访问内容，允许后续按累积关注晋升，而删除是另一种不可恢复状态。
教学例子：一个旧窗口暂时降到量化层，后来又相关时可重新进入高优先级读取。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
QEvict为什么在全精度与删除之间增加可恢复量化层？
QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding
问答新增：2026-10-27 · Indian Institute of Technology Roorkee
展开答案与例子
答案：长生成中注意力会漂移，当前不重要的窗口以后可能重新相关。量化层用较小存储保留可恢复内容，累计注意力升高时可解量化晋升；彻底删除则失去这种机会。恢复只能挽回保留近似信息，不能消除既有量化误差，本地状态验证不等于完整服务性能复现。
教学例子：例如前文人物线索暂时不用，先降到量化层；后续再次提问时可恢复参与注意，若先彻底删除，就只能另行重算或检索。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
从量化层晋升，与从从未量化的全精度层直接读取，信息完全相同吗？
QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding
问答新增：2026-10-27 · Indian Institute of Technology Roorkee
展开答案与例子
答案：不一定。解量化恢复可访问表示，不代表找回量化已丢失的全部数值精度。它改善的是“可再次读取”相对永久删除的取舍，仍要单独测量量化误差。
教学例子：低比特向量可升回浮点存储，但不能凭空还原所有原始小数位。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
QEvict 的累积评分若更新了，缓存状态转移也应同步检查什么？
QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding
问答新增：2026-10-27 · Indian Institute of Technology Roorkee
展开答案与例子
答案：需核对衰减γ、当前attention增量、晋升阈值及固定槽位预算，并保证量化内容确实存在可恢复副本。只把日志标签由quantized改成full，不等于发生真实解量化与迁移。
教学例子：窗口评分超过τ时，应有对应向量从量化表示恢复，而不是仅增加晋升计数。
依据：核心公式、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
TaskPress 的 query-agnostic，是否意味着完全不使用任务信息？
TaskPress: Query-Agnostic KV Cache Compression via Task-Guided Pruning
问答新增：2026-10-27 · Google
展开答案与例子
答案：不是。它不读取真实下游query，而使用task guide对context的注意力指导裁剪。任务信息与具体查询是两类输入，不能把“不看query”解释成纯随机或纯位置压缩。
教学例子：先知道任务是摘要，可构造task guide，但并不提前知道未来用户的具体问题。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
TaskPress宣称不看下游query，为什么仍需要task guide对context的注意力？
TaskPress: Query-Agnostic KV Cache Compression via Task-Guided Pruning
问答新增：2026-10-27 · Google
展开答案与例子
答案：任务级引导提供可复用的压缩偏好，选择器只读引导到上下文的注意力并结合值的量化尺度，不能借实际未来查询定制缓存。引导自身KV随后丢弃，保留历史的位置编号。真实引导生成与多任务效果不由小张量选择核证明，完整配置本地因成本过高未复现。
教学例子：例如同一摘要任务可用通用引导压缩多段材料，未来具体提问尚未给出；若先读真实问题再挑证据，就不再是查询无关压缩。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
TaskPress 的 key importance 与 value scale，为何要相乘而非只看 attention？
TaskPress: Query-Agnostic KV Cache Compression via Task-Guided Pruning
问答新增：2026-10-27 · Google
展开答案与例子
答案：guide注意力反映被读取程度，value scale反映量化相关幅度；结合后评分同时考虑匹配与内容尺度。仅保留其中一项会改变原式，不能把任意attention top-k当作TaskPress。
教学例子：两项key importance相同，value幅度不同，最终score也可不同。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
TaskPress 平均池化边缘时，能按实际有效邻居数重新除吗？
TaskPress: Query-Agnostic KV Cache Compression via Task-Guided Pruning
问答新增：2026-10-27 · Google
展开答案与例子
答案：文档要求奇数K、零padding并始终除固定K；按边缘邻居数重新归一化会改变评分。gather后保留原position IDs，guide KV不保留；低index tie-break是本地约定而非作者结论。
教学例子：窗口K=3在context第一个位置缺一个邻居，也仍按3归一化而非改除2。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
HOPE为什么不直接把权重小的神经元删掉？
Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks
问答新增：2026-10-29 · Google DeepMind
展开答案与例子
答案：同一个ReLU神经元可以把输入及BN尺度放大、输出权重缩小，而整体函数不变。裸权重大小会跟着变，不能稳定表示功能重要性。HOPE比较的是激活函数与输出向量构成的Hilbert算子容量；这个比较仍依赖Gaussian surrogate，不等于真实数据上的重要性已得到证明。
教学例子：隐藏激活扩大7倍、输出权重除以7，预测保持不变；功能容量应不变，但只看输出权重会误以为它变得更不重要。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
“输入函数乘输出向量”为什么被称为秩1算子？
Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks
问答新增：2026-10-29 · Google DeepMind
展开答案与例子
答案：一个神经元的输入激活是标量函数，每个输入只改变它的幅度；该标量始终沿同一个输出权重向量传递。因此整条输入函数景观映射到输出空间的一维方向，形成秩1张量。两神经元的内积等于激活核乘输出向量内积，不能只用输入权重cosine代替。
教学例子：激活从0.2变到0.8时，输出从0.2w变到0.8w，方向仍是w；换一个输出向量会改变功能相似度。
依据：核心公式、原论文关键图；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
HOPE的Hilbert压缩与Sleep中的Hope网络是一回事吗？
Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks
问答新增：2026-10-29 · Google DeepMind
展开答案与例子
答案：不是。Hilbert Operator for Progressive Encoding分析冻结网络的功能容量，用PRUNE、MERGE和EVICT逐步压缩；Sleep中的Hope是多频率记忆网络，在学习与离线巩固阶段更新记忆。名称相似不代表算法相同。本地只提供前者的核、剪枝和单步恢复子组件。
教学例子：给冻结ResNet统计打剪枝分数，不能被描述成让语言模型睡眠后学会新知识。
依据：背景与主要改动、保留机制与接口、高成本完整实验与复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
实现剪枝时，为什么既要固定初始参数收益，又要补偿下游BN均值？
Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks
问答新增：2026-10-29 · Google DeepMind
展开答案与例子
答案：剪枝选择按失真除以初始参数收益比较；改用逐步缩小的邻接shape会改变收益口径。执行后，被删除激活的平均贡献消失，因此Dense消费者的BN运行均值要减去这份贡献，避免额外平移。补偿不保证保留每个样本的预测，undo精确恢复也不等于压缩准确率不降。
教学例子：某激活均值0.8、输出权重[1,2]，删除后消费者BN均值应减[0.8,1.6]；不能把补偿写成加法。
依据：核心公式、数据协议、结果与负控、高成本完整实验与复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
C²KV 为什么希望压缩后的 KV 既短又可拼接复用？
C²KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：单段缓存压缩并不保证多段组合后仍可用。方法以compression tokens和结构化attention联合学习压缩与复用，使多个压缩表示能作为后续模型的共同输入。
教学例子：几个文档片段分别压缩后，希望在新的组合查询中复用，而不是每次全部重新prefill。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
C²KV为何同时学习压缩与拼接复用，而不是先压短缓存再任意组合？
C²KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：独立压缩后的KV可能依赖原位置和原上下文，拼起来未必仍能被模型正确读取。方法通过compression tokens及结构化attention学习更可组合的压缩表示，让多个片段的复用也进入训练目标。压缩表示仍有信息损失与接口条件，不能把任意摘要都视为位置无关的可拼接缓存。
教学例子：分别压缩两份文档后，要在同一请求中一起使用；训练需让模型理解两个压缩片段如何共同提供证据，而不只保证各片段单独重构时看起来合理。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
C²KV 的联合压缩/复用训练，与独立压短各段后任意拼接有何差异？
C²KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：联合训练让压缩表示适应位置无关与组合消费的约束；独立压缩只优化单段表示，可能丢掉组合后需要的信息。压缩比例相同不能证明拼接行为等价。
教学例子：两段各自能回答局部问题，不代表其压缩表示拼起来就能回答跨段关系。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
C²KV 复用接口中，Extractor 输出与下游拼接输入需要核对什么？
C²KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference
问答新增：2026-10-27 · Shanghai Jiao Tong University
展开答案与例子
答案：应核对每段Z的形状、拼接边界及结构化attention消费方式，而非只统计压缩后长度。当前本地mini-suite未训练论文规模checkpoint或kernel，不能把Z可拼接当作完整复用能力验证。
教学例子：两个压缩段长度正确，但若边界和可见性混错，下游仍可能读取错误段落。
依据：核心公式、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
AWQ 的 activation-aware，为什么不只看权重自身大小？
AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
问答新增：2026-10-27 · MIT / NVIDIA / Harvard / SJTU
展开答案与例子
答案：量化误差对输出的影响还取决于输入激活。AWQ用校准激活识别显著通道，再做等价缩放后统一低比特weight-only量化，优先保护更影响输出的方向。
教学例子：同样大小的权重误差，在经常出现大激活的通道上可能造成更大输出扰动。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
AWQ保护关键通道时，为何先做等价缩放，而不是给少量权重单独存更高精度？
AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
问答新增：2026-10-27 · MIT / NVIDIA / Harvard / SJTU
展开答案与例子
答案：校准激活帮助识别对输出更敏感的输入通道，再对输入和权重作相互抵消的通道缩放，使关键权重在统一低比特码本中更易保真。浮点函数保持等价，量化误差却随缩放改变。保护对象由激活重要性指引，并不意味着所有大权重天然重要，也不自动解决动态KV缓存增长。
教学例子：两个权重数值相近，但一条输入通道经常幅度很大，它的误差对输出更显著；合法缩放可优先降低这条通道的量化影响，同时仍使用统一低比特格式。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
AWQ 与 round-to-nearest W4 对照，主要增加了哪一步？
AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
问答新增：2026-10-27 · MIT / NVIDIA / Harvard / SJTU
展开答案与例子
答案：AWQ先搜索activation-aware等价通道缩放，再做W4量化；RTN直接按既定尺度取最近网格。两者都可保留统一低比特格式，区别不等于少数权重另存高精度。
教学例子：把关键通道重缩放后再round，和对原权重直接round可能留下不同误差。
依据：背景与主要改动、本地复现；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
AWQ 对权重乘 S 时，输入也必须做对应的逆缩放吗？
AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
问答新增：2026-10-27 · MIT / NVIDIA / Harvard / SJTU
展开答案与例子
答案：需要。等价关系是XW=(XS⁻¹)(SW)，漏掉输入逆缩放会先改变浮点函数。缩放搜索应比较实际量化后的输出重建误差；本地MSE改善也不能代表TinyChat kernel吞吐。
教学例子：权重一通道乘2，输入对应通道须除2，未量化时才保持原输出。
依据：核心公式、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
基础理解
GQA 为什么让多个 query head 共用较少 K/V head？
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
问答新增：2026-10-27 · Google Research
展开答案与例子
答案：每个query仍可有自己的查询方向，而历史K/V以组共享，降低解码缓存与读取带宽。它在MHA的独立KV与MQA的单KV之间提供可控折中。
教学例子：四个query头可分两组，分别共享两份KV，而不是存四份KV历史。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
核心机制
GQA减少的是query head还是KV head，为什么这主要影响解码缓存与带宽？
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
问答新增：2026-10-27 · Google Research
展开答案与例子
答案：多个query head共享较少的key/value head，查询仍可保留多组投影和读取偏好。每个历史位置需要存的KV头数因此减少，逐步解码要读取的状态也相应变少。共享会约束不同头的独立性，形成MHA与更强共享之间的折中；它不是直接把历史token数量缩短。
教学例子：8个query head按组共享2个KV head，历史每个位置只存2组K/V，而不是8组；但8个查询仍可对共享的内容产生不同注意力权重。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
方法对比
MHA、GQA 与 MQA，主要沿哪一个 head 数量轴变化？
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
问答新增：2026-10-27 · Google Research
展开答案与例子
答案：MHA通常每query头独立KV，MQA让所有query共享一组KV，GQA位于两者之间。减少的是KV组数，并非把query头一并删掉；质量与带宽仍需在具体模型上权衡。
教学例子：保持8个query头，KV可分别取8、2、1组形成不同共享程度。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
基础模型 / 推理压缩：权重、KV 缓存与服务带宽
实现细节
实现 GQA 时，把共享 KV 临时展开成 query-head 数量就能证明缓存节省吗？
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
问答新增：2026-10-27 · Google Research
展开答案与例子
答案：逻辑广播可用于计算，但应区分持久缓存是否真的仅存较少KV组；若长期存展开副本就失去相应节省。还需核对g(h)映射与原checkpoint uptraining边界，本地从头小模型并非原协议。
教学例子：四个query共享两组KV时，缓存应保留两份历史，而不是每组再复制成两份。
依据：核心公式、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接