Read this page in English

推理压缩先找瓶颈：权重、KV 内容与缓存层级

基础模型 · 更新 2026-10-30 · 32 篇主题资料 / 9 篇重点对照

AWQ 减权重位宽，GQA 减 KV 头，DropKV 与 TwinKV 改保留内容，KVMEM 管可执行历史视图，Remote KV Tiers 解决跨层级加载。它们可以组合，但不能用一个“压缩率”解释质量、可恢复性和端到端速度。 FoldBias另解决压缩缓存的接口障碍：把静态bias折进同维key，但未来query漂移仍会引入误差。

机制对照 · 取舍分析 · 跨论文问答 · 更新记录 · 本主题逐篇问答

怎么读这张卡片

重点比较下表代表论文；完整主题目录保留在文末。机制与假设的对照不等于统一 benchmark 的性能排名；教学例子不是论文实测。

机制对照

比较维度：压缩对象是权重、KV 头、token 还是分页存储 · 信息被量化、永久淘汰还是留在外部待取回 · 选择依赖激活、query、相似替代关系还是带宽模型 · 节省显存、带宽和重算时间分别需要什么条件

论文与来源	机制定位	得到了什么，付出什么
AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration · 原始来源 章节：背景与主要改动、核心公式、复现边界	用校准激活识别显著输入通道，通过等价缩放保护其低比特权重重建。	主要改权重存储与乘法接口，不解决历史长度；本地 W4 重建 MSE 不代表 TinyChat 端到端吞吐。
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints · 原始来源 章节：背景与主要改动、核心公式、复现边界	多个 query heads 共享较少 KV heads，减少每个历史位置的 KV 存储与读取。	改变模型表示结构，通常需要适配；token 总数仍会增长。本地从头小训练不同于论文 checkpoint uptraining。
DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction · 原始来源 章节：背景与主要改动、核心公式、代码映射与边界	根据删除单项造成的 attention 输出扰动评分，同时考虑概率和 value 差异，保护近期窗口。	单项近似并非任意组合的最优驱逐；本地是合成 QKV 与 A100 数值诊断，没有完整 cache 服务集成。
TwinKV: A Composable Repair Pass for KV Cache Eviction via Pairwise Key Redundancy · 原始来源 章节：背景与主要改动、核心公式、本地复现	在既定 eviction 之后，用冗余 donor 与无替代 orphan 成对交换，保持 KV 数不变。	依赖 key 相似度及基础策略，不能保证每次 repair 改善；本地 checkpoint 重建负结果不隐去，也非完整生成基准。
KVMem: Virtualizing Million-Token Agent Workspaces on a Consumer GPU · 原始来源 章节：背景与主要改动、核心公式、复现边界	历史 KV 可留在分层 backing store，通过模型注意力空间检索 block，物化原生窗口内执行视图。	不等于所有历史同时参加当前 attention；本地 Python 保留完整 backing cache，未实现异步 NVMe 系统且不宣称显存或延迟收益。
When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers for Context-Parallel Prefill · 原始来源 章节：背景与主要改动、核心公式、复现边界	先比较远端加载与重新计算，再以 rank 分片和异步加载治理传输与队首阻塞。	命中不一定更快，固定开销与带宽决定盈亏；论文端到端对比含布局变化，本地无分布式实现，完整实验高成本。
ResCom: Activation Residual Compensation for Large Language Model Quantization · 原始来源 章节：背景与主要改动、核心公式	以中心化残差/输出误差统计白化，再做截断SVD和截距恢复。	校准只适用于固定宿主，未实现量化器或原生低比特内核。
Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks · 原始来源 章节：背景与主要改动、核心公式	以biased Gaussian-ReLU核和Hilbert代理计算剪枝率，支持小Dense层均值补偿与单步恢复。	假设激活的Gaussian代理，不实现MERGE/EVICT/完整HOPE或DEFT；与Sleep的Hope架构不是同一方法。
Folding Attention Biases into Keys Makes Compacted KV Caches Run on Standard Kernels · 原始来源 章节：背景与主要改动、核心公式、高成本完整实验	从上下文query拟合均值投影为1的共享方向，以K+√dβu折叠静态bias；实际bf16舍入后再最小二乘refit V。	不像GQA减少KV头，也不负责AM选key/NNLS；不对任意未来query等价，值更换或舍入后不能直接套同值未舍入误差界。

取舍分析

容量下降有四种不同含义

AWQ 让同一权重更省字节；GQA 让每个 token 需要更少 KV heads；DropKV 删除一些历史位置；TwinKV 则在相同位置预算内重新分配保留名额。前两者不自动减少历史长度，后两者也不减少模型权重。若服务主要受长输出 KV 增长限制，单做 AWQ 可能释放一些空间，却未处理增长机制；若瓶颈是权重读取，内容淘汰也未必带来对应收益。

对照来源：awq · gqa · drop-kv · twinkv

删掉与移走，决定将来能不能重新访问

DropKV/TwinKV 的当前保留集合会限制可见历史；KVMEM 把大地址空间与小执行视图区分，未选 block 仍可保留在 backing store。Remote KV Tiers 再追问取回来是否比重算便宜，其加载时间含固定开销与数据量除带宽。由此，缓存命中、原始数据仍在、GPU 显存下降和响应变快是不同证据。KVMEM 本地保留完整 backing cache、远端方案未实现的状态都应保持，不能拿逻辑架构替代系统测量。

对照来源：drop-kv · kvmem · remote-kv-tiers

10月29日：新方法与来源变化

ResCom与HOPE压缩的对象不同：前者在固定量化宿主外增加读取activation rounding residual的低秩校正，校准统计与截距需对应同一宿主；后者用Gaussian-ReLU/Hilbert代理评价神经元结构删除，并补偿下游均值。它们不是一个在任意模型上保证等价的剪枝量化组合；本地都只实现精确小组件，未跑LLM或ImageNet能力矩阵。

对照来源：awq · rescom · hope-hilbert

能写进标准cache，不等于压缩误差消失

GQA通过共享KV head改变每个token的存储结构；FoldBias保持head维度和query路径，处理的是已有压缩结果多出的静态logit bias。它将bias变成β(q·u)，只在投影接近1的query上近似原偏置，所以兼容标准kernel不意味着任意未来query等价。values须按舍入后的keys拟合，否则拟合与实际内核读入值不一致。AM的key选择、NNLS与engine安装仍是独立环节，本地小矩阵通过不提供吞吐或完整cache质量证据。

对照来源：fold-bias · gqa

跨论文问答

先想自己的答案，再展开；每个问题至少联系两篇论文。

长对话越跑越占显存，AWQ 与 GQA 各能改变什么，为什么仍可能需要内容选择？

展开答案与例子

答案： AWQ 降低权重位宽，释放的是模型常驻权重空间；GQA 减少每个历史 token 的 KV heads，降低增长斜率，但 token 数仍继续增加。若还需限制历史总量，可考虑 DropKV 等选择策略，并接受信息遗漏风险。三种收益应分别按权重字节、每 token KV 字节和保留条数记账。

教学例子： 教学例：把书柜本身做薄，不会减少每天新进的书；GQA 像缩小每本书，eviction 才是在固定格数里决定留哪本。

对照来源：awq · gqa · drop-kv

两个 KV 都很重要却高度重复时，DropKV 与 TwinKV 会怎样提出不同选择依据？

展开答案与例子

答案： DropKV 用当前观察窗口中的输出扰动估计单项保留价值，value 与 attention 概率都参与；TwinKV 在基础保留结果上检查替代关系，把有 twin 的 donor 换给缺少替代者的 orphan。一个看单项输出影响，一个修集合覆盖，二者可以组合但没有普遍改善保证，交换后仍应检查质量与预算。

教学例子： 教学例：保留了同一计划的两个近重复 token，却删掉唯一授权范围；集合修复可能建议交换，但必须验证 key 相似是否真代表可替代。

对照来源：drop-kv · twinkv

KVMEM 找到旧 KV block 后，为什么 Remote KV Tiers 仍可能建议直接重算？

展开答案与例子

答案： 找到地址只说明数据可复用，加载还要支付固定延迟和传输时间。若远端带宽不足、block 太小或排队严重，T0 加数据量除带宽可能超过重新 prefill 的时间。KVMEM 的执行视图预算解决可见范围，远端盈亏模型解决获取方式，不能仅按命中率决定两者优劣。

教学例子： 教学例：一个很短的旧前缀虽命中远端，但建立请求就耗很久；在本机重新计算可能更快，长前缀才摊薄固定成本。

对照来源：kvmem · remote-kv-tiers

为什么ResCom的校正rank预算不能直接当作HOPE的可删神经元数？

展开答案与例子

答案： ResCom预算控制的是输出误差补偿分支的低秩容量，HOPE的候选成本还依赖神经元Hilbert容量与初始参数footprint。它们的参数位置、状态和校准假设不同，不能互换预算单位。

教学例子： 教学例：保留一层的全部量化输出并加rank2校正，与删掉两个神经元再补下游均值，不是同一前向网络。

对照来源：awq · rescom · hope-hilbert

FoldBias保持head维度且可接标准kernel，为什么还必须测未来query质量？

展开答案与例子

答案： 折叠后的偏置是β(q·u)，并非对所有query恒等于β。上下文上拟合μ·u=1只约束该分布的平均投影，未来query可漂移。GQA减少KV头与这种bias近似也不是同一压缩对象；接口兼容、内存和质量需分别验收。

教学例子： 教学示意：拟合query满足q·u≈1，后续query却为0.6，则原bias只剩约六成；即使张量shape完全能被kernel读取，attention仍已变化。

对照来源：fold-bias · gqa

更新记录

新论文带来新路线、改变取舍，或补充现有路线时，都在这里说明。

2026-10-30 · 精读FoldBias的约束方向、rank-one位移、bf16先于value refit与同值误差界；相对GQA明确接口兼容与压缩结构的不同，保留未来query漂移风险。

涉及：fold-bias · gqa

2026-10-29 · ResCom与HOPE压缩的对象不同：前者在固定量化宿主外增加读取activation rounding residual的低秩校正，校准统计与截距需对应同一宿主；后者用Gaussian-ReLU/Hilbert代理评价神经元结构删除，并补偿下游均值。它们不是一个在任意模型上保证等价的剪枝量化组合；本地都只实现精确小组件，未跑LLM或ImageNet能力矩阵。

涉及：rescom · hope-hilbert

2026-10-27 · 首版：比较低比特权重、共享KV头、扰动驱逐、等预算修复、历史执行视图与远端加载，分开容量、恢复和时延证据。

覆盖 29 篇主题资料；目录见下。

本主题全部 32 篇资料

目录归类覆盖本主题全部资料；重点对照范围以上表为准。

• AgentKV: Phase-Aware KV Eviction for Agentic LLMs
• AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
• BaKron: Efficient Quantization with Kronecker-Factored Hessians
• BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference
• C²KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference
• DistillCache: KL-Guided Adaptive KV-Cache Eviction for Memory-Efficient LLM Inference
• DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction
• DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
• FLINT: Fixed-budget Late Interaction
• Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference
• GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
• IrekoGPT: Turning Structured Pruning into Post-Hoc Slimmable LLMs
• KVMem: Virtualizing Million-Token Agent Workspaces on a Consumer GPU
• LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
• MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs
• PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
• QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding
• RACE: RoPE-Aligned Attention Compression Based on Query-Key Activation Energies
• Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning
• When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers for Context-Parallel Prefill
• ReplaySSM: Cache SSM Inputs, Not State
• Right On Q: Recovering Reasoning under Quantization via Self-Generated Trajectories
• RoleQ: Role-Aligned Scales for Converting Language Models to Ternary
• Compression Does Not End at Selection: Post-Selection Positional Geometry for Sparse KV Caches
• SPLASH: Switching Parallel Layouts of Attention with Seamless Handoff for LLM Serving
• STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
• TaskPress: Query-Agnostic KV Cache Compression via Task-Guided Pruning
• TwinKV: A Composable Repair Pass for KV Cache Eviction via Pairwise Key Redundancy
• VFold: Symmetry-Aware Cross-Layer Value Cache Compression
• ResCom: Activation Residual Compensation for Large Language Model Quantization
• Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks
• Folding Attention Biases into Keys Makes Compacted KV Caches Run on Standard Kernels

进入本主题逐篇四层问答 · 返回全部精读卡片