多模态 / 视觉证据预算：选 Token、选帧与按需回看
基础理解
Muse Glimmer 为什么同时强调模型权重内存和 KV、视觉、drafter 空间？
Muse Glimmer 30B: An On-Device Agentic Model
问答新增：2026-10-27 · Meta Superintelligence Labs
展开答案与例子
答案：端侧可用内存要容纳整个推理过程，而不只是语言权重。长 Agent 上下文会增加 KV cache，图像编码器与投机头也有占用，因此量化语言模型后小于某个体积不等于系统已适合 32GB 设备；必须按实际输入与部署配置联合核算。
教学例子：例如语言权重低于二十 GB，仍可能因长轨迹 KV 和视觉前向的临时张量超过设备剩余空间。
依据：背景与主要改动、核心公式与结构；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
核心机制
三层局部注意力接一层全局注意力，为什么不同于把整个模型窗口都缩短？
Muse Glimmer 30B: An On-Device Agentic Model
问答新增：2026-10-27 · Meta Superintelligence Labs
展开答案与例子
答案：局部层限制多数层的读写范围以节省成本，全局层仍能在更长范围交换信息，因此模型并非每层都永久看不到远处内容。GQA 又减少 KV 头数，针对另一部分缓存成本；这些结构取舍不等于已经复现整套蒸馏、后训练和端侧运行效果。
教学例子：例如远处的标题可在全局层影响当前段落，而相邻句子的加工由局部层承担；全部改成短窗口会失去这条长程通路。
依据：背景与主要改动、核心公式与结构；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
方法对比
Muse Glimmer预训练末段改用CE，与继续拟合截断的教师logits，监督信息有何区别？
Muse Glimmer 30B: An On-Device Agentic Model
问答新增：2026-10-27 · Meta Superintelligence Labs
展开答案与例子
答案：教师logit蒸馏利用教师预测，但top-k截断会丢失尾部信息；末段CE直接使用目标token监督，原文将切换与这类截断偏差联系。两者不是同一标签接口，也不能因为模型曾经蒸馏，就把整个训练都称为只拟合教师分布。
教学例子：目标token不在某次保存的教师top-k里时，截断logits未完整保留其分布信息，CE仍能直接使用该目标标签。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
实现细节
52 层的注意力和 RoPE 配置能按一个统一全局模板实现吗？
Muse Glimmer 30B: An On-Device Agentic Model
问答新增：2026-10-27 · Meta Superintelligence Labs
展开答案与例子
答案：不能。配置是 [Local,Local,Local,Global] 重复十三次，32 个 query 头对应 2 个 KV 头；局部层使用 RoPE，全局层不再施加 RoPE。视觉分支另用 2×2 压缩把 1024 patch 变成 256 token，单层演示不等于完整 29.6B 模型。
教学例子：例如把所有层都加 RoPE，或把三局部一全局误作交替局部全局，都会改变论文结构，即使总层数仍是五十二。
依据：核心公式与结构、本地复现与成本判断；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
基础理解
静态 sink mask 是从新提示在线挑出的高分块吗？
Sink-Sparse Hybrid Attention for Efficient Inference in T2I/T2V Diffusion Transformers
问答新增：2026-10-27 · Xi'an Jiaotong University
展开答案与例子
答案：不是。它由独立离线校准的 dense 注意力概率，先聚合精确 block mass，再逐行取达到质量阈值的最短前缀；新输入复用该 mask。静态性降低在线选择开销，也依赖模式能跨提示和 seed 稳定，不能测试时重新挑 mask 后仍称离线复用。
教学例子：例如校准时某 query block 总关注两个区域，部署固定读取它们；新提示出现另一高分区域时，不会偷偷重选静态 mask。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
核心机制
全局补偿分支为什么连 sink 块也池化，而不是只处理被稀疏分支漏掉的块？
Sink-Sparse Hybrid Attention for Efficient Inference in T2I/T2V Diffusion Transformers
问答新增：2026-10-27 · Xi'an Jiaotong University
展开答案与例子
答案：补偿分支提供低分辨率的全局背景，其定义覆盖全部 token；稀疏分支则保留选中关系的精细计算。两者按各自归一化量融合，不是把遗漏部分简单相加。若擅自排除 sink，就改变了补偿分布，离线校准得到的静态支持也不能在测试题上重新挑选。
教学例子：例如稀疏分支精读中心区域，全局分支仍粗读整张图包括中心；它补的是全局上下文，不是把剩余区域拼成第二张图。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
方法对比
Sink-Sparse只把稀疏mask设成全支持，就一定恢复dense attention吗？
Sink-Sparse Hybrid Attention for Efficient Inference in T2I/T2V Diffusion Transformers
问答新增：2026-10-27 · Xi'an Jiaotong University
展开答案与例子
答案：不一定，最终输出还混合全局补偿分支，池化后的分布可能不同于原dense结果。全支持且gap为1时，两分支都可退化为同一dense计算，是应检验的充分退化情形；一般设置只追求近似，不能把归一化融合当成严格等价证明。
教学例子：稀疏分支已经读取全部token，但补偿分支仍按多token均值池化时，混合结果不必与只运行dense分支相同。
依据：核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
实现细节
校准 block mass 能否先平均 Q/K 再做 softmax 近似？
Sink-Sparse Hybrid Attention for Efficient Inference in T2I/T2V Diffusion Transformers
问答新增：2026-10-27 · Xi'an Jiaotong University
展开答案与例子
答案：不能。应先计算 token 级 dense 概率，再按 query block 平均、key block 求和，保证每行质量和为一。softmax 非线性使平均 Q/K 后的结果不同；本地 Python gather 仅作正确性验证，不能用 mask 稀疏比例换算真实 kernel 加速。
教学例子：例如两个 query 分别关注左右两端，平均 query 可能关注中间；先平均再 softmax 会丢失两端的真实概率质量。
依据：核心公式、本地复现、成本判断与边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
基础理解
视觉AdaLoop中，同一张图遇到不同问题，还应使用完全相同的问题调制信号吗？
AdaLoop: Thinking with the Vision Encoder
问答新增：2026-10-27 · Harvard University
展开答案与例子
答案：不应。问题池化向量用于生成视觉块的调制量，使图像表示的处理方向与当前问题有关。图片相同不代表取证需求相同；循环只是增加处理机会，能否找到所需细节还需评测，不能把不同问题共享图像误读成所有视觉计算也必须相同。
教学例子：同图问“有几个杯子”与“杯子上写什么”，关注点不同，可产生不同问题条件，而不是机械复用同一调制向量。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
核心机制
视觉编码器权重被冻结时，反复循环为什么仍可能改变模型看到的内容？
AdaLoop: Thinking with the Vision Encoder
问答新增：2026-10-27 · Harvard University
展开答案与例子
答案：冻结权重不等于冻结视觉状态。每轮把更新后的状态送回共享块，并由问题向量调制计算，因此同一组参数可以围绕问题逐步重新组织表示。深度监督约束不同循环的答案，停止规则只能比较已产生预测，不能偷偷依赖正确答案。
教学例子：例如同一幅图先问物体种类、再问遮挡关系，问题调制可让循环关注不同信息；这并非每轮都换一个新编码器。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
方法对比
视觉循环与让语言模型多写几段思考，在计算位置上有何不同？
AdaLoop: Thinking with the Vision Encoder
问答新增：2026-10-27 · Harvard University
展开答案与例子
答案：语言思考主要沿文本序列继续推理，视觉 AdaLoop 则把额外计算放在问题条件化的视觉编码路径，并共享块权重。它让视觉状态随问题更新，但是否优于更多语言 token 需匹配训练与预算比较，不能仅凭循环次数推断视觉推理提高。
教学例子：例如数遮挡物体时可再次处理视觉状态，而不是只在原有一次编码结果上继续生成文字；两者消耗的计算位置不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
实现细节
答案稳定停止能否用 gold 答案判定当前循环已足够？
AdaLoop: Thinking with the Vision Encoder
问答新增：2026-10-27 · Harvard University
展开答案与例子
答案：不能。部署停止只比较连续预测答案是否稳定，不能读 gold。训练则对多个深度分别监督，权重为正且总和为一；本地 C 接口还要求外部提供并 detach 草稿 embeddings 和固定 separator，不具备自动生成草稿的完整语言模型。
教学例子：例如连续两轮都预测“三个”可触发稳定规则，即使真值是“四个”；稳定不是正确性的 oracle。
依据：核心公式、本地复现、代码映射与边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
基础理解
RR-VLM的prelude、循环核心与coda各在流程的什么位置？
Retrofitting Recurrent Vision-Language Models from Pretrained Backbones
问答新增：2026-10-27 · University of Tübingen
展开答案与例子
答案：prelude先把输入变成上下文h，循环核心结合h与上轮状态反复更新s，coda再读取最终循环状态得到输出。它们是前段、共享中段和后段的职责划分，不是三份独立模型投票；h与动态状态也不能混为同一个每轮随意覆盖的变量。
教学例子：先得到固定上下文h，核心连续更新s₁、s₂，最后由coda读s₂；不需要每轮重新从输入创建一份prelude模型。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
核心机制
共享循环块为什么能减少存储层数，却不保证减少执行深度？
Retrofitting Recurrent Vision-Language Models from Pretrained Backbones
问答新增：2026-10-27 · University of Tübingen
展开答案与例子
答案：同一核心块重复执行多次只保存一份参数，但总计算仍包含每次循环。剪层还会破坏原有语言能力和图文接口，所以需要先恢复文本、再对齐 projector、再做指令恢复；参数变少和推理步数变少是两个不同目标，不能混报为同一种加速。
教学例子：例如五层核心循环三次相当于执行十五次块计算，却只存五层核心权重；循环次数越多，存储优势未必变成延迟优势。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
方法对比
剪枝后直接循环与分阶段恢复相比，后者为何需要单独 projector 对齐？
Retrofitting Recurrent Vision-Language Models from Pretrained Backbones
问答新增：2026-10-27 · University of Tübingen
展开答案与例子
答案：层手术会同时影响语言处理与图文接口。分阶段先恢复文本，再仅对齐视觉 projector，最后恢复整体指令行为，可分别处理这些破坏；直接循环不保证保留原能力。projector 阶段不加入 KD，与前后两个蒸馏恢复阶段有明确区别。
教学例子：例如文字续写先恢复正常后，再让图像投影适应循环骨干，避免一开始将语言损伤和视觉失配混在同一训练信号里。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
实现细节
冻结教师和循环间 KV sharing 在本地实现中各是什么状态？
Retrofitting Recurrent Vision-Language Models from Pretrained Backbones
问答新增：2026-10-27 · University of Tübingen
展开答案与例子
答案：教师需保留完整未剪模型的独立冻结副本并停止梯度；学生各阶段只更新规定参数。本地核对共享核心调用和手工展开等价，但未实现循环间 KV sharing 的增量推理，因此不能把结构循环已执行说成缓存复用或真实模型吞吐已验证。
教学例子：例如三次 core 调用都指向同一模块可检查参数共享；它并不说明三轮生成已正确共享同一份 KV cache。
依据：核心公式、本地复现、代码映射与边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
基础理解
扩散模型采样为什么值得研究“少算哪些网络前向”，而不只缩小模型？
SoftCache: Adaptive Step Size Caching for Diffusion Transformers
问答新增：2026-10-27 · Tel Aviv University
展开答案与例子
答案：扩散采样会沿时间反复调用同一网络，相邻状态可能有可复用计算，但无条件跳过也会积累误差。SoftCache 研究利用计算变化信号自适应安排缓存和采样进度，在保留原模型的同时减少重复工作。缓存可靠性只是一种控制依据，不能直接当成生成质量或答案正确率。
教学例子：教学例：相邻去噪时刻变化很小，可尝试复用旧结果；遇到快速变化区域就需要新计算，不能对整段过程都采用相同跳过比例。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
核心机制
SoftCache 的步长控制为什么不只是“这一层缓存刷新还是复用”？
SoftCache: Adaptive Step Size Caching for Diffusion Transformers
问答新增：2026-10-27 · Tel Aviv University
展开答案与例子
答案：普通缓存沿固定时间节点选择是否重算，SoftCache 还依据陈旧度余量改变前进距离，并重新安排剩余节点。因此少算一次不应之后又访问被跳过的节点。残差外推需要新鲜锚点支撑，在变化太快或早期受限区域不能无条件继续扩大步长。
教学例子：例如原计划经过十个去噪节点，可靠缓存允许跨过中间两个节点；后续网格也要重排，不能绕一圈再把它们算回来。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
方法对比
probe 的相对变化与残差外推，分别用于决定是否复用还是近似复用值？
SoftCache: Adaptive Step Size Caching for Diffusion Transformers
问答新增：2026-10-27 · Tel Aviv University
展开答案与例子
答案：便宜 probe 的相对变化被累计为陈旧度，用于估计剩余 headroom 并控制刷新与步长；两次新鲜残差则提供时间趋势，外推出当前所需计算。前者是调度信号，后者是近似值，不能互换。只有一个锚点时也没有两点趋势可用，不能凭空套用线性外推。
教学例子：教学例：probe 告诉系统这段变化尚小，但不直接给出当前残差；残差要由最近两次真实计算估计，二者需要不同记录。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
实现细节
只有一个新鲜残差锚点时，能否使用两点线性外推公式？
SoftCache: Adaptive Step Size Caching for Diffusion Transformers
问答新增：2026-10-27 · Tel Aviv University
展开答案与例子
答案：不能。两点外推需要两个不同时间的新鲜残差；只有一个时保持常数。早期 t<0.1 或 probe 相对变化超过 0.18 时禁止跳步，步长还需截到终点；每个新样本必须创建独立缓存，不能沿用上一样本状态。
教学例子：例如第一轮刚得到一个残差，没有前一锚点可计算斜率；硬套除以时间差的公式会制造无定义或错误的外推。
依据：核心公式、本地复现、代码映射与边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
基础理解
混合线性注意力 VLM 为什么也需要专门的视觉压缩方法？
V-CoLA: Vision Token Compression with Linear Attention
问答新增：2026-10-27 · Alibaba Cloud Computing / Alibaba Group
展开答案与例子
答案：大量视觉 token 会占用语言层的计算与状态，但线性注意力保存信息的方式不同于普通 softmax 矩阵。V-CoLA 研究从真实状态递推判断哪些视觉信息值得保留，再合并或在深层退出。压缩改变后续可读证据，不能仅以 token 变少证明答案质量或真实推理成本改善。
教学例子：教学例：一张高分辨率图有许多相似背景块，可尝试压缩；仍要保留问题涉及的细小标志，不能直接套另一类模型的注意力排名。
依据：背景与主要改动、核心公式与实现选择；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
核心机制
为什么 Gated DeltaNet 的视觉压缩不能直接照搬 softmax attention 权重？
V-CoLA: Vision Token Compression with Linear Attention
问答新增：2026-10-27 · Alibaba Cloud Computing / Alibaba Group
展开答案与例子
答案：线性递归状态并不显式保存同样的完整注意力矩阵，其信息由状态更新与遗忘共同决定。V-CoLA 用最终状态能否回读某 token 衡量长期保留，再测短窗口 query 对更新的响应变化补充独特性，之后连续分块合并；这些分数并非普通相似度排序。
教学例子：例如一个 patch 刚写入时很显眼，却在后续状态中被覆盖，最终回读分数就会降低；单看当时的局部相似度会漏掉遗忘。
依据：背景与主要改动、核心公式与实现选择；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
方法对比
V-CoLA 的长期保留分数与短期独特性分别避免哪种遗漏？
V-CoLA: Vision Token Compression with Linear Attention
问答新增：2026-10-27 · Alibaba Cloud Computing / Alibaba Group
展开答案与例子
答案：长期分数检查某 token 的 value 能否从最终状态回读，短期分数衡量其更新是否带来不同响应。前者关注最终记忆，后者补充局部新增信息，两者按 0.9 与 0.1 结合；随后连续分块合并，而非只按单一静态相似度删除。
教学例子：例如一个 token 与旧内容相似但长期保留很好，另一个提供短时新细节；两路信号让选择不完全被其中一种特征支配。
依据：背景与主要改动、核心公式与实现选择；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
实现细节
转置状态约定和 query probe 差异为什么必须写进实现说明？
V-CoLA: Vision Token Compression with Linear Attention
问答新增：2026-10-27 · Alibaba Cloud Computing / Alibaba Group
展开答案与例子
答案：论文采用 value×key，本地沿官方后端使用 key×value，递推乘法必须相应转置。正文 Equation 7 使用 query probe，附录写 shifted keys，本地明确选择前者；再用官方 kernel 重放门槛验证真实状态，不能把两种规格默认为完全等价。
教学例子：例如状态轴写反可能仍得到合法矩阵形状，却读错 key 与 value 关系；数值重放可比只检查 shape 更早发现这种错误。
依据：核心公式与实现选择、本地复现、复现边界与 Evolve；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
基础理解
ViMoD 为什么希望压缩图像后，仍能在推理中找回原始细节？
Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning
问答新增：2026-10-27 · City University of Hong Kong / Zhejiang University
展开答案与例子
答案：生成答案的中途才可能发现需要读小字或检查局部，一次性不可恢复压缩容易提前丢掉这些证据。ViMoD 保留紧凑概览与原始细节缓存，让后续文本状态决定访问内容。保留外部细节不等于每步全部读取，恢复也有管理成本，需检查它是否提供真正必要的信息。
教学例子：教学例：先概览收据判断类别，推理到税额时再找回对应原始区域；若只留永久摘要，小数字可能已经无法恢复。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
核心机制
TRACE 的 UPDATE 为什么替换活跃 Fine 工作集，而不是不断累加？
Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning
问答新增：2026-10-27 · City University of Hong Kong / Zhejiang University
展开答案与例子
答案：不断累加会使活跃上下文随推理增长，失去预算约束。ViMoD 让 Coarse 表示持续存在，而 Fine 细节按当前生成历史保持或替换，原始细节仍可恢复；被替换的是当前参与注意力的工作集，不是把底层 Fine 缓存永久删除。
教学例子：例如先取左侧标签，再转向右侧仪表时替换细节工作集；粗图仍在，之后也能按需重新取回左侧标签。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
方法对比
DART 的可变容量分组与固定大小池化，对图像区域有什么不同假设？
Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning
问答新增：2026-10-27 · City University of Hong Kong / Zhejiang University
展开答案与例子
答案：固定池化把相同数量的位置归到每组，默认各处需要相似分辨率；DART 学习区域大小和成员，同时约束容量总和等于原 token 数，用连续容量支持训练。它可表达不同区域不同需求，但最终分组仍有预算，不能从容量可学习推出所有重要细节都会被保留。
教学例子：教学例：大片空白可占一个较大区域，密集文字区域可分得更细；固定等宽网格不会因为内容复杂而自动调整分组。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
实现细节
DART 前向硬分组时，训练梯度为什么仍能跨组传播？
Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning
问答新增：2026-10-27 · City University of Hong Kong / Zhejiang University
展开答案与例子
答案：容量受总和约束并通过隐式 Jacobian 反传，池化采用 hard+soft-stopgrad(soft) 的直通形式，使前向保留硬组、反向利用 Sinkhorn 连续容量。阶段训练还需真实 Fine-index 标注或在线 teacher；缺少这些条件时应报错，不能制造伪证据标签。
教学例子：例如前向把一个 patch 分到甲组，反向仍可通过连续分配调整容量；但没有真实监督时，不能用预设答案区域冒充学会检索。
依据：核心公式、本地复现、代码映射与边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
基础理解
逐帧编码的视频为什么还需要在送入语言模型前选择证据？
Video Encoders Built on Image Representations
问答新增：2026-10-27 · Stanford University
展开答案与例子
答案：独立图像编码保留单帧可定位信息，却会让长视频产生很大的视觉序列。该方法研究在固定预算内结合问题需求、帧内多样性和跨帧关系保留原始 token。选取不是生成新证据，也不能只追逐运动强度，需确认留下的内容足以支撑当前问题。
教学例子：教学例：问题问先拿了哪件物品，需要保留相关物体及前后帧联系；单纯挑所有变化最大的背景位置可能并无帮助。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
核心机制
learned refiner 为什么只更新保留下来的锚点，而不再增加视觉 Token？
Video Encoders Built on Image Representations
问答新增：2026-10-27 · Stanford University
展开答案与例子
答案：选择阶段先在固定预算内保留原始可寻址证据，refiner 随后让这些锚点读取邻帧上下文来改善表示。这样增加的是每个保留位置的信息，而非输出序列长度；若不断追加邻帧 token，就破坏固定预算，也混淆了选择与上下文补充两项收益。
教学例子：例如先保留十个关键 patch，refiner 为它们读取邻帧运动线索后仍输出十个；不能再追加二十个邻帧位置并声称预算不变。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
方法对比
帧内 DPP 多样性与相邻帧对应奖励，各约束选中集合的什么关系？
Video Encoders Built on Image Representations
问答新增：2026-10-27 · Stanford University
展开答案与例子
答案：帧内核的 log-determinant 结合质量和差异，避免同一帧名额被近重复 token 占满；跨帧边则奖励满足匹配条件的相邻端点，保留可追踪关系。两者约束不同，不能用一个运动分数替代。对应边仍受相似度、margin 和空间门限制，不保证每条边都代表真实物体轨迹。
教学例子：教学例：同帧可选杯子和手而非两个相似桌面块；跨帧再保留杯子的可靠对应，有助于观察它是否被移动。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
实现细节
最佳 pair 与 singleton 打平时如何选择，为什么仍能填满奇数预算？
Video Encoders Built on Image Representations
问答新增：2026-10-27 · Stanford University
展开答案与例子
答案：只有 pair 的每 token 增益严格更大才一次加入两个端点，否则取 singleton；每步遵守帧 quota 和剩余预算。即使增益为负或没有跨帧边，也继续完成恰好 B 个互异索引。当前外部均匀 quota 与 scene proxy 是已标注差异，未实现 SITE allocator。
教学例子：例如预算剩一个时只能选 singleton；若两个端点平均增益恰与单点相同，也取单点，而不是超额凑成一对。
依据：核心公式、本地复现、本地结果与验收边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
基础理解
MWOP 中同一个注意力头为什么仍能有不同模态路径的重要性？
MWOP: Modality-aware Width-wise Operation Pruning for Efficient MLLMs
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：一个头可同时承担视觉到视觉、文本到视觉和文本到文本的信息传递，这些路径对任务的贡献可能不同。MWOP 在头内分别评估并剪枝，而非把整个头视为单一不可分单元；保留某路径也不意味着该头所有模态交互都要保留。
教学例子：例如某个头主要用于文本读取图像，视觉内部交互贡献较小，按路径剪枝可保留前者而减少后者。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
核心机制
为什么剪完注意力路径后，还要重新估计 FFN 通道的重要性？
MWOP: Modality-aware Width-wise Operation Pruning for Efficient MLLMs
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：注意力剪枝改变了进入 FFN 的信息分布，原先的重要性排序可能已经过时。MWOP 还把视觉到视觉、文本到视觉等路径和不同模态的 FFN 通道分开处理，避免用一个总分掩盖模态差异；剪枝后的质量与真实速度仍要分别验证。
教学例子：例如删除部分文本读取视觉的路径后，一些负责融合视觉的 FFN 通道贡献会变化，不能继续沿用手术前的通道排名。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
方法对比
与统一剪掉相同 FFN 通道相比，模态相关通道选择改变了什么？
MWOP: Modality-aware Width-wise Operation Pruning for Efficient MLLMs
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：视觉与文本 token 可使用不同的 FFN 通道集合，允许共享模型在两类输入上保留不同计算容量。统一通道剪枝为所有模态使用同一掩码，可能忽略贡献差异；这种灵活性也需要实际执行支持，掩码稀疏不自动等于硬件更快。
教学例子：例如文本常用的通道与视觉纹理通道不重合，分别保留可以比统一交集更有表达空间，但 kernel 仍须真正跳过计算。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
实现细节
MWOP的|w·∂L/∂w|为什么不能直接替换为|w|来排序剪枝？
MWOP: Modality-aware Width-wise Operation Pruning for Efficient MLLMs
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：权重与损失梯度的乘积同时考虑参数幅度和当前损失对它的敏感性，只看|w|会丢掉后一个量。取绝对值避免正负方向在重要性幅度上相互抵消。这是局部近似指标，仍需指定校准数据与模态路径，不能把小分数理解为删除后质量必然不变。
教学例子：两个权重大小相同，但一个位置的梯度更大，乘积指标会区分它们；只按权重幅度则给出并列排序。
依据：核心公式、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
基础理解
视频输入为什么同时存在帧内与跨帧两种冗余？
VETO: Video Efficient Token Optimization for Vision Language Models
问答新增：2026-10-27 · National Taiwan University
展开答案与例子
答案：一帧中的相邻区域可能描述相同背景，相邻帧又可能重复同一场景，二者都会延长视觉序列。VETO 希望从空间和时间两个轴减少重复信息，让后续模型面对更紧凑的视频证据。不同轴压缩会损失不同细节，不能只看总压缩率判断是否保留了任务所需运动和局部线索。
教学例子：教学例：固定镜头下，墙面在单帧占很多 patch，多帧又几乎不变；但一只手的短暂动作既需要足够时间覆盖也需要空间细节。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
核心机制
先帧内合并、再跨帧去冗余，为什么不是任意可交换的两步？
VETO: Video Efficient Token Optimization for Vision Language Models
问答新增：2026-10-27 · National Taiwan University
展开答案与例子
答案：帧内合并先减少每帧的候选数量，让跨帧匹配面对更短的表示，降低时间维比较成本。若先在所有原始 patch 间做全局时间匹配，就已经支付了更大的搜索开销，得到的对应关系也可能不同；两步顺序本身就是机制的一部分。
教学例子：例如每帧一百个 patch 先压成二十个，再找相邻帧重复内容；反过来先匹配全部原始 patch 就省不下同一部分计算。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
方法对比
相同总 token 预算，保留更多帧或每帧更多位置，各偏向哪种信息？
VETO: Video Efficient Token Optimization for Vision Language Models
问答新增：2026-10-27 · National Taiwan University
展开答案与例子
答案：更多帧偏向时间覆盖，每帧更多位置偏向局部空间细节，总量相同并不意味着信息相同。本地输入为帧数、帧内 token 数、维度三轴，两个 keep 分别受原轴上限约束，输出保留两者乘积个位置。这是预算假设比较，不代表论文已验证某种分配对所有视频最优。
教学例子：教学例：四帧各保留十六个位置，与十六帧各保留四个位置都用六十四 token，前者看得细，后者可能更容易覆盖短暂事件。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
实现细节
本地最远点代表验证保留了什么，又缺少什么？
VETO: Video Efficient Token Optimization for Vision Language Models
问答新增：2026-10-27 · National Taiwan University
展开答案与例子
答案：本地用确定性最远点代表检查空间先行、时间后继的双轴顺序与预算，并在 GPU 执行对应压缩。它没有加载论文 7B VLM 或真实视频 benchmark，代表点启发式也不能冒充完整语义合并能力；因此只报告机制诊断，不复述作者吞吐为本地收益。
教学例子：例如压缩后 token 数符合预算，可证明两阶段都运行；它不说明模型仍能识别被合并区域中的小物体动作。
依据：核心公式、本地复现、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
基础理解
HAWK 的 target 与 drafter 在投机解码中分别负责什么？
HAWK: Rethinking Multimodal Drafting for Speculative Decoding
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：drafter 用较低成本提出候选 token，target 负责验证候选并保持最终生成分布的约束。HAWK 从 target 多层隐藏状态学习压缩表示供浅层 drafter 使用，重点是提高有效提议，而不是把 drafter 当作无需验证的替代大模型。
教学例子：例如浅层模型一次提出几个词，大模型统一检查能接受多少；草稿更准可减少浪费，但未被接受的词不能直接当最终输出。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
核心机制
为什么 drafter 要在自己提出 token 后的 shifted trajectory 上训练？
HAWK: Rethinking Multimodal Drafting for Speculative Decoding
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：草稿会把系统带到自己的前缀分布，始终在教师理想前缀训练会掩盖这些偏移。移位后的轨迹让监督与实际提议后的状态对齐，多层教师状态混合再提供压缩视觉信息；草稿是否被接纳仍须目标模型验证，不能靠训练损失替代接受率测量。
教学例子：例如草稿第一步选了另一种说法，第二步就应在这个真实前缀上学习目标分布，而非假装第一步与教师完全相同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
方法对比
HAWK学习混合target多层状态，与固定只取最后一层给drafter，有何接口区别？
HAWK: Rethinking Multimodal Drafting for Speculative Decoding
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：HAWK以softmax归一化的可学习层权重组合target各层隐藏状态，drafter接收的是这种混合表示；只取末层相当于固定选择一个来源。层权重总和为一并不等于每层贡献相同，也不能由混合存在就断言接受率或端到端速度已提高。
教学例子：某层权重较高说明该层状态在接口里占更大份额；这不是把所有层拼接成更长token序列。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
实现细节
多层混合与 shifted target 的本地验证包含专用解码 kernel 吗？
HAWK: Rethinking Multimodal Drafting for Speculative Decoding
问答新增：2026-10-27 · 原文首页未列第一作者机构
展开答案与例子
答案：不包含。层权重经过 softmax 后对 target 隐状态加权，监督目标来自移位后的 target 分布，并要保持目标路径隔离。本地只验证该混合及目标隔离，不含完整投机验证循环或专用 kernel，因此不能用算子通过声称端到端无损提速。
教学例子：例如三层混合权重和为一可检查表示计算；它没有测量一次实际生成能接受几个草稿 token 或节省多少时间。
依据：核心公式、本地复现、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
基础理解
固定视觉 token 预算下，StackTok 为什么不能只挑看起来最切题的几个位置？
StackTok: Accelerating VLMs Inference with Budget-Adaptive Visual Token Selection
问答新增：2026-10-27 · Sichuan University
展开答案与例子
答案：视觉问题可能需要多个对象或空间关系，只保留单一热点附近的高相关 token 会失去回答所需覆盖。StackTok 研究在问题相关性目标与视觉覆盖约束间分配有限名额。覆盖不是平均保留所有区域，也不意味着更多多样性必然更好，应让所选集合服务当前问题。
教学例子：教学例：比较两辆车的位置时，只保留最显眼那辆车的多个 patch 很相关，却缺少另一辆车，无法完成关系判断。
依据：背景与主要改动、核心公式与实现对应；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
核心机制
为何相关性最高的视觉 Token 不一定组成最好的固定预算子集？
StackTok: Accelerating VLMs Inference with Budget-Adaptive Visual Token Selection
问答新增：2026-10-27 · Sichuan University
展开答案与例子
答案：它们可能集中在同一区域，重复提供相同信息而遗漏全图结构。StackTok 以相关性为主要目标，并用随预算变化的覆盖参考检查当前缺口，再切换选取准则；覆盖并非固定比例的装饰项，不同问题与预算需要不同程度的支持。
教学例子：例如问整幅场景布局时，只选人物脸部的一堆高相关 patch 可能漏掉门的位置；补覆盖能保留另一类必要证据。
依据：背景与主要改动、核心公式与实现对应；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
方法对比
预算自适应覆盖约束与固定比例混合两个排序有什么区别？
StackTok: Accelerating VLMs Inference with Budget-Adaptive Visual Token Selection
问答新增：2026-10-27 · Sichuan University
展开答案与例子
答案：固定混合始终以相同比例偏好相关性和覆盖，预算改变时未必合适；自适应约束会按当前支撑缺口切换选择准则。机制的重点是选择过程中的约束状态，而非额外计算一个静态多样性分数；效果仍需真实 VLM 与固定预算评估。
教学例子：例如只剩两个名额且关键区域尚未覆盖时，可以优先补支撑；预算宽松、覆盖已足够时再优先问题相关 token。
依据：背景与主要改动、核心公式与实现对应；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
实现细节
本地 single-crop selector 的通过能说明五种论文 VLM 已加速吗？
StackTok: Accelerating VLMs Inference with Budget-Adaptive Visual Token Selection
问答新增：2026-10-27 · Sichuan University
展开答案与例子
答案：不能。本地仅执行 reference-gated 的单 crop 选择，三 seed fixture 验证排序、门控与预算等状态不变量，未加载论文中的五个 VLM。选择索引正确不等于模型前向真的缩短，更不能从保留比例推算生成时延或准确率。
教学例子：例如返回十个互异索引且满足预算只验证选择器；若下游仍读取全部视觉 token，实际推理成本就没有相应降低。
依据：核心公式与实现对应、本地复现、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
基础理解
VideoMM 为什么先粗看视频，再决定哪里值得花更高分辨率预算？
VideoMM: Adaptive Macro-Micro Inference for Efficient Video MLLMs
问答新增：2026-10-27 · University of Science and Technology of China
展开答案与例子
答案：长视频的高保真视觉输入成本大，但并非每一段或每个区域都与问题同样有关。VideoMM 用低分辨率 Macro Proxy 提供定位线索，再在宏观证据不足时获取细节。粗看节省输入也可能漏掉小目标，因此需要区分定位证据与真正支撑答案的高保真内容。
教学例子：教学例：先找人物进入房间的大致时段，再查看手中物品细节；若一开始给整段视频相同高清预算，会在无关段落耗费很多 token。
依据：背景与主要改动、核心公式与实现对应；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
核心机制
低分辨率 Macro Proxy 已经定位区域，为什么还需要按条件激活 Micro Tokens？
VideoMM: Adaptive Macro-Micro Inference for Efficient Video MLLMs
问答新增：2026-10-27 · University of Science and Technology of China
展开答案与例子
答案：粗粒度表示能快速筛去大量无关内容，却可能无法区分小字或细微动作。只有宏观证据不足时才追加高保真细节，可以把预算集中到不确定之处；这要求保留粗到细的取证路径，而不是把所有问题都固定压到同一份低清摘要。
教学例子：例如粗看知道有人举牌，问是否举牌可直接回答；问牌上数字则可能需要激活对应区域的高分辨率 token。
依据：背景与主要改动、核心公式与实现对应；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
方法对比
按共识触发 Micro 与固定给每段相同高分辨率预算有什么取舍？
VideoMM: Adaptive Macro-Micro Inference for Efficient Video MLLMs
问答新增：2026-10-27 · University of Science and Technology of China
展开答案与例子
答案：固定预算不依赖当前证据充分性，容易在简单区域重复花费；共识不足再触发 Micro 可集中开销，但路由错误也可能漏掉细节。应把“触发策略不同”与“实际问答更好”分开，后者需要相同视频、问题和成本下的比较。
教学例子：例如大部分片段只问场景类型，不必都读取细节；遇到区分相似工具的问题，宏观一致也未必足够，需要可靠触发条件。
依据：背景与主要改动、核心公式与实现对应；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
实现细节
本地 macro 选择和 micro 激活的 GPU receipt 能覆盖完整视频 MLLM 吗？
VideoMM: Adaptive Macro-Micro Inference for Efficient Video MLLMs
问答新增：2026-10-27 · University of Science and Technology of China
展开答案与例子
答案：不能。receipt 只证明相应状态转换在 A100 上实际运行，本地没有加载完整视频 MLLM。门控触发次数、选中索引与预算检查属于机制证据，不能改称 LongVideoBench 分数或端到端吞吐，也不意味着语义共识判断已得到真实验证。
教学例子：例如测试里故意给出低共识值后成功激活 Micro，证明分支可达；它没有测试模型能否从真实画面估计该共识。
依据：核心公式与实现对应、本地复现、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
基础理解
Frames-on-Demand的caption-once，是每来一个问题都重新写一次视频描述吗？
Caption-once, Frames-on-Demand: Visual-Need Routing for Budget-Aware Agentic Long Video Understanding
问答新增：2026-10-27 · Queen Mary University of London
展开答案与例子
答案：不是。设计先为视频建立一次可复用的文字记忆，后续问题共享这笔预处理；逐问是否追加视觉读取则另由路由和帧预算决定。描述成本与每题新增取证成本要分开计算，不能省略前者，也不能把重复使用文字记忆说成每题完全不需要视觉计算。
教学例子：同一视频连续回答五个问题，可共用先前文字记忆；其中某题需细节时再花额外看帧成本，而不是默认重写五份描述。
依据：背景与主要改动；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
核心机制
先写 caption memory 后，为什么还需要 visual-need router？
Caption-once, Frames-on-Demand: Visual-Need Routing for Budget-Aware Agentic Long Video Understanding
问答新增：2026-10-27 · Queen Mary University of London
展开答案与例子
答案：文字记忆能覆盖粗粒度事件，却可能遗漏以后问题需要的细节。路由器判断现有文字证据是否足够，只有不足时才花视觉预算读取相关帧；这样控制的是追加取证的成本，不是把描述当成无损视频，也不能把路由决定本身视为答案正确。
教学例子：例如记忆只写“有人拿起盒子”，问盒子上的编号时就需回读帧；问是否有人取物则可能直接利用已有文字。
依据：背景与主要改动、核心公式或操作；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
方法对比
这种路由与每个问题都重新均匀采样视频有什么取舍？
Caption-once, Frames-on-Demand: Visual-Need Routing for Budget-Aware Agentic Long Video Understanding
问答新增：2026-10-27 · Queen Mary University of London
展开答案与例子
答案：均匀重采样为每个问题重复支付视觉开销，按需路线复用一次文字记忆并把预算集中到疑点帧。它可能节省成本，也可能因 caption 漏记或路由判断错误而错过关键证据；机制比较不能替代相同问题与预算下的实际质量验证。
教学例子：例如连续十个问题都问已有事件顺序时，可复用记忆；若第十问涉及极短动作，仍需正确定位并读取该帧。
依据：背景与主要改动、核心公式或操作；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
实现细节
本地 caption/query gate 的三 seed 输出能验证 learned visual-need router 吗？
Caption-once, Frames-on-Demand: Visual-Need Routing for Budget-Aware Agentic Long Video Understanding
问答新增：2026-10-27 · Queen Mary University of London
展开答案与例子
答案：不能。当前只执行 caption 与 query 的 gate、Top-K 帧选择等 reference 状态转换，未运行长视频 VLM 或训练语义路由器。它能检查预算和选择接口，不能证明系统确实知道哪些问题仅凭文字即可回答，也不能复刻原文帧消耗收益。
教学例子：例如规则门能保证最多选择三帧，但三帧是否包含问题答案仍需真实视频与语义模型，不能由计数检查得出。
依据：核心公式或操作、本地复现、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
基础理解
OmniKVQuant压缩的是模型权重，还是当前上下文留下的KV cache？
OmniKVQuant: KV Cache Quantization for Omni-LLMs
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：它针对推理时保存的key与value状态，而不是把网络权重统一变成低位参数。cache随已处理上下文增长，还包含不同模态留下的表示；权重已量化也不意味着这部分内存消失。先区分固定模型参数与请求状态，才能理解KV量化的成本对象。
教学例子：同一个模型处理短文本和长音视频时权重数量不变，保存的KV状态却可不同；这里压缩的是后者。
依据：背景与主要改动、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
核心机制
多模态 KV 为什么不宜共享一套全局量化范围和旋转？
OmniKVQuant: KV Cache Quantization for Omni-LLMs
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：Key 的数值分布可能随时间漂移，长期统一范围会让局部有效精度变差；不同模态 Value 的几何结构也不一致。短窗范围与模态专属旋转分别处理时间变化和模态差异，不能把两种校准合并成一套静态规则后仍假设误差同样可控。
教学例子：例如前段音频 Key 的幅度较小、后段视频 Key 较大，全局范围可能挤压前者精度；Value 也需按模态检查结构。
依据：背景与主要改动、核心公式或操作；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
方法对比
模态独立旋转与所有 value 使用同一旋转矩阵的假设差别是什么？
OmniKVQuant: KV Cache Quantization for Omni-LLMs
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：统一旋转假定各模态可由同一坐标变换改善量化；独立旋转允许音频、视觉和文本具有不同合适坐标系。它增加模态相关处理，但结果仍取决于校准及真实分布，不能从旋转存在就推断所有任务都保留同等精度。
教学例子：例如图像 value 的大方差方向与音频不同，分别旋转可分别展开数值；强制共用矩阵可能只适合其中一种。
依据：背景与主要改动、核心公式或操作；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
实现细节
本地 2-bit NumPy reference 可以证明 GPU KV kernel 加速吗？
OmniKVQuant: KV Cache Quantization for Omni-LLMs
问答新增：2026-10-27 · KAIST
展开答案与例子
答案：不能。本地实现窗口量化与模态独立旋转，用于检查低位表示和变换公式；Triton 等实际 kernel 仍需真实 A100 或 A30 验证。内存位宽下降与端到端时延之间还隔着打包、解包、访存和融合开销，不能按压缩比直接换算加速。
教学例子：例如每个值理论只占两位，若实现仍以浮点数组存储和解码，就尚未获得真实两位 cache 的显存或带宽收益。
依据：核心公式或操作、本地复现、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
基础理解
PACE为何不能仅凭图片尺寸，就认定两张图需要相同视觉预算？
PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference
问答新增：2026-10-27 · Sun Yat-sen University
展开答案与例子
答案：同尺寸图像可能有不同全局语义密度和局部细节。APC从浅层特征分别计算非对角相似度与偏离背景的Top-K细节，再把它们用于预算估计；文件像素数不是这两种信息的替代品。该估计仍是方法信号，不是答案正确性的保证。
教学例子：同样分辨率的空白墙面与密集小字页面，像素数量相同，保留细节的需求却可能不同。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
核心机制
PACE 为什么把图像缩放与问题相关 Token 抽取拆成两个阶段？
PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference
问答新增：2026-10-27 · Sun Yat-sen University
展开答案与例子
答案：缩放先控制视觉输入本身的成本，抽取再控制哪些内容进入后续处理；只在末端丢 token，已经支付的编码成本不会消失。浅层预览估计图像难度，抽取又按置信度融合语言与视觉注意力，避免始终盲信单一路径或固定压缩所有图像。
教学例子：例如空白背景图可先缩小，密集菜单则保留较多细节；之后再根据问题选择相关区域，而非两张图都按同一比例裁减。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
方法对比
DDAE 与固定各占一半的注意力融合有何区别？
PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference
问答新增：2026-10-27 · Sun Yat-sen University
展开答案与例子
答案：DDAE 根据两路归一化注意力的离散度，通过温度 softmax 生成置信度权重，允许不同输入上更信某一路。固定平均不随证据分布变化；离散度只是该方法采用的置信度信号，不应直接当成校准后的答案正确概率。
教学例子：例如语言注意力较集中、视觉注意力分散时，融合可偏向前者；若换一个问题，两路权重也可随之变化。
依据：背景与主要改动、核心公式；例子用于解释机制。
原论文 · 实现解读 · 问题链接
多模态 / 视觉证据预算：选 Token、选帧与按需回看
实现细节
当前真实 checkpoint 路径完整验证了 DDAE 吗？
PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference
问答新增：2026-10-27 · Sun Yat-sen University
展开答案与例子
答案：没有。README 的小样本真实 checkpoint smoke 主要验证 APC，DDAE 由独立公式与单测检查，未复制作者完整模型 fork 和 kernel。APC 的全局密度排除对角自相似，局部项取偏离均值最大的 Top-K，压缩方向通过也不等于质量无损。
教学例子：例如八个样本压缩前后同为五题正确，只是小样本观察；不能据此把 DDAE 也标为实际生成链路已验证。
依据：核心公式、本地复现、复现边界；例子用于解释机制。
原论文 · 实现解读 · 问题链接